Microduck Robot●microduck-robot.com

Microduck Robot / RL

Обучение с подкреплением для роботов: учим утку-бипеда ходить

В этом руководстве обучение с подкреплением для роботов разбирается на реальном двуногом роботе с открытым исходным кодом — роботе-утке Microduck. Мы идём по опубликованным проектам обучения от Pollen Robotics (оригинальный Microduck) и Luwu Dynamics (сборка на Arduino UNO Q): от установки среды обучения до экспорта политики и проверки на роботе.

Что такое обучение с подкреплением для маленького бипеда

Обучение с подкреплением (RL) подбирает политику управления методом проб и ошибок. Политика — это небольшая нейросеть: она получает положения и скорости суставов робота и ориентацию корпуса, а выдаёт целевое значение для каждого сервопривода. Функция награды оценивает каждый шаг (следовать заданной скорости, держаться прямо, не топать ногами), а алгоритм обучения подстраивает сеть так, чтобы награды было больше. Для шагающих роботов всё это происходит в физическом симуляторе, где тысячи копий робота могут одновременно и безопасно падать.

Microduck хорошо подходит для изучения обучения с подкреплением, потому что весь рецепт открыт. Pollen Robotics публикует самого робота и его среды RL-обучения, а Luwu Dynamics — производную версию для сборки на Arduino UNO Q. Оба проекта обучают ходьбу, вставание, сидение и трюки с помощью PPO, а затем экспортируют политику в ONNX, чтобы робот мог её выполнять.

RL — это не то же самое, что обучение по демонстрациям из нашего руководства по LeRobot. Там человек показывает задачу, а сеть копирует демонстрации. Здесь ходьбу никто не показывает: что такое хорошая ходьба, определяет награда, а практику обеспечивает симулятор.

Мы написали это руководство по опубликованной документации обоих проектов и нашим собственным техническим заметкам. Сами мы при этом не обучали и не запускали политику на роботе, а оба проекта продолжают меняться. Считайте команды задокументированной отправной точкой и сверяйте их с той версией кода, которую скачаете.

Выберите проект обучения под своего робота

Есть два родственных проекта обучения, и модель робота здесь важнее кода. Политика запоминает массу, геометрию и поведение сервоприводов того робота, на котором её обучали, поэтому политика ходьбы, обученная для одной утки, на другой может сразу упасть.

microduck_rl от Pollen Robotics обучает оригинальный Microduck — бипед массой около 800 г и высотой 25 см с 14 сервоприводами Dynamixel XL330. xgoduck_rl от Luwu Dynamics следует тем же рецептам задач для адаптации под Arduino UNO Q, у которой другие геометрия и инерция, а симулятор моделирует сервоприводы семейства 1910 вместо XL330. Наборы Microduck Robot на этом сайте построены на UNO Q, поэтому начинайте с xgoduck_rl и сверьте модель сервоприводов со своей сборкой.

Прокрутите таблицу вбок, чтобы сравнить все столбцы.

microduck_rl (Pollen Robotics)xgoduck_rl (Luwu Dynamics)
РоботОригинальный Microduck, около 800 г и 25 см в высотуАдаптация под Arduino UNO Q
Модель сервопривода в симуляцииDynamixel XL330 (модель BAM M6)Сервопривод семейства 1910 (модель BAM HLS1910)
Имена задач оканчиваются на-MicroDuck-XgoDuck
Стек обученияmjlab на MuJoCo Warp, PPOmjlab на MuJoCo Warp, PPO
ЛицензияApache 2.0 для кода; 3D-модели — CC BY-NC-SA 4.0Apache 2.0

Как устроен цикл обучения

Оба проекта построены на mjlab, который запускает физику MuJoCo на GPU через MuJoCo Warp и обучает с помощью PPO (proximal policy optimization) из rsl_rl. Задокументированные команды запускают 4096 симулированных роботов параллельно, так что за час обучения набираются тысячи часов симулированной практики.

Каждый навык — отдельная задача со своей политикой. Задача скорости учит ходить, выполняя команды скорости. Задача вставания учит подниматься из положения лёжа на животе, на спине или сидя. Другие задачи учат садиться и вставать по команде, приседать и касаться земли, бить по мячу, кувыркаться вперёд через голову или кататься на пассивных колёсах. Оригинальный проект обучает свои политики на частоте 50 Гц.

Награды и рандомизация задаются в конфигурации каждой задачи. Оригинальный проект описывает свои правила проектирования наград и держит переключатели доменной рандомизации в виде флагов ENABLE_* в начале конфигурационного файла каждой задачи, так что ещё до запуска видно, что именно рандомизируется.

Что нужно до начала

Чтобы обучить политику или проверить её в симуляции, робот не нужен. Он понадобится только для финального теста.

  1. Компьютер с GPU NVIDIA с поддержкой CUDA. Обучение идёт через MuJoCo Warp на GPU; компьютер внутри робота ничего не обучает.
  2. Python 3.12 и uv — менеджер пакетов Python, которым оба проекта устанавливают свои зафиксированные зависимости.
  3. Исходный код обучения: xgoduck_rl от Luwu Dynamics для сборки UNO Q или microduck_rl от Pollen Robotics для оригинального Microduck. Оба проекта названы в нашей технической документации.
  4. Необязательно: аккаунт Weights & Biases или Hugging Face. Оригинальный проект умеет воспроизводить и экспортировать запуски, залогированные в Weights & Biases, и описывает обучение на Hugging Face Jobs, если локального GPU нет.

Установка среды обучения

В корне скачанного проекта команда uv sync создаёт окружение по lock-файлу проекта. Запускайте её внутри xgoduck_rl, а для оригинального робота — внутри microduck_rl.

Установка зафиксированных зависимостей
cd xgoduck_rl
uv sync

На ARM-машинах вроде DGX Spark (GB10) или Jetson первая синхронизация скачивает большой CUDA-пакет (по словам оригинального проекта, около 2 ГБ), и стандартный 30-секундный HTTP-таймаут uv может её прервать. Для первой синхронизации увеличьте таймаут.

Первая синхронизация на ARM-машине
UV_HTTP_TIMEOUT=600 uv sync

Затем выведите список зарегистрированных задач. Для сборки UNO Q используйте задачу с именем на -XgoDuck, для оригинального робота — на -MicroDuck.

Список зарегистрированных задач
uv run list-envs

Обучение политики ходьбы

Начните с задачи скорости на ровной поверхности. Это основная задача в обоих проектах: робот учится ходить, следуя командам скорости.

Обучение политики ходьбы (сборка UNO Q)
uv run train Mjlab-Velocity-Flat-XgoDuck --env.scene.num-envs 4096

Для оригинального Microduck проект оценивает время до пригодной походки в один-два часа при 4096 средах. Luwu Dynamics не публикует оценку времени для сборки UNO Q, а реальное время зависит от вашего GPU.

Та же задача для оригинального Microduck
uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096

Чекпойнты (model_*.pt) и логи TensorBoard пишутся в logs/rsl_rl/<experiment>/; задача ходьбы использует logs/rsl_rl/xgoduck_velocity/. Другие навыки обучаются той же командой с другим именем задачи, например задачей вставания. В таблице ниже перечислены задачи сборки UNO Q; описания взяты из списка задач оригинального проекта, рецептам которого следуют эти задачи.

Обучение политики вставания
uv run train Mjlab-StandUp-Flat-XgoDuck --env.scene.num-envs 4096

Оригинальный проект описывает, как продолжить запуск с сохранённого чекпойнта с помощью приведённых ниже флагов агента.

Продолжение запуска (проект оригинального Microduck)
uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096 \
    --agent.run-name resume --agent.load-checkpoint model_29999.pt --agent.resume True

Прокрутите таблицу вбок, чтобы сравнить все столбцы.

Задача (сборка UNO Q)ПоверхностьЧему учится
Mjlab-Velocity-Flat-XgoDuckРовнаяХодить, следуя командам скорости
Mjlab-Velocity-Rough-XgoDuckНеровнаяТа же задача ходьбы на неровной поверхности
Mjlab-StandUp-Flat-XgoDuckРовнаяВставать из положения лёжа или сидя и удерживать стойку
Mjlab-SitStand-Flat-XgoDuckРовнаяСадиться и вставать по команде
Mjlab-GroundPick-Flat-XgoDuckРовнаяПрисесть, коснуться земли клювом и снова встать
Mjlab-BallKick-Flat-XgoDuckРовнаяБить по мячу правой ногой; есть и задача для левой
Mjlab-Roulade-Flat-XgoDuckРовнаяКувырок вперёд через голову с приземлением на ноги
Mjlab-RollerStandUp-Flat-XgoDuckРовнаяВставать с земли на пассивные колёса
Mjlab-Velocity-Swizzle-XgoDuckРовнаяСимметричное катание «змейкой» на колёсах

Проверка политики в симуляции

play открывает визуализатор для задачи. Без флага чекпойнта он загружает самый новый model_*.pt из каталога эксперимента этой задачи.

Воспроизведение последнего чекпойнта
uv run play Mjlab-Velocity-Flat-XgoDuck

Чтобы посмотреть конкретный запуск, передайте файл его чекпойнта. Воспроизводите именно тот чекпойнт, который собираетесь экспортировать, а не только самый новый.

Воспроизведение конкретного чекпойнта
uv run play Mjlab-Velocity-Flat-XgoDuck \
    --checkpoint-file logs/rsl_rl/xgoduck_velocity/<run>/model_XXXX.pt

Ищите то, что награда может упустить: ноги шаркают, каждые несколько шагов проскакивает подёргивание, наклон растёт со скоростью, робот падает при смене команды. Политика, которая нестабильна в симуляции, на реальном роботе лучше не станет.

Сокращаем разрыв между симуляцией и реальностью

Когда лёгкий бипед приводится в движение маленькими сервоприводами, большая часть разрыва sim-to-real, по словам авторов оригинального проекта, приходится на точность модели привода. Поэтому оба проекта моделируют сервопривод с помощью BAM (Better Actuator Models от Rhoban) вплоть до закона управления по напряжению, противо-ЭДС и трения, зависящего от нагрузки, а не идеальным PD-регулятором.

Затем доменная рандомизация варьирует напряжение батареи, просадку напряжения под нагрузкой, задержку команд и трение между параллельными средами, чтобы политика не зависела от одного конкретного сервопривода. В оригинальном проекте у каждой основной задачи есть и вариант Backlash, добавляющий люфт редуктора ±1° последовательно с каждым сервосуставом: вставьте -Backlash перед именем робота, например Mjlab-Velocity-Flat-Backlash-MicroDuck.

Именно поэтому модель сервопривода определяет, какой проект использовать. Если обучать сборку UNO Q на модели XL330 или наоборот, политика будет обучена под сервоприводы, которых в вашем роботе нет.

Экспорт политики в ONNX

Скрипт экспорта превращает чекпойнт в файл ONNX и встраивает нормализацию наблюдений прямо в граф. Всегда разворачивайте файл, полученный через scripts/export.py: вручную сконвертированный чекпойнт получал бы на роботе ненормализованные наблюдения.

Экспорт чекпойнта в ONNX
uv run python scripts/export.py Mjlab-Velocity-Flat-XgoDuck \
    --checkpoint-file logs/rsl_rl/xgoduck_velocity/<run>/model_XXXX.pt \
    --onnx-file logs/rsl_rl/xgoduck_velocity/<run>/<run>.onnx

Без --onnx-file результат записывается в output.onnx в текущем каталоге. Храните экспортированный файл рядом с запуском, из которого он получен, и записывайте ревизию проекта обучения, чекпойнт и контрольную сумму файла.

Запись контрольной суммы файла
sha256sum logs/rsl_rl/xgoduck_velocity/<run>/<run>.onnx

Оригинальный проект также позволяет управлять экспортированной политикой с клавиатуры в MuJoCo на CPU через scripts/infer_policy.py. Сервоприводы там симулируются той же моделью BAM, что и при обучении, поэтому это полезная последняя проверка перед роботом.

Управление экспортированной политикой в MuJoCo на CPU (оригинальный проект)
uv run scripts/infer_policy.py --walking output.onnx

Запуск политики на роботе

На оригинальном Microduck бортовая среда выполнения Pollen Robotics загружает экспортированные политики и переключается между ними (ходьба, восстановление, трюк) на основе одного общего вектора наблюдений из 61 значения: 48 значений проприоцепции плюс команды скорости корпуса, позы головы и позы корпуса. Её инструмент публикации отклоняет граф, если он не [1,61] → [1,14], то есть по одному выходу на каждый из 14 сервоприводов.

Для сборки UNO Q загружайте политику через среду выполнения, соответствующую ветке вашей прошивки; среды выполнения описаны в нашей технической документации. Перед первым запуском проверьте, что порядок суставов, поля наблюдений и нормализация в среде выполнения совпадают с задачей обучения. Несовпадение обычно проявляется так: робот выбрасывает ногу или складывается вместо того, чтобы стоять.

  1. Зарядите батарею и выполните калибровку из руководства по сборке, чтобы нулевая поза робота совпадала с нулевой позой модели.
  2. При первом запуске держите робота в руках или поставьте его на подставку, а выключатель питания держите под рукой.
  3. Сначала загрузите политику стойки или вставания, затем политику ходьбы с низкой заданной скоростью.
  4. Запишите чекпойнт, контрольную сумму ONNX и ревизию среды выполнения, чтобы при последующем ремонте можно было вернуться к работавшей комбинации.

Устранение неполадок

Если проблема не уходит, пришлите нам версию набора, проект обучения, имя задачи и короткое видео робота — мы сверим это с известными нам проблемами сборки.

  1. uv sync обрывается на полпути на ARM-машине: для первой синхронизации задайте UV_HTTP_TIMEOUT=600.
  2. list-envs не показывает вашу задачу: проверьте суффикс (-XgoDuck или -MicroDuck) и что вы находитесь в нужном проекте.
  3. play показывает не тот запуск: он берёт самый новый чекпойнт в каталоге эксперимента, поэтому передайте --checkpoint-file.
  4. Робот трясётся или реагирует с запаздыванием, хотя в симуляции всё хорошо: сначала проверьте модель сервоприводов, напряжение батареи и люфт редукторов. Именно это и должна покрывать доменная рандомизация.
  5. Робот двигает не тот сустав или сразу падает: сравните порядок суставов и структуру наблюдений в среде выполнения с задачей обучения и убедитесь, что файл экспортирован через scripts/export.py.
  6. Робот стоит криво: перед повторным обучением откалибруйте его заново. Политика не может исправить сервопривод, ноль которого смещён относительно модели.

Источники проекта

Связаться с нами