Что такое обучение с подкреплением для маленького бипеда
Обучение с подкреплением (RL) подбирает политику управления методом проб и ошибок. Политика — это небольшая нейросеть: она получает положения и скорости суставов робота и ориентацию корпуса, а выдаёт целевое значение для каждого сервопривода. Функция награды оценивает каждый шаг (следовать заданной скорости, держаться прямо, не топать ногами), а алгоритм обучения подстраивает сеть так, чтобы награды было больше. Для шагающих роботов всё это происходит в физическом симуляторе, где тысячи копий робота могут одновременно и безопасно падать.
Microduck хорошо подходит для изучения обучения с подкреплением, потому что весь рецепт открыт. Pollen Robotics публикует самого робота и его среды RL-обучения, а Luwu Dynamics — производную версию для сборки на Arduino UNO Q. Оба проекта обучают ходьбу, вставание, сидение и трюки с помощью PPO, а затем экспортируют политику в ONNX, чтобы робот мог её выполнять.
RL — это не то же самое, что обучение по демонстрациям из нашего руководства по LeRobot. Там человек показывает задачу, а сеть копирует демонстрации. Здесь ходьбу никто не показывает: что такое хорошая ходьба, определяет награда, а практику обеспечивает симулятор.
Мы написали это руководство по опубликованной документации обоих проектов и нашим собственным техническим заметкам. Сами мы при этом не обучали и не запускали политику на роботе, а оба проекта продолжают меняться. Считайте команды задокументированной отправной точкой и сверяйте их с той версией кода, которую скачаете.
Выберите проект обучения под своего робота
Есть два родственных проекта обучения, и модель робота здесь важнее кода. Политика запоминает массу, геометрию и поведение сервоприводов того робота, на котором её обучали, поэтому политика ходьбы, обученная для одной утки, на другой может сразу упасть.
microduck_rl от Pollen Robotics обучает оригинальный Microduck — бипед массой около 800 г и высотой 25 см с 14 сервоприводами Dynamixel XL330. xgoduck_rl от Luwu Dynamics следует тем же рецептам задач для адаптации под Arduino UNO Q, у которой другие геометрия и инерция, а симулятор моделирует сервоприводы семейства 1910 вместо XL330. Наборы Microduck Robot на этом сайте построены на UNO Q, поэтому начинайте с xgoduck_rl и сверьте модель сервоприводов со своей сборкой.
Прокрутите таблицу вбок, чтобы сравнить все столбцы.
| microduck_rl (Pollen Robotics) | xgoduck_rl (Luwu Dynamics) | |
|---|---|---|
| Робот | Оригинальный Microduck, около 800 г и 25 см в высоту | Адаптация под Arduino UNO Q |
| Модель сервопривода в симуляции | Dynamixel XL330 (модель BAM M6) | Сервопривод семейства 1910 (модель BAM HLS1910) |
| Имена задач оканчиваются на | -MicroDuck | -XgoDuck |
| Стек обучения | mjlab на MuJoCo Warp, PPO | mjlab на MuJoCo Warp, PPO |
| Лицензия | Apache 2.0 для кода; 3D-модели — CC BY-NC-SA 4.0 | Apache 2.0 |
Как устроен цикл обучения
Оба проекта построены на mjlab, который запускает физику MuJoCo на GPU через MuJoCo Warp и обучает с помощью PPO (proximal policy optimization) из rsl_rl. Задокументированные команды запускают 4096 симулированных роботов параллельно, так что за час обучения набираются тысячи часов симулированной практики.
Каждый навык — отдельная задача со своей политикой. Задача скорости учит ходить, выполняя команды скорости. Задача вставания учит подниматься из положения лёжа на животе, на спине или сидя. Другие задачи учат садиться и вставать по команде, приседать и касаться земли, бить по мячу, кувыркаться вперёд через голову или кататься на пассивных колёсах. Оригинальный проект обучает свои политики на частоте 50 Гц.
Награды и рандомизация задаются в конфигурации каждой задачи. Оригинальный проект описывает свои правила проектирования наград и держит переключатели доменной рандомизации в виде флагов ENABLE_* в начале конфигурационного файла каждой задачи, так что ещё до запуска видно, что именно рандомизируется.
Что нужно до начала
Чтобы обучить политику или проверить её в симуляции, робот не нужен. Он понадобится только для финального теста.
- Компьютер с GPU NVIDIA с поддержкой CUDA. Обучение идёт через MuJoCo Warp на GPU; компьютер внутри робота ничего не обучает.
- Python 3.12 и uv — менеджер пакетов Python, которым оба проекта устанавливают свои зафиксированные зависимости.
- Исходный код обучения: xgoduck_rl от Luwu Dynamics для сборки UNO Q или microduck_rl от Pollen Robotics для оригинального Microduck. Оба проекта названы в нашей технической документации.
- Необязательно: аккаунт Weights & Biases или Hugging Face. Оригинальный проект умеет воспроизводить и экспортировать запуски, залогированные в Weights & Biases, и описывает обучение на Hugging Face Jobs, если локального GPU нет.
Установка среды обучения
В корне скачанного проекта команда uv sync создаёт окружение по lock-файлу проекта. Запускайте её внутри xgoduck_rl, а для оригинального робота — внутри microduck_rl.
cd xgoduck_rl
uv syncНа ARM-машинах вроде DGX Spark (GB10) или Jetson первая синхронизация скачивает большой CUDA-пакет (по словам оригинального проекта, около 2 ГБ), и стандартный 30-секундный HTTP-таймаут uv может её прервать. Для первой синхронизации увеличьте таймаут.
UV_HTTP_TIMEOUT=600 uv syncЗатем выведите список зарегистрированных задач. Для сборки UNO Q используйте задачу с именем на -XgoDuck, для оригинального робота — на -MicroDuck.
uv run list-envsОбучение политики ходьбы
Начните с задачи скорости на ровной поверхности. Это основная задача в обоих проектах: робот учится ходить, следуя командам скорости.
uv run train Mjlab-Velocity-Flat-XgoDuck --env.scene.num-envs 4096Для оригинального Microduck проект оценивает время до пригодной походки в один-два часа при 4096 средах. Luwu Dynamics не публикует оценку времени для сборки UNO Q, а реальное время зависит от вашего GPU.
uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096Чекпойнты (model_*.pt) и логи TensorBoard пишутся в logs/rsl_rl/<experiment>/; задача ходьбы использует logs/rsl_rl/xgoduck_velocity/. Другие навыки обучаются той же командой с другим именем задачи, например задачей вставания. В таблице ниже перечислены задачи сборки UNO Q; описания взяты из списка задач оригинального проекта, рецептам которого следуют эти задачи.
uv run train Mjlab-StandUp-Flat-XgoDuck --env.scene.num-envs 4096Оригинальный проект описывает, как продолжить запуск с сохранённого чекпойнта с помощью приведённых ниже флагов агента.
uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096 \
--agent.run-name resume --agent.load-checkpoint model_29999.pt --agent.resume TrueПрокрутите таблицу вбок, чтобы сравнить все столбцы.
| Задача (сборка UNO Q) | Поверхность | Чему учится |
|---|---|---|
Mjlab-Velocity-Flat-XgoDuck | Ровная | Ходить, следуя командам скорости |
Mjlab-Velocity-Rough-XgoDuck | Неровная | Та же задача ходьбы на неровной поверхности |
Mjlab-StandUp-Flat-XgoDuck | Ровная | Вставать из положения лёжа или сидя и удерживать стойку |
Mjlab-SitStand-Flat-XgoDuck | Ровная | Садиться и вставать по команде |
Mjlab-GroundPick-Flat-XgoDuck | Ровная | Присесть, коснуться земли клювом и снова встать |
Mjlab-BallKick-Flat-XgoDuck | Ровная | Бить по мячу правой ногой; есть и задача для левой |
Mjlab-Roulade-Flat-XgoDuck | Ровная | Кувырок вперёд через голову с приземлением на ноги |
Mjlab-RollerStandUp-Flat-XgoDuck | Ровная | Вставать с земли на пассивные колёса |
Mjlab-Velocity-Swizzle-XgoDuck | Ровная | Симметричное катание «змейкой» на колёсах |
Проверка политики в симуляции
play открывает визуализатор для задачи. Без флага чекпойнта он загружает самый новый model_*.pt из каталога эксперимента этой задачи.
uv run play Mjlab-Velocity-Flat-XgoDuckЧтобы посмотреть конкретный запуск, передайте файл его чекпойнта. Воспроизводите именно тот чекпойнт, который собираетесь экспортировать, а не только самый новый.
uv run play Mjlab-Velocity-Flat-XgoDuck \
--checkpoint-file logs/rsl_rl/xgoduck_velocity/<run>/model_XXXX.ptИщите то, что награда может упустить: ноги шаркают, каждые несколько шагов проскакивает подёргивание, наклон растёт со скоростью, робот падает при смене команды. Политика, которая нестабильна в симуляции, на реальном роботе лучше не станет.
Сокращаем разрыв между симуляцией и реальностью
Когда лёгкий бипед приводится в движение маленькими сервоприводами, большая часть разрыва sim-to-real, по словам авторов оригинального проекта, приходится на точность модели привода. Поэтому оба проекта моделируют сервопривод с помощью BAM (Better Actuator Models от Rhoban) вплоть до закона управления по напряжению, противо-ЭДС и трения, зависящего от нагрузки, а не идеальным PD-регулятором.
Затем доменная рандомизация варьирует напряжение батареи, просадку напряжения под нагрузкой, задержку команд и трение между параллельными средами, чтобы политика не зависела от одного конкретного сервопривода. В оригинальном проекте у каждой основной задачи есть и вариант Backlash, добавляющий люфт редуктора ±1° последовательно с каждым сервосуставом: вставьте -Backlash перед именем робота, например Mjlab-Velocity-Flat-Backlash-MicroDuck.
Именно поэтому модель сервопривода определяет, какой проект использовать. Если обучать сборку UNO Q на модели XL330 или наоборот, политика будет обучена под сервоприводы, которых в вашем роботе нет.
Экспорт политики в ONNX
Скрипт экспорта превращает чекпойнт в файл ONNX и встраивает нормализацию наблюдений прямо в граф. Всегда разворачивайте файл, полученный через scripts/export.py: вручную сконвертированный чекпойнт получал бы на роботе ненормализованные наблюдения.
uv run python scripts/export.py Mjlab-Velocity-Flat-XgoDuck \
--checkpoint-file logs/rsl_rl/xgoduck_velocity/<run>/model_XXXX.pt \
--onnx-file logs/rsl_rl/xgoduck_velocity/<run>/<run>.onnxБез --onnx-file результат записывается в output.onnx в текущем каталоге. Храните экспортированный файл рядом с запуском, из которого он получен, и записывайте ревизию проекта обучения, чекпойнт и контрольную сумму файла.
sha256sum logs/rsl_rl/xgoduck_velocity/<run>/<run>.onnxОригинальный проект также позволяет управлять экспортированной политикой с клавиатуры в MuJoCo на CPU через scripts/infer_policy.py. Сервоприводы там симулируются той же моделью BAM, что и при обучении, поэтому это полезная последняя проверка перед роботом.
uv run scripts/infer_policy.py --walking output.onnxЗапуск политики на роботе
На оригинальном Microduck бортовая среда выполнения Pollen Robotics загружает экспортированные политики и переключается между ними (ходьба, восстановление, трюк) на основе одного общего вектора наблюдений из 61 значения: 48 значений проприоцепции плюс команды скорости корпуса, позы головы и позы корпуса. Её инструмент публикации отклоняет граф, если он не [1,61] → [1,14], то есть по одному выходу на каждый из 14 сервоприводов.
Для сборки UNO Q загружайте политику через среду выполнения, соответствующую ветке вашей прошивки; среды выполнения описаны в нашей технической документации. Перед первым запуском проверьте, что порядок суставов, поля наблюдений и нормализация в среде выполнения совпадают с задачей обучения. Несовпадение обычно проявляется так: робот выбрасывает ногу или складывается вместо того, чтобы стоять.
- Зарядите батарею и выполните калибровку из руководства по сборке, чтобы нулевая поза робота совпадала с нулевой позой модели.
- При первом запуске держите робота в руках или поставьте его на подставку, а выключатель питания держите под рукой.
- Сначала загрузите политику стойки или вставания, затем политику ходьбы с низкой заданной скоростью.
- Запишите чекпойнт, контрольную сумму ONNX и ревизию среды выполнения, чтобы при последующем ремонте можно было вернуться к работавшей комбинации.
Устранение неполадок
Если проблема не уходит, пришлите нам версию набора, проект обучения, имя задачи и короткое видео робота — мы сверим это с известными нам проблемами сборки.
uv syncобрывается на полпути на ARM-машине: для первой синхронизации задайтеUV_HTTP_TIMEOUT=600.list-envsне показывает вашу задачу: проверьте суффикс (-XgoDuckили-MicroDuck) и что вы находитесь в нужном проекте.playпоказывает не тот запуск: он берёт самый новый чекпойнт в каталоге эксперимента, поэтому передайте--checkpoint-file.- Робот трясётся или реагирует с запаздыванием, хотя в симуляции всё хорошо: сначала проверьте модель сервоприводов, напряжение батареи и люфт редукторов. Именно это и должна покрывать доменная рандомизация.
- Робот двигает не тот сустав или сразу падает: сравните порядок суставов и структуру наблюдений в среде выполнения с задачей обучения и убедитесь, что файл экспортирован через
scripts/export.py. - Робот стоит криво: перед повторным обучением откалибруйте его заново. Политика не может исправить сервопривод, ноль которого смещён относительно модели.