强化学习对小型双足机器人意味着什么
强化学习(RL)通过反复试错来训练控制策略。策略是一个小型神经网络,读取机器人的关节位置、速度和机身姿态,为每个舵机输出目标值。奖励函数给每一步打分(跟上指令速度、保持直立、不要跺脚),训练算法则不断调整网络,让它拿到更多奖励。对于腿式机器人,这一过程在物理仿真器中进行,成千上万个机器人副本可以同时安全地摔倒。
Microduck 很适合用来学习强化学习,因为整套流程都是开源的。Pollen Robotics 公开了机器人本身及其 RL 训练环境,Luwu Dynamics 则为 Arduino UNO Q 版发布了下游版本。两者都用 PPO 训练行走、起身、坐下和各种花式动作,再把策略导出为 ONNX 供机器鸭运行。
RL 与我们 LeRobot 教程里的模仿学习不同。模仿学习由人来示范任务,网络照着示范学。这里没有人示范怎么走路:奖励定义了什么是好的步态,仿真器负责提供练习。
本教程依据两个项目公开的文档和我们自己的技术笔记写成。撰写期间我们没有亲自训练或部署过策略,而且两个项目都在持续更新。请把这里的命令当作文档给出的起点,并对照你下载的代码版本逐一核实。
选择与你的机器人匹配的训练项目
相关的训练项目有两个,而机器人型号比代码更重要。策略学到的是训练所用那台机器人的质量、几何结构和舵机特性,所以为一只机器鸭训练的行走策略,放到另一只上可能立刻摔倒。
Pollen Robotics 的 microduck_rl 训练的是原版 Microduck:一台约 800 g、高约 25 cm、配 14 个 Dynamixel XL330 舵机的双足机器人。Luwu Dynamics 的 xgoduck_rl 沿用相同的任务配方训练 Arduino UNO Q 改编版,它的几何结构和惯量不同,仿真器中建模的是 1910 系列舵机而不是 XL330。本站的 Microduck Robot 套件以 UNO Q 为核心,因此请从 xgoduck_rl 开始,并对照你的机器确认舵机型号。
横向滚动以比较全部栏目。
| microduck_rl(Pollen Robotics) | xgoduck_rl(Luwu Dynamics) | |
|---|---|---|
| 机器人 | 原版 Microduck,约 800 g,高约 25 cm | Arduino UNO Q 改编版 |
| 仿真中的舵机模型 | Dynamixel XL330(BAM M6 模型) | 1910 系列舵机(HLS1910 BAM 模型) |
| 任务名后缀 | -MicroDuck | -XgoDuck |
| 训练框架 | mjlab + MuJoCo Warp,PPO | mjlab + MuJoCo Warp,PPO |
| 许可证 | 代码为 Apache 2.0;3D 模型为 CC BY-NC-SA 4.0 | Apache 2.0 |
训练循环是如何运作的
两个项目都基于 mjlab:它通过 MuJoCo Warp 在 GPU 上运行 MuJoCo 物理仿真,并用 rsl_rl 中的 PPO(近端策略优化)进行训练。文档中的命令会并行运行 4,096 个仿真机器人,因此训练一小时就能积累数千小时的仿真练习。
每项技能都是一个独立任务,各有自己的策略。速度任务学习在跟随速度指令的同时行走。起身任务学习从趴着、仰躺或坐着的姿势站起来。其他任务分别学习按指令坐下和站起、蹲下触地、踢球、向前翻滚过头顶,或在被动轮上滑行。原版项目以 50 Hz 的频率训练策略。
奖励和随机化都写在各任务的配置里。原版项目有奖励设计规则的文档,并把域随机化开关作为 ENABLE_* 标志放在每个任务配置文件的开头,开始训练前就能看清哪些参数会被随机化。
开始之前需要准备什么
训练策略和在仿真中检查策略都不需要机器鸭本体,只有最后的实机测试才需要。
- 一台带 NVIDIA CUDA GPU 的电脑。训练通过 MuJoCo Warp 在 GPU 上运行;机器鸭内部的计算机不负责训练。
- Python 3.12 和 uv——两个项目都用这个 Python 包管理器来安装锁定版本的依赖。
- 训练源代码:UNO Q 版用 Luwu Dynamics 的 xgoduck_rl,原版 Microduck 用 Pollen Robotics 的 microduck_rl。我们的技术文档列出了这两个项目。
- 可选:Weights & Biases 或 Hugging Face 账号。原版项目可以播放和导出记录在 Weights & Biases 上的训练,并说明了在没有本地 GPU 时如何用 Hugging Face Jobs 运行训练。
安装训练环境
在下载的项目根目录下运行 uv sync,它会根据项目的锁文件创建环境。UNO Q 版在 xgoduck_rl 中运行,原版机器人则在 microduck_rl 中运行。
cd xgoduck_rl
uv sync在 DGX Spark(GB10)或 Jetson 这类 ARM 机器上,首次同步要下载一个很大的 CUDA wheel(原版项目称约 2 GB),uv 默认 30 秒的 HTTP 超时可能会让下载中断。首次同步时请调高超时时间。
UV_HTTP_TIMEOUT=600 uv sync然后列出已注册的任务。UNO Q 版使用名称以 -XgoDuck 结尾的任务,原版机器人使用以 -MicroDuck 结尾的任务。
uv run list-envs训练行走策略
先从平地速度任务开始。这是两个项目的主任务:机器鸭学习在跟随速度指令的同时行走。
uv run train Mjlab-Velocity-Flat-XgoDuck --env.scene.num-envs 4096对于原版 Microduck,项目估计在 4,096 个环境下训练一到两小时可以得到可用的步态。Luwu Dynamics 没有公布 UNO Q 版所需的时间,实际耗时取决于你的 GPU。
uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096检查点(model_*.pt)和 TensorBoard 日志写入 logs/rsl_rl/<experiment>/;行走任务使用 logs/rsl_rl/xgoduck_velocity/。训练其他技能只需用同一条命令换个任务名,例如起身任务。下表列出了 UNO Q 版的任务;说明文字取自原版项目的任务列表,因为这些任务沿用的就是它的配方。
uv run train Mjlab-StandUp-Flat-XgoDuck --env.scene.num-envs 4096原版项目说明了如何用下面的 agent 参数从已保存的检查点继续训练。
uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096 \
--agent.run-name resume --agent.load-checkpoint model_29999.pt --agent.resume True横向滚动以比较全部栏目。
| 任务(UNO Q 版) | 地形 | 学习内容 |
|---|---|---|
Mjlab-Velocity-Flat-XgoDuck | 平地 | 跟随速度指令行走 |
Mjlab-Velocity-Rough-XgoDuck | 崎岖地面 | 在不平整地面上完成同样的行走任务 |
Mjlab-StandUp-Flat-XgoDuck | 平地 | 从躺姿或坐姿起身,并保持站立 |
Mjlab-SitStand-Flat-XgoDuck | 平地 | 按指令坐下和站起 |
Mjlab-GroundPick-Flat-XgoDuck | 平地 | 蹲下,用嘴触碰地面,再站起来 |
Mjlab-BallKick-Flat-XgoDuck | 平地 | 用右脚踢球;另有左脚任务 |
Mjlab-Roulade-Flat-XgoDuck | 平地 | 向前翻滚过头顶,双脚落地 |
Mjlab-RollerStandUp-Flat-XgoDuck | 平地 | 从地面起身站到被动轮上 |
Mjlab-Velocity-Swizzle-XgoDuck | 平地 | 在轮子上做对称的 swizzle 滑行 |
在仿真中检查策略
play 会打开某个任务的查看器。不带检查点参数时,它会加载该任务实验目录中最新的 model_*.pt。
uv run play Mjlab-Velocity-Flat-XgoDuck要查看某次特定的训练,请传入它的检查点文件。务必回放你准备导出的那个检查点,而不只是最新的那个。
uv run play Mjlab-Velocity-Flat-XgoDuck \
--checkpoint-file logs/rsl_rl/xgoduck_velocity/<run>/model_XXXX.pt留意奖励可能没覆盖到的问题:脚蹭地、每隔几步抽动一下、速度越快身体越倾斜,或者指令一变就摔倒。在仿真中就不稳定的策略,放到实机上也不会变好。
缩小仿真到实机的差距
对于用小舵机驱动的轻型双足机器人,原版项目的作者认为,仿真到实机(sim-to-real)的差距大部分来自执行器建模的保真度。因此两个项目都用 BAM(Better Actuator Models,来自 Rhoban)为舵机建模,细化到电压控制律、反电动势和随负载变化的摩擦,而不是使用理想的 PD 控制器。
在此基础上,域随机化会在各个并行环境中改变电池电压、负载下的电压跌落、指令延迟和摩擦,让策略无法依赖某一个特定的舵机。在原版项目中,每个主任务还有一个 Backlash 变体,在每个舵机关节上串联加入 ±1° 的齿轮间隙:在机器人名称前插入 -Backlash 即可,例如 Mjlab-Velocity-Flat-Backlash-MicroDuck。
这也是舵机模型决定该用哪个项目的原因。用 XL330 模型训练 UNO Q 版,或者反过来,训练出的策略针对的都是你机器上并不存在的舵机。
将策略导出为 ONNX
导出脚本会把检查点转换为 ONNX 文件,并把观测归一化固化到计算图中。部署时务必使用 scripts/export.py 生成的文件;手动转换的检查点在机器人上收到的将是未归一化的观测。
uv run python scripts/export.py Mjlab-Velocity-Flat-XgoDuck \
--checkpoint-file logs/rsl_rl/xgoduck_velocity/<run>/model_XXXX.pt \
--onnx-file logs/rsl_rl/xgoduck_velocity/<run>/<run>.onnx不加 --onnx-file 时,输出会写到当前目录下的 output.onnx。把导出的文件和生成它的那次训练放在一起,并记录训练项目的版本、检查点和文件的校验和。
sha256sum logs/rsl_rl/xgoduck_velocity/<run>/<run>.onnx原版项目还可以用 scripts/infer_policy.py 在 CPU 版 MuJoCo 中通过键盘驱动导出的策略。它用与训练相同的 BAM 模型来仿真舵机,是上实机前很有用的最后一道检查。
uv run scripts/infer_policy.py --walking output.onnx在机器鸭上运行策略
在原版 Microduck 上,Pollen Robotics 的板载运行时会加载导出的策略,并在它们之间切换(行走、恢复、花式动作),所有策略共用一个包含 61 个值的观测:48 个本体感知值,加上机身速度、头部姿态和机身姿态的指令。它的发布工具会拒绝不是 [1,61] → [1,14] 的计算图,即 14 个舵机各对应一个输出。
对于 UNO Q 版,请通过与你固件分支匹配的运行时加载策略;我们的技术文档介绍了这些运行时。首次运行前,检查运行时的关节顺序、观测字段和归一化是否与训练任务一致。不一致时,机器鸭通常会踢出一条腿或折叠下去,而不是站起来。
- 给电池充电,并按照组装教程完成校准,让机器鸭的零位与模型的零位一致。
- 首次启动时用手扶住机器鸭或把它放在支架上,电源开关放在随手可及的地方。
- 先加载站立或起身策略,再以较低的指令速度加载行走策略。
- 记下检查点、ONNX 校验和与运行时版本,以便日后维修时能回到一套可用的组合。
故障排查
如果问题仍然存在,请把你的套件版本、训练项目、任务名和一段机器鸭的短视频发给我们,我们会对照已知的组装问题进行排查。
uv sync在 ARM 机器上中途停止:首次同步时设置UV_HTTP_TIMEOUT=600。list-envs中找不到你的任务:检查后缀(-XgoDuck或-MicroDuck),并确认你在正确的项目中。play显示的不是你想要的那次训练:它会选取实验目录中最新的检查点,请传入--checkpoint-file。- 仿真看起来正常,但机器鸭抖动或反应迟钝:先检查舵机模型、电池电压和齿轮间隙。这些正是域随机化要覆盖的因素。
- 机器鸭动错关节或立刻摔倒:对照训练任务检查运行时的关节顺序和观测布局,并确认文件是用
scripts/export.py导出的。 - 机器鸭站歪:重新训练之前先重新校准。零位与模型有偏差的舵机,策略是无法纠正的。