強化學習對小型雙足機器人代表什麼
強化學習(RL)透過反覆試誤來訓練控制策略。策略是一個小型神經網路,讀取機器人的關節位置、速度與機身姿態,為每個伺服馬達輸出目標值。獎勵函數替每一步評分(跟上指令速度、保持直立、不要跺腳),訓練演算法則持續調整網路,讓它拿到更多獎勵。對腿式機器人來說,這個過程在物理模擬器中進行,成千上萬個機器人複本可以同時安全地跌倒。
Microduck 很適合用來學習強化學習,因為整套流程都是開源的。Pollen Robotics 公開了機器人本身與它的 RL 訓練環境,Luwu Dynamics 則為 Arduino UNO Q 版釋出了下游版本。兩者都以 PPO 訓練行走、起身、坐下與各種花式動作,再把策略匯出成 ONNX 讓機器鴨執行。
RL 和我們 LeRobot 教學中的模仿學習不同。模仿學習由人示範任務,網路照著示範學。這裡沒有人示範怎麼走路:獎勵定義了什麼是好的步態,模擬器負責提供練習。
本教學依據兩個專案公開的文件與我們自己的技術筆記撰寫。撰寫期間我們沒有親自訓練或部署過策略,而且兩個專案都持續在更新。請把這裡的指令當作文件提供的起點,並對照你下載的程式碼版本逐一確認。
選擇與你的機器人相符的訓練專案
相關的訓練專案有兩個,而機器人型號比程式碼更重要。策略學到的是訓練所用那台機器人的質量、幾何結構與伺服馬達特性,所以替一隻機器鴨訓練的行走策略,放到另一隻上可能馬上跌倒。
Pollen Robotics 的 microduck_rl 訓練的是原版 Microduck:一台約 800 g、高約 25 cm、搭載 14 顆 Dynamixel XL330 伺服馬達的雙足機器人。Luwu Dynamics 的 xgoduck_rl 沿用相同的任務配方訓練 Arduino UNO Q 改編版,它的幾何結構與慣量不同,模擬器中建模的是 1910 系列伺服馬達而不是 XL330。本站的 Microduck Robot 套件以 UNO Q 為核心,因此請從 xgoduck_rl 開始,並對照你的機器確認伺服馬達型號。
橫向捲動以比較所有欄位。
| microduck_rl(Pollen Robotics) | xgoduck_rl(Luwu Dynamics) | |
|---|---|---|
| 機器人 | 原版 Microduck,約 800 g,高約 25 cm | Arduino UNO Q 改編版 |
| 模擬中的伺服馬達模型 | Dynamixel XL330(BAM M6 模型) | 1910 系列伺服馬達(HLS1910 BAM 模型) |
| 任務名稱字尾 | -MicroDuck | -XgoDuck |
| 訓練框架 | mjlab + MuJoCo Warp,PPO | mjlab + MuJoCo Warp,PPO |
| 授權 | 程式碼為 Apache 2.0;3D 模型為 CC BY-NC-SA 4.0 | Apache 2.0 |
訓練迴圈如何運作
兩個專案都建立在 mjlab 之上:它透過 MuJoCo Warp 在 GPU 上執行 MuJoCo 物理模擬,並以 rsl_rl 的 PPO(近端策略最佳化)進行訓練。文件中的指令會平行執行 4,096 個模擬機器人,因此訓練一小時就能累積數千小時的模擬練習。
每項技能都是獨立的任務,各有自己的策略。速度任務學習在跟隨速度指令的同時行走。起身任務學習從趴著、仰躺或坐著的姿勢站起來。其他任務則分別學習依指令坐下與站起、蹲下觸地、踢球、向前翻滾過頭頂,或在被動輪上滑行。原版專案以 50 Hz 的頻率訓練策略。
獎勵與隨機化都寫在各任務的設定中。原版專案有獎勵設計規則的文件,並把域隨機化開關以 ENABLE_* 旗標放在每個任務設定檔的開頭,開始訓練前就能看清楚哪些參數會被隨機化。
開始之前需要準備什麼
訓練策略與在模擬中檢查策略都不需要機器鴨本體,只有最後的實機測試才需要。
- 一台配備 NVIDIA CUDA GPU 的電腦。訓練透過 MuJoCo Warp 在 GPU 上執行;機器鴨內部的電腦不負責訓練。
- Python 3.12 與 uv——兩個專案都用這個 Python 套件管理工具來安裝鎖定版本的相依套件。
- 訓練原始碼:UNO Q 版使用 Luwu Dynamics 的 xgoduck_rl,原版 Microduck 使用 Pollen Robotics 的 microduck_rl。我們的技術文件列出了這兩個專案。
- 選用:Weights & Biases 或 Hugging Face 帳號。原版專案可以播放與匯出記錄在 Weights & Biases 上的訓練,並說明了沒有本機 GPU 時如何用 Hugging Face Jobs 執行訓練。
安裝訓練環境
在下載的專案根目錄執行 uv sync,它會依照專案的鎖定檔建立環境。UNO Q 版在 xgoduck_rl 中執行,原版機器人則在 microduck_rl 中執行。
cd xgoduck_rl
uv sync在 DGX Spark(GB10)或 Jetson 這類 ARM 機器上,首次同步要下載一個很大的 CUDA wheel(原版專案表示約 2 GB),uv 預設 30 秒的 HTTP 逾時可能會讓下載中斷。首次同步時請調高逾時時間。
UV_HTTP_TIMEOUT=600 uv sync接著列出已註冊的任務。UNO Q 版使用名稱以 -XgoDuck 結尾的任務,原版機器人使用以 -MicroDuck 結尾的任務。
uv run list-envs訓練行走策略
先從平地速度任務開始。這是兩個專案的主要任務:機器鴨學習在跟隨速度指令的同時行走。
uv run train Mjlab-Velocity-Flat-XgoDuck --env.scene.num-envs 4096以原版 Microduck 來說,專案估計在 4,096 個環境下訓練一到兩小時可以得到可用的步態。Luwu Dynamics 沒有公布 UNO Q 版所需的時間,實際耗時取決於你的 GPU。
uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096檢查點(model_*.pt)與 TensorBoard 日誌會寫入 logs/rsl_rl/<experiment>/;行走任務使用 logs/rsl_rl/xgoduck_velocity/。訓練其他技能只要用同一條指令換個任務名稱,例如起身任務。下表列出 UNO Q 版的任務;說明文字取自原版專案的任務清單,因為這些任務沿用的正是它的配方。
uv run train Mjlab-StandUp-Flat-XgoDuck --env.scene.num-envs 4096原版專案說明了如何用下方的 agent 參數從已儲存的檢查點接續訓練。
uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096 \
--agent.run-name resume --agent.load-checkpoint model_29999.pt --agent.resume True橫向捲動以比較所有欄位。
| 任務(UNO Q 版) | 地形 | 學習內容 |
|---|---|---|
Mjlab-Velocity-Flat-XgoDuck | 平地 | 跟隨速度指令行走 |
Mjlab-Velocity-Rough-XgoDuck | 崎嶇地面 | 在不平整的地面上完成同樣的行走任務 |
Mjlab-StandUp-Flat-XgoDuck | 平地 | 從躺姿或坐姿起身,並維持站立 |
Mjlab-SitStand-Flat-XgoDuck | 平地 | 依指令坐下與站起 |
Mjlab-GroundPick-Flat-XgoDuck | 平地 | 蹲下,用嘴碰觸地面,再站起來 |
Mjlab-BallKick-Flat-XgoDuck | 平地 | 用右腳踢球;另有左腳任務 |
Mjlab-Roulade-Flat-XgoDuck | 平地 | 向前翻滾過頭頂,雙腳著地 |
Mjlab-RollerStandUp-Flat-XgoDuck | 平地 | 從地面起身站到被動輪上 |
Mjlab-Velocity-Swizzle-XgoDuck | 平地 | 在輪子上做對稱的 swizzle 滑行 |
在模擬中檢查策略
play 會開啟某個任務的檢視器。不加檢查點參數時,它會載入該任務實驗目錄中最新的 model_*.pt。
uv run play Mjlab-Velocity-Flat-XgoDuck要檢視某次特定的訓練,請傳入它的檢查點檔案。務必重播你打算匯出的那個檢查點,而不只是最新的那個。
uv run play Mjlab-Velocity-Flat-XgoDuck \
--checkpoint-file logs/rsl_rl/xgoduck_velocity/<run>/model_XXXX.pt留意獎勵可能沒涵蓋到的問題:腳拖地、每隔幾步抽動一下、速度越快身體越傾斜,或是指令一變就跌倒。在模擬中就不穩定的策略,放到實機上也不會變好。
縮小模擬到實機的差距
對於以小型伺服馬達驅動的輕量雙足機器人,原版專案的作者認為,模擬到實機(sim-to-real)的差距大多來自致動器建模的擬真度。因此兩個專案都用 BAM(Better Actuator Models,來自 Rhoban)替伺服馬達建模,細到電壓控制律、反電動勢與隨負載變化的摩擦,而不是使用理想的 PD 控制器。
在此基礎上,域隨機化會在各個平行環境中改變電池電壓、負載下的電壓下降、指令延遲與摩擦,讓策略無法依賴某一顆特定的伺服馬達。在原版專案中,每個主要任務還有一個 Backlash 變體,在每個伺服馬達關節上串聯加入 ±1° 的齒輪背隙:在機器人名稱前插入 -Backlash 即可,例如 Mjlab-Velocity-Flat-Backlash-MicroDuck。
這也是伺服馬達模型決定該用哪個專案的原因。用 XL330 模型訓練 UNO Q 版,或者反過來,訓練出的策略針對的都是你機器上並不存在的伺服馬達。
將策略匯出成 ONNX
匯出腳本會把檢查點轉換成 ONNX 檔案,並把觀測正規化固化到計算圖中。部署時務必使用 scripts/export.py 產生的檔案;手動轉換的檢查點在機器人上收到的會是未正規化的觀測。
uv run python scripts/export.py Mjlab-Velocity-Flat-XgoDuck \
--checkpoint-file logs/rsl_rl/xgoduck_velocity/<run>/model_XXXX.pt \
--onnx-file logs/rsl_rl/xgoduck_velocity/<run>/<run>.onnx不加 --onnx-file 時,輸出會寫到目前目錄下的 output.onnx。把匯出的檔案和產生它的那次訓練放在一起,並記錄訓練專案的版本、檢查點與檔案的校驗碼。
sha256sum logs/rsl_rl/xgoduck_velocity/<run>/<run>.onnx原版專案還可以用 scripts/infer_policy.py 在 CPU 版 MuJoCo 中透過鍵盤驅動匯出的策略。它用與訓練相同的 BAM 模型來模擬伺服馬達,是上實機前很實用的最後一道檢查。
uv run scripts/infer_policy.py --walking output.onnx在機器鴨上執行策略
在原版 Microduck 上,Pollen Robotics 的板載執行環境會載入匯出的策略,並在它們之間切換(行走、恢復、花式動作),所有策略共用一組包含 61 個值的觀測:48 個本體感知值,加上機身速度、頭部姿態與機身姿態的指令。它的發布工具會拒絕不是 [1,61] → [1,14] 的計算圖,也就是 14 顆伺服馬達各對應一個輸出。
以 UNO Q 版來說,請透過與你韌體分支相符的執行環境載入策略;我們的技術文件介紹了這些執行環境。首次執行前,確認執行環境的關節順序、觀測欄位與正規化是否與訓練任務一致。不一致時,機器鴨通常會踢出一條腿或整個折下去,而不是站起來。
- 替電池充電,並依照組裝教學完成校準,讓機器鴨的零點姿勢與模型的零點姿勢一致。
- 首次啟動時用手扶住機器鴨或把它放在支架上,電源開關放在伸手可及的地方。
- 先載入站立或起身策略,再以較低的指令速度載入行走策略。
- 記下檢查點、ONNX 校驗碼與執行環境版本,日後維修時才能回到一組可用的組合。
疑難排解
如果問題持續存在,請把你的套件版本、訓練專案、任務名稱與一段機器鴨的短影片寄給我們,我們會對照已知的組裝問題進行檢查。
uv sync在 ARM 機器上中途停止:首次同步時設定UV_HTTP_TIMEOUT=600。list-envs中找不到你的任務:檢查字尾(-XgoDuck或-MicroDuck),並確認你在正確的專案中。play顯示的不是你想要的那次訓練:它會挑選實驗目錄中最新的檢查點,請傳入--checkpoint-file。- 模擬看起來正常,但機器鴨抖動或反應遲鈍:先檢查伺服馬達模型、電池電壓與齒輪背隙。這些正是域隨機化要涵蓋的因素。
- 機器鴨動錯關節或馬上跌倒:對照訓練任務檢查執行環境的關節順序與觀測配置,並確認檔案是用
scripts/export.py匯出的。 - 機器鴨站不正:重新訓練之前先重新校準。零點與模型有偏差的伺服馬達,策略是無法修正的。