Microduck Robot●microduck-robot.com

Microduck Robot / RL

機器人強化學習入門:訓練雙足機器鴨走路

本教學以一台真實的開源雙足機器人——Microduck 機器鴨——為例,說明機器人強化學習。內容依據 Pollen Robotics(Microduck 原版)與 Luwu Dynamics(Arduino UNO Q 版)公開的訓練專案整理,從安裝訓練環境一路講到匯出策略並在機器鴨上測試。

強化學習對小型雙足機器人代表什麼

強化學習(RL)透過反覆試誤來訓練控制策略。策略是一個小型神經網路,讀取機器人的關節位置、速度與機身姿態,為每個伺服馬達輸出目標值。獎勵函數替每一步評分(跟上指令速度、保持直立、不要跺腳),訓練演算法則持續調整網路,讓它拿到更多獎勵。對腿式機器人來說,這個過程在物理模擬器中進行,成千上萬個機器人複本可以同時安全地跌倒。

Microduck 很適合用來學習強化學習,因為整套流程都是開源的。Pollen Robotics 公開了機器人本身與它的 RL 訓練環境,Luwu Dynamics 則為 Arduino UNO Q 版釋出了下游版本。兩者都以 PPO 訓練行走、起身、坐下與各種花式動作,再把策略匯出成 ONNX 讓機器鴨執行。

RL 和我們 LeRobot 教學中的模仿學習不同。模仿學習由人示範任務,網路照著示範學。這裡沒有人示範怎麼走路:獎勵定義了什麼是好的步態,模擬器負責提供練習。

本教學依據兩個專案公開的文件與我們自己的技術筆記撰寫。撰寫期間我們沒有親自訓練或部署過策略,而且兩個專案都持續在更新。請把這裡的指令當作文件提供的起點,並對照你下載的程式碼版本逐一確認。

選擇與你的機器人相符的訓練專案

相關的訓練專案有兩個,而機器人型號比程式碼更重要。策略學到的是訓練所用那台機器人的質量、幾何結構與伺服馬達特性,所以替一隻機器鴨訓練的行走策略,放到另一隻上可能馬上跌倒。

Pollen Robotics 的 microduck_rl 訓練的是原版 Microduck:一台約 800 g、高約 25 cm、搭載 14 顆 Dynamixel XL330 伺服馬達的雙足機器人。Luwu Dynamics 的 xgoduck_rl 沿用相同的任務配方訓練 Arduino UNO Q 改編版,它的幾何結構與慣量不同,模擬器中建模的是 1910 系列伺服馬達而不是 XL330。本站的 Microduck Robot 套件以 UNO Q 為核心,因此請從 xgoduck_rl 開始,並對照你的機器確認伺服馬達型號。

橫向捲動以比較所有欄位。

microduck_rl(Pollen Robotics)xgoduck_rl(Luwu Dynamics)
機器人原版 Microduck,約 800 g,高約 25 cmArduino UNO Q 改編版
模擬中的伺服馬達模型Dynamixel XL330(BAM M6 模型)1910 系列伺服馬達(HLS1910 BAM 模型)
任務名稱字尾-MicroDuck-XgoDuck
訓練框架mjlab + MuJoCo Warp,PPOmjlab + MuJoCo Warp,PPO
授權程式碼為 Apache 2.0;3D 模型為 CC BY-NC-SA 4.0Apache 2.0

訓練迴圈如何運作

兩個專案都建立在 mjlab 之上:它透過 MuJoCo Warp 在 GPU 上執行 MuJoCo 物理模擬,並以 rsl_rl 的 PPO(近端策略最佳化)進行訓練。文件中的指令會平行執行 4,096 個模擬機器人,因此訓練一小時就能累積數千小時的模擬練習。

每項技能都是獨立的任務,各有自己的策略。速度任務學習在跟隨速度指令的同時行走。起身任務學習從趴著、仰躺或坐著的姿勢站起來。其他任務則分別學習依指令坐下與站起、蹲下觸地、踢球、向前翻滾過頭頂,或在被動輪上滑行。原版專案以 50 Hz 的頻率訓練策略。

獎勵與隨機化都寫在各任務的設定中。原版專案有獎勵設計規則的文件,並把域隨機化開關以 ENABLE_* 旗標放在每個任務設定檔的開頭,開始訓練前就能看清楚哪些參數會被隨機化。

開始之前需要準備什麼

訓練策略與在模擬中檢查策略都不需要機器鴨本體,只有最後的實機測試才需要。

  1. 一台配備 NVIDIA CUDA GPU 的電腦。訓練透過 MuJoCo Warp 在 GPU 上執行;機器鴨內部的電腦不負責訓練。
  2. Python 3.12 與 uv——兩個專案都用這個 Python 套件管理工具來安裝鎖定版本的相依套件。
  3. 訓練原始碼:UNO Q 版使用 Luwu Dynamics 的 xgoduck_rl,原版 Microduck 使用 Pollen Robotics 的 microduck_rl。我們的技術文件列出了這兩個專案。
  4. 選用:Weights & Biases 或 Hugging Face 帳號。原版專案可以播放與匯出記錄在 Weights & Biases 上的訓練,並說明了沒有本機 GPU 時如何用 Hugging Face Jobs 執行訓練。

安裝訓練環境

在下載的專案根目錄執行 uv sync,它會依照專案的鎖定檔建立環境。UNO Q 版在 xgoduck_rl 中執行,原版機器人則在 microduck_rl 中執行。

安裝鎖定版本的相依套件
cd xgoduck_rl
uv sync

在 DGX Spark(GB10)或 Jetson 這類 ARM 機器上,首次同步要下載一個很大的 CUDA wheel(原版專案表示約 2 GB),uv 預設 30 秒的 HTTP 逾時可能會讓下載中斷。首次同步時請調高逾時時間。

在 ARM 機器上首次同步
UV_HTTP_TIMEOUT=600 uv sync

接著列出已註冊的任務。UNO Q 版使用名稱以 -XgoDuck 結尾的任務,原版機器人使用以 -MicroDuck 結尾的任務。

列出已註冊的任務
uv run list-envs

訓練行走策略

先從平地速度任務開始。這是兩個專案的主要任務:機器鴨學習在跟隨速度指令的同時行走。

訓練行走策略(UNO Q 版)
uv run train Mjlab-Velocity-Flat-XgoDuck --env.scene.num-envs 4096

以原版 Microduck 來說,專案估計在 4,096 個環境下訓練一到兩小時可以得到可用的步態。Luwu Dynamics 沒有公布 UNO Q 版所需的時間,實際耗時取決於你的 GPU。

原版 Microduck 的同一任務
uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096

檢查點(model_*.pt)與 TensorBoard 日誌會寫入 logs/rsl_rl/<experiment>/;行走任務使用 logs/rsl_rl/xgoduck_velocity/。訓練其他技能只要用同一條指令換個任務名稱,例如起身任務。下表列出 UNO Q 版的任務;說明文字取自原版專案的任務清單,因為這些任務沿用的正是它的配方。

訓練起身策略
uv run train Mjlab-StandUp-Flat-XgoDuck --env.scene.num-envs 4096

原版專案說明了如何用下方的 agent 參數從已儲存的檢查點接續訓練。

接續一次訓練(原版 Microduck 專案)
uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096 \
    --agent.run-name resume --agent.load-checkpoint model_29999.pt --agent.resume True

橫向捲動以比較所有欄位。

任務(UNO Q 版)地形學習內容
Mjlab-Velocity-Flat-XgoDuck平地跟隨速度指令行走
Mjlab-Velocity-Rough-XgoDuck崎嶇地面在不平整的地面上完成同樣的行走任務
Mjlab-StandUp-Flat-XgoDuck平地從躺姿或坐姿起身,並維持站立
Mjlab-SitStand-Flat-XgoDuck平地依指令坐下與站起
Mjlab-GroundPick-Flat-XgoDuck平地蹲下,用嘴碰觸地面,再站起來
Mjlab-BallKick-Flat-XgoDuck平地用右腳踢球;另有左腳任務
Mjlab-Roulade-Flat-XgoDuck平地向前翻滾過頭頂,雙腳著地
Mjlab-RollerStandUp-Flat-XgoDuck平地從地面起身站到被動輪上
Mjlab-Velocity-Swizzle-XgoDuck平地在輪子上做對稱的 swizzle 滑行

在模擬中檢查策略

play 會開啟某個任務的檢視器。不加檢查點參數時,它會載入該任務實驗目錄中最新的 model_*.pt。

播放最新的檢查點
uv run play Mjlab-Velocity-Flat-XgoDuck

要檢視某次特定的訓練,請傳入它的檢查點檔案。務必重播你打算匯出的那個檢查點,而不只是最新的那個。

播放指定的檢查點
uv run play Mjlab-Velocity-Flat-XgoDuck \
    --checkpoint-file logs/rsl_rl/xgoduck_velocity/<run>/model_XXXX.pt

留意獎勵可能沒涵蓋到的問題:腳拖地、每隔幾步抽動一下、速度越快身體越傾斜,或是指令一變就跌倒。在模擬中就不穩定的策略,放到實機上也不會變好。

縮小模擬到實機的差距

對於以小型伺服馬達驅動的輕量雙足機器人,原版專案的作者認為,模擬到實機(sim-to-real)的差距大多來自致動器建模的擬真度。因此兩個專案都用 BAM(Better Actuator Models,來自 Rhoban)替伺服馬達建模,細到電壓控制律、反電動勢與隨負載變化的摩擦,而不是使用理想的 PD 控制器。

在此基礎上,域隨機化會在各個平行環境中改變電池電壓、負載下的電壓下降、指令延遲與摩擦,讓策略無法依賴某一顆特定的伺服馬達。在原版專案中,每個主要任務還有一個 Backlash 變體,在每個伺服馬達關節上串聯加入 ±1° 的齒輪背隙:在機器人名稱前插入 -Backlash 即可,例如 Mjlab-Velocity-Flat-Backlash-MicroDuck。

這也是伺服馬達模型決定該用哪個專案的原因。用 XL330 模型訓練 UNO Q 版,或者反過來,訓練出的策略針對的都是你機器上並不存在的伺服馬達。

將策略匯出成 ONNX

匯出腳本會把檢查點轉換成 ONNX 檔案,並把觀測正規化固化到計算圖中。部署時務必使用 scripts/export.py 產生的檔案;手動轉換的檢查點在機器人上收到的會是未正規化的觀測。

將檢查點匯出成 ONNX
uv run python scripts/export.py Mjlab-Velocity-Flat-XgoDuck \
    --checkpoint-file logs/rsl_rl/xgoduck_velocity/<run>/model_XXXX.pt \
    --onnx-file logs/rsl_rl/xgoduck_velocity/<run>/<run>.onnx

不加 --onnx-file 時,輸出會寫到目前目錄下的 output.onnx。把匯出的檔案和產生它的那次訓練放在一起,並記錄訓練專案的版本、檢查點與檔案的校驗碼。

記錄檔案的校驗碼
sha256sum logs/rsl_rl/xgoduck_velocity/<run>/<run>.onnx

原版專案還可以用 scripts/infer_policy.py 在 CPU 版 MuJoCo 中透過鍵盤驅動匯出的策略。它用與訓練相同的 BAM 模型來模擬伺服馬達,是上實機前很實用的最後一道檢查。

在 CPU 版 MuJoCo 中驅動匯出的策略(原版專案)
uv run scripts/infer_policy.py --walking output.onnx

在機器鴨上執行策略

在原版 Microduck 上,Pollen Robotics 的板載執行環境會載入匯出的策略,並在它們之間切換(行走、恢復、花式動作),所有策略共用一組包含 61 個值的觀測:48 個本體感知值,加上機身速度、頭部姿態與機身姿態的指令。它的發布工具會拒絕不是 [1,61] → [1,14] 的計算圖,也就是 14 顆伺服馬達各對應一個輸出。

以 UNO Q 版來說,請透過與你韌體分支相符的執行環境載入策略;我們的技術文件介紹了這些執行環境。首次執行前,確認執行環境的關節順序、觀測欄位與正規化是否與訓練任務一致。不一致時,機器鴨通常會踢出一條腿或整個折下去,而不是站起來。

  1. 替電池充電,並依照組裝教學完成校準,讓機器鴨的零點姿勢與模型的零點姿勢一致。
  2. 首次啟動時用手扶住機器鴨或把它放在支架上,電源開關放在伸手可及的地方。
  3. 先載入站立或起身策略,再以較低的指令速度載入行走策略。
  4. 記下檢查點、ONNX 校驗碼與執行環境版本,日後維修時才能回到一組可用的組合。

疑難排解

如果問題持續存在,請把你的套件版本、訓練專案、任務名稱與一段機器鴨的短影片寄給我們,我們會對照已知的組裝問題進行檢查。

  1. uv sync 在 ARM 機器上中途停止:首次同步時設定 UV_HTTP_TIMEOUT=600。
  2. list-envs 中找不到你的任務:檢查字尾(-XgoDuck 或 -MicroDuck),並確認你在正確的專案中。
  3. play 顯示的不是你想要的那次訓練:它會挑選實驗目錄中最新的檢查點,請傳入 --checkpoint-file。
  4. 模擬看起來正常,但機器鴨抖動或反應遲鈍:先檢查伺服馬達模型、電池電壓與齒輪背隙。這些正是域隨機化要涵蓋的因素。
  5. 機器鴨動錯關節或馬上跌倒:對照訓練任務檢查執行環境的關節順序與觀測配置,並確認檔案是用 scripts/export.py 匯出的。
  6. 機器鴨站不正:重新訓練之前先重新校準。零點與模型有偏差的伺服馬達,策略是無法修正的。

專案資料來源

聯絡我們