Microduck Robot●microduck-robot.com

Microduck Robot / RL

ロボットの強化学習:二足歩行ダックを歩かせる

このガイドでは、実在するオープンソースの二足ロボット「Microduck」を題材に、ロボットの強化学習を解説します。Pollen Robotics(オリジナルのMicroduck)とLuwu Dynamics(Arduino UNO Q版)が公開している訓練プロジェクトに沿って、訓練環境のインストールからポリシーの書き出し、実機でのテストまでを順に見ていきます。

小型二足ロボットにとっての強化学習とは

強化学習(RL)は、試行錯誤によって制御ポリシーを訓練する手法です。ポリシーは小さなニューラルネットワークで、ロボットの関節位置・速度と胴体の姿勢を読み取り、各サーボの目標値を出力します。報酬関数が各ステップを採点し(指令された速度に従う、直立を保つ、足を踏み鳴らさない)、訓練アルゴリズムはより多くの報酬を得られるようネットワークを調整します。脚式ロボットの場合、これは物理シミュレーター内で行われ、何千体ものロボットのコピーが同時に、安全に転ぶことができます。

Microduckは、レシピがすべて公開されているため、強化学習を学ぶのに向いたロボットです。Pollen Roboticsはロボット本体とRL訓練環境を公開し、Luwu DynamicsはArduino UNO Q版向けの派生版を公開しています。どちらもPPOで歩行・起き上がり・お座り・芸を訓練し、ロボットが実行できるようポリシーをONNXに書き出します。

RLは、LeRobotガイドで扱った模倣学習とは別物です。模倣学習では人がタスクを実演し、ネットワークがその実演を真似します。ここでは誰も歩き方を見せません。良い歩き方を定義するのは報酬で、練習の場はシミュレーターが提供します。

このガイドは、2つのプロジェクトが公開しているドキュメントと私たち自身の技術メモをもとに書きました。執筆にあたって私たち自身がポリシーを訓練したり実機に展開したりはしておらず、どちらのプロジェクトも変更が続いています。コマンドはドキュメントに記された出発点として扱い、ダウンロードしたコードのバージョンと照らし合わせて確認してください。

自分のロボットに合った訓練プロジェクトを選ぶ

関連する訓練プロジェクトは2つあり、コードよりもロボットのモデルのほうが重要です。ポリシーは訓練に使ったロボットの質量・形状・サーボの挙動を学習するため、一方のダック向けに訓練した歩行ポリシーは、もう一方ではすぐに転ぶことがあります。

Pollen Roboticsのmicroduck_rlは、オリジナルのMicroduck(約800 g、高さ25 cm、Dynamixel XL330サーボ14個の二足ロボット)を訓練します。Luwu Dynamicsのxgoduck_rlは、同じタスクのレシピをArduino UNO Q向けの改造版に適用したもので、形状と慣性が異なり、シミュレーターはXL330ではなく1910系サーボをモデル化しています。当サイトのMicroduck RobotキットはUNO Qをベースにしているので、xgoduck_rlから始め、サーボのモデルが自分の機体と一致しているか確認してください。

横にスクロールしてすべての列を比較できます。

microduck_rl (Pollen Robotics)xgoduck_rl (Luwu Dynamics)
ロボットオリジナルのMicroduck、約800 g・高さ25 cmArduino UNO Q向けの改造版
シミュレーション上のサーボモデルDynamixel XL330(BAM M6モデル)1910系サーボ(HLS1910 BAMモデル)
タスク名の末尾-MicroDuck-XgoDuck
訓練スタックMuJoCo Warp上のmjlab、PPOMuJoCo Warp上のmjlab、PPO
ライセンスコードはApache 2.0、3DモデルはCC BY-NC-SA 4.0Apache 2.0

訓練ループの仕組み

どちらのプロジェクトもmjlabをベースにしています。mjlabはMuJoCo Warpを通じてMuJoCoの物理演算をGPU上で実行し、rsl_rlのPPO(proximal policy optimization)で訓練します。ドキュメントのコマンドでは4,096体のシミュレーション上のロボットを並列に動かすため、1時間の訓練で数千時間分のシミュレーション練習が集まります。

スキルごとに独立したタスクがあり、それぞれ専用のポリシーを持ちます。速度タスクは速度指令に従いながら歩くことを学びます。起き上がりタスクは、うつ伏せ・仰向け・座った状態から起き上がることを学びます。ほかにも、指令に応じて座る・立つ、しゃがんで地面に触れる、ボールを蹴る、頭越しに前転する、受動車輪でスケートする、といったタスクがあります。オリジナルのプロジェクトはポリシーを50 Hzで訓練しています。

報酬とランダム化は各タスクの設定にあります。オリジナルのプロジェクトは報酬設計のルールを文書化しており、ドメインランダム化のスイッチを各タスクの設定ファイル冒頭に ENABLE_* フラグとして置いているので、訓練を始める前に何がランダム化されるかを確認できます。

始める前に必要なもの

ポリシーの訓練やシミュレーションでの確認にロボットは要りません。必要になるのは最後のテストだけです。

  1. NVIDIA CUDA対応GPUを搭載したコンピューター。訓練はGPU上のMuJoCo Warpで実行され、ロボット内部のコンピューターは訓練を行いません。
  2. Python 3.12とuv。uvは、両プロジェクトが固定された依存関係のインストールに使うPythonパッケージマネージャーです。
  3. 訓練のソースコード:UNO Q版ならLuwu Dynamicsのxgoduck_rl、オリジナルのMicroduckならPollen Roboticsのmicroduck_rl。どちらのプロジェクトも当社の技術ドキュメントに記載しています。
  4. 任意:Weights & BiasesまたはHugging Faceのアカウント。オリジナルのプロジェクトはWeights & Biasesに記録した実行を再生・書き出しでき、ローカルにGPUがない場合にHugging Face Jobsで訓練する方法も文書化しています。

訓練環境をインストールする

ダウンロードしたプロジェクトのルートで uv sync を実行すると、プロジェクトのロックファイルから環境が作られます。xgoduck_rl内で、オリジナルのロボットならmicroduck_rl内で実行してください。

固定された依存関係をインストール
cd xgoduck_rl
uv sync

DGX Spark(GB10)やJetsonなどのARMマシンでは、初回の同期で大きなCUDA wheel(オリジナルのプロジェクトによれば約2 GB)をダウンロードするため、uvのデフォルトの30秒HTTPタイムアウトで止まることがあります。初回の同期ではタイムアウトを延ばしてください。

ARMマシンでの初回同期
UV_HTTP_TIMEOUT=600 uv sync

次に、登録済みのタスクを一覧表示します。UNO Q版では名前が -XgoDuck で終わるタスクを、オリジナルのロボットでは -MicroDuck で終わるタスクを使います。

登録済みタスクの一覧表示
uv run list-envs

歩行ポリシーを訓練する

まずは平地の速度タスクから始めましょう。両プロジェクトの中心となるタスクで、ロボットは速度指令に従って歩くことを学びます。

歩行ポリシーの訓練(UNO Q版)
uv run train Mjlab-Velocity-Flat-XgoDuck --env.scene.num-envs 4096

オリジナルのMicroduckについて、プロジェクトは4,096環境で実用的な歩容が得られるまで1〜2時間と見積もっています。Luwu DynamicsはUNO Q版の所要時間を公開しておらず、実際の時間はお使いのGPUによって変わります。

オリジナルMicroduck向けの同じタスク
uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096

チェックポイント(model_*.pt)とTensorBoardのログは logs/rsl_rl/<experiment>/ 以下に書き出され、歩行タスクは logs/rsl_rl/xgoduck_velocity/ を使います。ほかのスキルも同じコマンドでタスク名を変えれば訓練できます(例:起き上がりタスク)。下の表はUNO Q版のタスク一覧です。説明は、これらのタスクが準拠しているオリジナルプロジェクトのタスク一覧から引用しています。

起き上がりポリシーの訓練
uv run train Mjlab-StandUp-Flat-XgoDuck --env.scene.num-envs 4096

オリジナルのプロジェクトでは、以下のエージェントフラグを使って保存済みチェックポイントから訓練を再開する方法が文書化されています。

訓練の再開(オリジナルMicroduckプロジェクト)
uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096 \
    --agent.run-name resume --agent.load-checkpoint model_29999.pt --agent.resume True

横にスクロールしてすべての列を比較できます。

タスク(UNO Q版)地形学習する内容
Mjlab-Velocity-Flat-XgoDuck平地速度指令に従って歩く
Mjlab-Velocity-Rough-XgoDuck不整地同じ歩行タスクを凹凸のある地面で
Mjlab-StandUp-Flat-XgoDuck平地寝た状態や座った状態から起き上がり、立ち姿勢を保つ
Mjlab-SitStand-Flat-XgoDuck平地指令に応じて座る・立つ
Mjlab-GroundPick-Flat-XgoDuck平地しゃがんでくちばしで地面に触れ、再び立つ
Mjlab-BallKick-Flat-XgoDuck平地右足でボールを蹴る(左足のタスクもあり)
Mjlab-Roulade-Flat-XgoDuck平地頭越しに前転して足で着地する
Mjlab-RollerStandUp-Flat-XgoDuck平地地面から受動車輪の上に立ち上がる
Mjlab-Velocity-Swizzle-XgoDuck平地車輪での左右対称なスウィズル滑走

シミュレーションでポリシーを確認する

play はタスクのビューアーを開きます。チェックポイントのフラグを付けなければ、そのタスクの実験ディレクトリにある最新の model_*.pt を読み込みます。

最新のチェックポイントを再生
uv run play Mjlab-Velocity-Flat-XgoDuck

特定の実行を確認するには、そのチェックポイントファイルを指定します。最新のものだけでなく、書き出す予定のチェックポイントそのものを再生してください。

特定のチェックポイントを再生
uv run play Mjlab-Velocity-Flat-XgoDuck \
    --checkpoint-file logs/rsl_rl/xgoduck_velocity/<run>/model_XXXX.pt

報酬では捉えきれない点に注目しましょう。足を擦る、数歩ごとにピクッと動く、速度が上がるほど傾きが大きくなる、指令が変わったときに転ぶ、などです。シミュレーションで不安定に見えるポリシーが、実機で良くなることはありません。

シミュレーションと実機の差を縮める

小型サーボで軽量な二足ロボットを動かす場合、sim-to-realギャップの大部分はアクチュエーターの再現精度によるもの、とオリジナルプロジェクトの作者は述べています。そのため両プロジェクトとも、理想的なPD制御器ではなく、BAM(RhobanのBetter Actuator Models)でサーボを電圧制御則・逆起電力・負荷に依存する摩擦までモデル化しています。

さらにドメインランダム化によって、バッテリー電圧、負荷時の電圧降下、指令の遅延、摩擦を並列環境ごとに変化させ、ポリシーが特定の1台のサーボに依存しないようにします。オリジナルのプロジェクトでは、主要タスクすべてにBacklash版があり、各サーボ関節に直列で±1°のギアのガタを加えます。ロボット名の前に -Backlash を挿入します(例:Mjlab-Velocity-Flat-Backlash-MicroDuck)。

サーボモデルによって使うべきプロジェクトが決まるのもこのためです。UNO Q版をXL330のモデルで訓練したり、その逆をしたりすると、自分のロボットには載っていないサーボ向けにポリシーを訓練することになります。

ポリシーをONNXに書き出す

書き出しスクリプトはチェックポイントをONNXファイルに変換し、観測の正規化をグラフに組み込みます。実機には必ず scripts/export.py で作ったファイルを展開してください。手作業で変換したチェックポイントでは、ロボット上で正規化されていない観測が入力されてしまいます。

チェックポイントをONNXに書き出す
uv run python scripts/export.py Mjlab-Velocity-Flat-XgoDuck \
    --checkpoint-file logs/rsl_rl/xgoduck_velocity/<run>/model_XXXX.pt \
    --onnx-file logs/rsl_rl/xgoduck_velocity/<run>/<run>.onnx

--onnx-file を指定しない場合、出力はカレントディレクトリの output.onnx に書き出されます。書き出したファイルは元になった実行と一緒に保管し、訓練プロジェクトのリビジョン、チェックポイント、ファイルのチェックサムを記録しておきましょう。

ファイルのチェックサムを記録
sha256sum logs/rsl_rl/xgoduck_velocity/<run>/<run>.onnx

オリジナルのプロジェクトでは、scripts/infer_policy.py を使って、書き出したポリシーをCPU版MuJoCo上でキーボードから操作することもできます。訓練と同じBAMモデルでサーボをシミュレートするので、実機に移す前の最終確認として役立ちます。

書き出したポリシーをCPU版MuJoCoで動かす(オリジナルプロジェクト)
uv run scripts/infer_policy.py --walking output.onnx

ロボットでポリシーを動かす

オリジナルのMicroduckでは、Pollen Roboticsのオンボードランタイムが書き出したポリシーを読み込み、61個の値からなる共通の観測をもとにポリシーを切り替えます(歩行、リカバリー、芸)。内訳は固有受容の値48個と、胴体速度・頭部姿勢・胴体姿勢の指令です。その公開ツールは、14個のサーボそれぞれに1つの出力を持つ [1,61] → [1,14] 以外のグラフを受け付けません。

UNO Q版では、お使いのファームウェアのブランチに対応したランタイムでポリシーを読み込みます。各ランタイムは当社の技術ドキュメントで説明しています。初回の実行前に、ランタイムの関節の順序、観測のフィールド、正規化が訓練タスクと一致しているか確認してください。不一致があると、立つ代わりに脚を蹴り出したり、崩れ落ちたりするのが典型的な症状です。

  1. バッテリーを充電し、組み立てガイドのキャリブレーションを実行して、ロボットのゼロ姿勢をモデルのゼロ姿勢に合わせます。
  2. 初回の起動ではロボットを手で支えるかスタンドに載せ、電源スイッチにすぐ手が届くようにしておきます。
  3. まず立ち姿勢または起き上がりのポリシーを読み込み、その後に歩行ポリシーを低い指令速度で動かします。
  4. チェックポイント、ONNXのチェックサム、ランタイムのリビジョンを書き留めておけば、後で修理するときに動作した組み合わせへ戻れます。

トラブルシューティング

問題が解決しない場合は、キットのバージョン、訓練プロジェクト、タスク名、ロボットの短い動画をお送りください。把握している組み立て上の問題と照らし合わせて確認します。

  1. ARMマシンで uv sync が途中で止まる:初回の同期では UV_HTTP_TIMEOUT=600 を設定してください。
  2. list-envs に自分のタスクが表示されない:サフィックス(-XgoDuck または -MicroDuck)と、正しいプロジェクト内にいるかを確認してください。
  3. play で想定外の実行が表示される:実験ディレクトリ内の最新チェックポイントを選ぶ仕様なので、--checkpoint-file を指定してください。
  4. シミュレーションは良好なのにロボットが震える、反応が遅れる:まずサーボモデル、バッテリー電圧、ギアのガタを確認してください。これらはまさにドメインランダム化でカバーしようとしている要素です。
  5. 違う関節が動く、すぐに転ぶ:ランタイムの関節の順序と観測の構成を訓練タスクと比較し、ファイルが scripts/export.py で書き出されたものか確認してください。
  6. ロボットが傾いて立つ:再訓練の前にキャリブレーションをやり直してください。ゼロ位置がモデルからずれたサーボを、ポリシーで補正することはできません。

プロジェクトの参照元

お問い合わせ