Was Reinforcement Learning für einen kleinen Zweibeiner bedeutet
Reinforcement Learning (RL) trainiert eine Steuerungs-Policy durch Versuch und Irrtum. Die Policy ist ein kleines neuronales Netz, das Gelenkpositionen, Geschwindigkeiten und die Körperlage des Roboters liest und für jedes Servo einen Sollwert ausgibt. Eine Belohnungsfunktion bewertet jeden Schritt (der vorgegebenen Geschwindigkeit folgen, aufrecht bleiben, nicht mit den Füßen stampfen), und der Trainingsalgorithmus passt das Netz so an, dass es mehr Belohnung sammelt. Bei Laufrobotern geschieht das in einem Physiksimulator, in dem Tausende Kopien des Roboters gleichzeitig gefahrlos umfallen können.
Microduck eignet sich gut, um Reinforcement Learning zu lernen, weil das gesamte Rezept offen ist. Pollen Robotics veröffentlicht den Roboter und seine RL-Trainingsumgebungen, und Luwu Dynamics veröffentlicht eine darauf aufbauende Version für den Arduino-UNO-Q-Aufbau. Beide trainieren Laufen, Aufstehen, Sitzen und Tricks mit PPO und exportieren die Policy anschließend nach ONNX, damit der Roboter sie ausführen kann.
RL ist nicht dasselbe wie das Imitationslernen aus unserem LeRobot-Leitfaden. Dort führt ein Mensch die Aufgabe vor, und das Netz ahmt die Vorführungen nach. Hier führt niemand das Laufen vor: Die Belohnung legt fest, was gutes Laufen ist, und der Simulator liefert die Übung.
Wir haben diesen Leitfaden auf Grundlage der veröffentlichten Dokumentation beider Projekte und unserer eigenen technischen Notizen geschrieben. Selbst haben wir dabei keine Policy trainiert oder auf einem Roboter eingesetzt, und beide Projekte entwickeln sich weiter. Betrachte die Befehle als dokumentierten Ausgangspunkt und gleiche sie mit der Codeversion ab, die du herunterlädst.
Das Trainingsprojekt passend zu deinem Roboter wählen
Es gibt zwei verwandte Trainingsprojekte, und das Robotermodell ist wichtiger als der Code. Eine Policy lernt Masse, Geometrie und Servoverhalten genau des Roboters, auf dem sie trainiert wurde – eine Lauf-Policy für die eine Ente kann auf der anderen sofort umfallen.
microduck_rl von Pollen Robotics trainiert den ursprünglichen Microduck, einen Zweibeiner mit etwa 800 g und 25 cm und 14 Dynamixel-XL330-Servos. xgoduck_rl von Luwu Dynamics übernimmt dieselben Task-Rezepte für die Arduino-UNO-Q-Variante: Geometrie und Trägheit sind anders, und der Simulator modelliert Servos der 1910-Familie statt des XL330. Die Microduck Robot Kits auf dieser Website basieren auf dem UNO Q – beginne also mit xgoduck_rl und prüfe das Servomodell anhand deines Aufbaus.
Seitlich scrollen, um alle Spalten zu vergleichen.
| microduck_rl (Pollen Robotics) | xgoduck_rl (Luwu Dynamics) | |
|---|---|---|
| Roboter | Ursprünglicher Microduck, etwa 800 g und 25 cm hoch | Die Arduino-UNO-Q-Variante |
| Servomodell in der Simulation | Dynamixel XL330 (BAM-Modell M6) | Servo der 1910-Familie (BAM-Modell HLS1910) |
| Task-Namen enden auf | -MicroDuck | -XgoDuck |
| Trainings-Stack | mjlab auf MuJoCo Warp, PPO | mjlab auf MuJoCo Warp, PPO |
| Lizenz | Apache 2.0 für den Code; die 3D-Modelle unter CC BY-NC-SA 4.0 | Apache 2.0 |
So funktioniert die Trainingsschleife
Beide Projekte bauen auf mjlab auf, das die MuJoCo-Physik über MuJoCo Warp auf der GPU ausführt und mit PPO (Proximal Policy Optimization) aus rsl_rl trainiert. Die dokumentierten Befehle lassen 4.096 simulierte Roboter parallel laufen, sodass eine Stunde Training Tausende Stunden simulierter Übung sammelt.
Jede Fähigkeit ist ein eigener Task mit eigener Policy. Ein Velocity-Task lernt zu laufen und dabei Geschwindigkeitsbefehlen zu folgen. Ein Aufsteh-Task lernt, sich aus der Bauchlage, der Rückenlage oder dem Sitzen aufzurichten. Andere Tasks lernen, sich auf Befehl hinzusetzen und aufzustehen, in die Hocke zu gehen und den Boden zu berühren, einen Ball zu kicken, eine Rolle vorwärts über den Kopf zu machen oder auf passiven Rädern zu skaten. Das ursprüngliche Projekt trainiert seine Policies mit 50 Hz.
Belohnungen und Randomisierung stehen in der Konfiguration des jeweiligen Tasks. Das ursprüngliche Projekt dokumentiert seine Regeln für das Belohnungsdesign und hält die Schalter für die Domain-Randomisierung als ENABLE_*-Flags am Anfang der Konfigurationsdatei jedes Tasks, sodass du vor dem Start eines Laufs siehst, was randomisiert wird.
Was du vor dem Start brauchst
Um eine Policy zu trainieren oder in der Simulation zu prüfen, brauchst du den Roboter nicht. Er wird erst für den abschließenden Test benötigt.
- Einen Rechner mit einer NVIDIA-GPU mit CUDA. Das Training läuft über MuJoCo Warp auf der GPU; der Rechner im Roboter trainiert nicht.
- Python 3.12 und uv, den Python-Paketmanager, mit dem beide Projekte ihre festgelegten Abhängigkeiten installieren.
- Den Quellcode für das Training: xgoduck_rl von Luwu Dynamics für den UNO-Q-Aufbau oder microduck_rl von Pollen Robotics für den ursprünglichen Microduck. Unsere technische Dokumentation nennt beide Projekte.
- Optional: ein Konto bei Weights & Biases oder Hugging Face. Das ursprüngliche Projekt kann in Weights & Biases protokollierte Läufe abspielen und exportieren und beschreibt, wie man das Training auf Hugging Face Jobs ausführt, wenn keine lokale GPU vorhanden ist.
Die Trainingsumgebung installieren
Im Wurzelverzeichnis des heruntergeladenen Projekts erzeugt uv sync die Umgebung aus der Lock-Datei des Projekts. Führe den Befehl in xgoduck_rl aus oder, für den ursprünglichen Roboter, in microduck_rl.
cd xgoduck_rl
uv syncAuf ARM-Rechnern wie DGX Spark (GB10) oder Jetson lädt der erste Sync ein großes CUDA-Wheel herunter (laut ursprünglichem Projekt etwa 2 GB), und das standardmäßige HTTP-Timeout von uv mit 30 Sekunden kann den Download abbrechen. Erhöhe das Timeout für diesen ersten Sync.
UV_HTTP_TIMEOUT=600 uv syncListe danach die registrierten Tasks auf. Verwende für den UNO-Q-Aufbau einen Task, dessen Name auf -XgoDuck endet, und für den ursprünglichen Roboter einen auf -MicroDuck.
uv run list-envsEine Lauf-Policy trainieren
Beginne mit dem Velocity-Task auf flachem Boden. Er ist in beiden Projekten der Haupt-Task: Der Roboter lernt zu laufen und dabei Geschwindigkeitsbefehlen zu folgen.
uv run train Mjlab-Velocity-Flat-XgoDuck --env.scene.num-envs 4096Für den ursprünglichen Microduck schätzt das Projekt ein bis zwei Stunden bis zu einem brauchbaren Gang bei 4.096 Umgebungen. Luwu Dynamics nennt für den UNO-Q-Aufbau keine Zeit, und die tatsächliche Dauer hängt von deiner GPU ab.
uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096Checkpoints (model_*.pt) und TensorBoard-Logs werden unter logs/rsl_rl/<experiment>/ abgelegt; der Lauf-Task verwendet logs/rsl_rl/xgoduck_velocity/. Andere Fähigkeiten trainierst du mit demselben Befehl und einem anderen Task-Namen, zum Beispiel dem Aufsteh-Task. Die Tabelle unten listet die Tasks des UNO-Q-Aufbaus auf; die Beschreibungen stammen aus der Task-Liste des ursprünglichen Projekts, dessen Rezepten diese Tasks folgen.
uv run train Mjlab-StandUp-Flat-XgoDuck --env.scene.num-envs 4096Das ursprüngliche Projekt dokumentiert, wie man einen Lauf mit den unten gezeigten Agent-Flags ab einem gespeicherten Checkpoint fortsetzt.
uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096 \
--agent.run-name resume --agent.load-checkpoint model_29999.pt --agent.resume TrueSeitlich scrollen, um alle Spalten zu vergleichen.
| Task (UNO-Q-Aufbau) | Gelände | Was er lernt |
|---|---|---|
Mjlab-Velocity-Flat-XgoDuck | Flach | Laufen und dabei Geschwindigkeitsbefehlen folgen |
Mjlab-Velocity-Rough-XgoDuck | Uneben | Derselbe Lauf-Task auf unebenem Boden |
Mjlab-StandUp-Flat-XgoDuck | Flach | Aus dem Liegen oder Sitzen aufstehen und dann stehen bleiben |
Mjlab-SitStand-Flat-XgoDuck | Flach | Sich auf Befehl hinsetzen und aufstehen |
Mjlab-GroundPick-Flat-XgoDuck | Flach | In die Hocke gehen, mit dem Schnabel den Boden berühren und wieder aufstehen |
Mjlab-BallKick-Flat-XgoDuck | Flach | Einen Ball mit dem rechten Fuß kicken; es gibt auch einen Task für den linken Fuß |
Mjlab-Roulade-Flat-XgoDuck | Flach | Eine Rolle vorwärts über den Kopf machen und auf den Füßen landen |
Mjlab-RollerStandUp-Flat-XgoDuck | Flach | Vom Boden auf passive Räder aufstehen |
Mjlab-Velocity-Swizzle-XgoDuck | Flach | Symmetrisches Swizzle-Skaten auf Rädern |
Die Policy in der Simulation prüfen
play öffnet den Viewer für einen Task. Ohne Checkpoint-Flag lädt er das neueste model_*.pt im Experimentverzeichnis dieses Tasks.
uv run play Mjlab-Velocity-Flat-XgoDuckUm einen bestimmten Lauf zu begutachten, übergib dessen Checkpoint-Datei. Spiele genau den Checkpoint ab, den du exportieren willst, nicht nur den neuesten.
uv run play Mjlab-Velocity-Flat-XgoDuck \
--checkpoint-file logs/rsl_rl/xgoduck_velocity/<run>/model_XXXX.ptAchte auf das, was die Belohnung womöglich nicht erfasst: schleifende Füße, ein Zucken alle paar Schritte, eine Schräglage, die mit der Geschwindigkeit zunimmt, oder ein Sturz, wenn sich der Befehl ändert. Eine Policy, die in der Simulation instabil wirkt, wird auf dem echten Roboter nicht besser.
Die Lücke zwischen Simulation und Realität schließen
Wenn kleine Servos einen leichten Zweibeiner antreiben, macht laut den Autoren des ursprünglichen Projekts die Genauigkeit des Aktormodells den größten Teil der Sim-to-Real-Lücke aus. Deshalb modellieren beide Projekte das Servo mit BAM (Better Actuator Models, von Rhoban) bis hin zu seinem Spannungsregelgesetz, der Gegen-EMK und lastabhängiger Reibung, statt einen idealen PD-Regler anzunehmen.
Die Domain-Randomisierung variiert dann Batteriespannung, Spannungseinbruch unter Last, Befehlsverzögerung und Reibung über die parallelen Umgebungen hinweg, damit sich die Policy nicht auf ein exaktes Servo verlassen kann. Im ursprünglichen Projekt hat jeder Haupt-Task zusätzlich eine Backlash-Variante, die ±1° Getriebespiel in Reihe mit jedem Servogelenk hinzufügt: Setze -Backlash vor den Roboternamen, zum Beispiel Mjlab-Velocity-Flat-Backlash-MicroDuck.
Das ist auch der Grund, warum das Servomodell über das Projekt entscheidet. Wer den UNO-Q-Aufbau mit dem XL330-Modell trainiert oder umgekehrt, trainiert die Policy für Servos, die gar nicht in seinem Roboter stecken.
Die Policy nach ONNX exportieren
Das Exportskript wandelt einen Checkpoint in eine ONNX-Datei um und baut die Normalisierung der Beobachtungen fest in den Graphen ein. Setze immer eine von scripts/export.py erzeugte Datei ein; ein von Hand konvertierter Checkpoint würde auf dem Roboter unnormalisierte Beobachtungen erhalten.
uv run python scripts/export.py Mjlab-Velocity-Flat-XgoDuck \
--checkpoint-file logs/rsl_rl/xgoduck_velocity/<run>/model_XXXX.pt \
--onnx-file logs/rsl_rl/xgoduck_velocity/<run>/<run>.onnxOhne --onnx-file wird die Ausgabe als output.onnx ins aktuelle Verzeichnis geschrieben. Bewahre die exportierte Datei neben dem Lauf auf, der sie erzeugt hat, und notiere die Revision des Trainingsprojekts, den Checkpoint und die Prüfsumme der Datei.
sha256sum logs/rsl_rl/xgoduck_velocity/<run>/<run>.onnxDas ursprüngliche Projekt kann eine exportierte Policy außerdem mit scripts/infer_policy.py per Tastatur in MuJoCo auf der CPU steuern. Dabei werden die Servos mit demselben BAM-Modell simuliert wie im Training – ein nützlicher letzter Check, bevor es auf den Roboter geht.
uv run scripts/infer_policy.py --walking output.onnxDie Policy auf dem Roboter ausführen
Auf dem ursprünglichen Microduck lädt die Onboard-Runtime von Pollen Robotics exportierte Policies und wechselt zwischen ihnen (Laufen, Erholen, Trick), wobei alle dieselbe Beobachtung mit 61 Werten nutzen: 48 Propriozeptionswerte plus Befehle für Körpergeschwindigkeit, Kopfhaltung und Körperhaltung. Ihr Veröffentlichungswerkzeug lehnt jeden Graphen ab, der nicht [1,61] → [1,14] ist – ein Ausgang für jedes der 14 Servos.
Für den UNO-Q-Aufbau lädst du die Policy über die Runtime, die zu deinem Firmware-Branch passt; unsere technische Dokumentation beschreibt die Runtimes. Prüfe vor dem ersten Start, ob Gelenkreihenfolge, Beobachtungsfelder und Normalisierung der Runtime zum Trainings-Task passen. Eine Abweichung zeigt sich meist daran, dass der Roboter ein Bein wegschleudert oder einknickt, statt zu stehen.
- Lade den Akku und führe die Kalibrierung aus der Montageanleitung durch, damit die Nullstellung des Roboters mit der Nullstellung des Modells übereinstimmt.
- Halte den Roboter beim ersten Start fest oder stelle ihn auf einen Ständer, mit dem Netzschalter in Reichweite.
- Lade zuerst eine Steh- oder Aufsteh-Policy, dann die Lauf-Policy mit niedriger vorgegebener Geschwindigkeit.
- Notiere Checkpoint, ONNX-Prüfsumme und Runtime-Revision, damit du bei einer späteren Reparatur zu einer funktionierenden Kombination zurückkehren kannst.
Fehlerbehebung
Wenn ein Problem bestehen bleibt, schick uns deine Kit-Version, das Trainingsprojekt, den Task-Namen und ein kurzes Video des Roboters – wir gleichen es mit den uns bekannten Aufbauproblemen ab.
uv syncbricht auf einem ARM-Rechner mittendrin ab: Setze für den ersten SyncUV_HTTP_TIMEOUT=600.list-envszeigt deinen Task nicht an: Prüfe das Suffix (-XgoDuckoder-MicroDuck) und ob du im richtigen Projekt bist.playzeigt einen unerwarteten Lauf: Es nimmt den neuesten Checkpoint im Experimentverzeichnis, also übergib--checkpoint-file.- Der Roboter zittert oder reagiert verzögert, obwohl die Simulation gut aussieht: Prüfe zuerst das Servomodell, die Batteriespannung und das Getriebespiel. Genau diese Faktoren soll die Domain-Randomisierung abdecken.
- Der Roboter bewegt das falsche Gelenk oder fällt sofort um: Vergleiche Gelenkreihenfolge und Beobachtungslayout der Runtime mit dem Trainings-Task und stelle sicher, dass die Datei mit
scripts/export.pyexportiert wurde. - Der Roboter steht schief: Kalibriere erneut, bevor du neu trainierst. Eine Policy kann kein Servo korrigieren, dessen Nullpunkt gegenüber dem Modell versetzt ist.