Học tăng cường có ý nghĩa gì với một robot hai chân nhỏ
Học tăng cường (RL) huấn luyện một chính sách điều khiển bằng cách thử và sai. Chính sách là một mạng nơ-ron nhỏ đọc vị trí khớp, vận tốc và hướng thân của robot rồi xuất ra giá trị mục tiêu cho từng servo. Một hàm thưởng chấm điểm từng bước (bám theo tốc độ được ra lệnh, giữ thăng bằng, không dậm chân) và thuật toán huấn luyện điều chỉnh mạng để thu được nhiều điểm thưởng hơn. Với robot có chân, việc này diễn ra trong một trình mô phỏng vật lý, nơi hàng nghìn bản sao của robot có thể ngã cùng lúc mà không gây hư hại.
Microduck là robot phù hợp để học học tăng cường vì toàn bộ quy trình đều mở. Pollen Robotics công bố robot và các môi trường huấn luyện RL của nó, còn Luwu Dynamics công bố một phiên bản phái sinh cho bản dựng Arduino UNO Q. Cả hai đều huấn luyện đi, đứng dậy, ngồi và các động tác biểu diễn bằng PPO, sau đó xuất chính sách sang ONNX để robot chạy.
RL không giống học bắt chước trong hướng dẫn LeRobot của chúng tôi. Ở đó, một người trình diễn tác vụ và mạng sao chép các lần trình diễn. Ở đây không ai trình diễn cách đi: hàm thưởng định nghĩa thế nào là đi tốt, còn trình mô phỏng cung cấp môi trường luyện tập.
Chúng tôi viết hướng dẫn này dựa trên tài liệu đã công bố của hai dự án và ghi chú kỹ thuật của riêng chúng tôi. Trong lúc viết, chúng tôi chưa tự huấn luyện hay triển khai chính sách nào, và cả hai dự án đều đang thay đổi. Hãy coi các lệnh là điểm khởi đầu theo tài liệu và đối chiếu chúng với phiên bản mã nguồn bạn tải về.
Chọn dự án huấn luyện khớp với robot của bạn
Có hai dự án huấn luyện liên quan, và mẫu robot quan trọng hơn mã nguồn. Chính sách học khối lượng, hình học và đặc tính servo của chính robot mà nó được huấn luyện, nên một chính sách đi huấn luyện cho con vịt này có thể ngã ngay trên con vịt kia.
microduck_rl của Pollen Robotics huấn luyện Microduck gốc, một robot hai chân khoảng 800 g, cao 25 cm với 14 servo Dynamixel XL330. xgoduck_rl của Luwu Dynamics làm theo cùng công thức tác vụ cho bản chuyển thể Arduino UNO Q, có hình học và quán tính khác, và trình mô phỏng của nó mô hình hóa servo dòng 1910 thay vì XL330. Các bộ kit Microduck Robot trên trang này được xây dựng quanh UNO Q, vì vậy hãy bắt đầu với xgoduck_rl và xác nhận mẫu servo so với bản dựng của bạn.
Cuộn ngang để so sánh tất cả các cột.
| microduck_rl (Pollen Robotics) | xgoduck_rl (Luwu Dynamics) | |
|---|---|---|
| Robot | Microduck gốc, khoảng 800 g, cao 25 cm | Bản chuyển thể Arduino UNO Q |
| Mẫu servo trong mô phỏng | Dynamixel XL330 (mô hình BAM M6) | Servo dòng 1910 (mô hình BAM HLS1910) |
| Tên tác vụ kết thúc bằng | -MicroDuck | -XgoDuck |
| Bộ công cụ huấn luyện | mjlab trên MuJoCo Warp, PPO | mjlab trên MuJoCo Warp, PPO |
| Giấy phép | Apache 2.0 cho mã nguồn; các mô hình 3D theo CC BY-NC-SA 4.0 | Apache 2.0 |
Vòng lặp huấn luyện hoạt động như thế nào
Cả hai dự án đều xây dựng trên mjlab, công cụ chạy vật lý MuJoCo trên GPU thông qua MuJoCo Warp và huấn luyện bằng PPO (proximal policy optimization) của rsl_rl. Các lệnh trong tài liệu chạy song song 4.096 robot mô phỏng, nên một giờ huấn luyện thu được hàng nghìn giờ luyện tập mô phỏng.
Mỗi kỹ năng là một tác vụ riêng với chính sách riêng. Tác vụ vận tốc học cách đi trong khi bám theo lệnh tốc độ. Tác vụ đứng dậy học cách đứng lên từ tư thế nằm sấp, nằm ngửa hoặc ngồi. Các tác vụ khác học ngồi và đứng theo lệnh, cúi xuống chạm đất, đá bóng, lộn về phía trước qua đầu hoặc trượt trên bánh xe thụ động. Dự án gốc huấn luyện chính sách ở tần số 50 Hz.
Phần thưởng và ngẫu nhiên hóa nằm trong cấu hình của từng tác vụ. Dự án gốc có tài liệu về các quy tắc thiết kế phần thưởng, và đặt các công tắc ngẫu nhiên hóa miền dưới dạng cờ ENABLE_* ở đầu tệp cấu hình của mỗi tác vụ, nên bạn có thể xem những gì được ngẫu nhiên hóa trước khi bắt đầu chạy.
Bạn cần gì trước khi bắt đầu
Bạn không cần robot để huấn luyện chính sách hay kiểm tra nó trong mô phỏng. Chỉ cần robot cho bài thử cuối cùng.
- Một máy tính có GPU NVIDIA hỗ trợ CUDA. Việc huấn luyện chạy qua MuJoCo Warp trên GPU; máy tính bên trong robot không huấn luyện.
- Python 3.12 và uv, trình quản lý gói Python mà cả hai dự án dùng để cài các phụ thuộc đã cố định phiên bản.
- Mã nguồn huấn luyện: xgoduck_rl của Luwu Dynamics cho bản dựng UNO Q, hoặc microduck_rl của Pollen Robotics cho Microduck gốc. Tài liệu kỹ thuật của chúng tôi có nêu cả hai dự án.
- Tùy chọn: tài khoản Weights & Biases hoặc Hugging Face. Dự án gốc có thể phát và xuất các lần chạy được ghi lên Weights & Biases, và có tài liệu hướng dẫn chạy huấn luyện trên Hugging Face Jobs khi bạn không có GPU tại chỗ.
Cài đặt môi trường huấn luyện
Từ thư mục gốc của dự án đã tải về, uv sync tạo môi trường từ tệp lock của dự án. Chạy lệnh này bên trong xgoduck_rl, hoặc bên trong microduck_rl nếu dùng robot gốc.
cd xgoduck_rl
uv syncTrên máy ARM như DGX Spark (GB10) hoặc Jetson, lần sync đầu tiên tải về một wheel CUDA lớn (dự án gốc cho biết khoảng 2 GB) và thời gian chờ HTTP mặc định 30 giây của uv có thể làm dừng quá trình. Hãy tăng thời gian chờ cho lần sync đầu tiên đó.
UV_HTTP_TIMEOUT=600 uv syncSau đó liệt kê các tác vụ đã đăng ký. Dùng tác vụ có tên kết thúc bằng -XgoDuck cho bản dựng UNO Q và -MicroDuck cho robot gốc.
uv run list-envsHuấn luyện chính sách đi
Bắt đầu với tác vụ vận tốc trên mặt phẳng. Đây là tác vụ chính của cả hai dự án: robot học cách đi trong khi bám theo lệnh vận tốc.
uv run train Mjlab-Velocity-Flat-XgoDuck --env.scene.num-envs 4096Với Microduck gốc, dự án ước tính cần một đến hai giờ để có dáng đi dùng được với 4.096 môi trường. Luwu Dynamics không công bố thời gian cho bản dựng UNO Q, và thời gian thực tế phụ thuộc vào GPU của bạn.
uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096Các checkpoint (model_*.pt) và log TensorBoard được ghi vào logs/rsl_rl/<experiment>/; tác vụ đi dùng logs/rsl_rl/xgoduck_velocity/. Huấn luyện các kỹ năng khác bằng cùng lệnh với tên tác vụ khác, ví dụ tác vụ đứng dậy. Bảng dưới đây liệt kê các tác vụ của bản dựng UNO Q; phần mô tả lấy từ danh sách tác vụ của dự án gốc, vì các tác vụ này làm theo công thức của dự án này.
uv run train Mjlab-StandUp-Flat-XgoDuck --env.scene.num-envs 4096Dự án gốc có tài liệu về cách tiếp tục một lần chạy từ checkpoint đã lưu bằng các cờ agent bên dưới.
uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096 \
--agent.run-name resume --agent.load-checkpoint model_29999.pt --agent.resume TrueCuộn ngang để so sánh tất cả các cột.
| Tác vụ (bản dựng UNO Q) | Địa hình | Học được gì |
|---|---|---|
Mjlab-Velocity-Flat-XgoDuck | Bằng phẳng | Đi trong khi bám theo lệnh vận tốc |
Mjlab-Velocity-Rough-XgoDuck | Gồ ghề | Cùng tác vụ đi đó trên mặt đất không bằng phẳng |
Mjlab-StandUp-Flat-XgoDuck | Bằng phẳng | Đứng dậy từ tư thế nằm hoặc ngồi, rồi giữ tư thế đứng |
Mjlab-SitStand-Flat-XgoDuck | Bằng phẳng | Ngồi xuống và đứng lên theo lệnh |
Mjlab-GroundPick-Flat-XgoDuck | Bằng phẳng | Cúi xuống, chạm mỏ xuống đất rồi đứng lại |
Mjlab-BallKick-Flat-XgoDuck | Bằng phẳng | Đá bóng bằng chân phải; cũng có tác vụ cho chân trái |
Mjlab-Roulade-Flat-XgoDuck | Bằng phẳng | Lộn về phía trước qua đầu và tiếp đất bằng chân |
Mjlab-RollerStandUp-Flat-XgoDuck | Bằng phẳng | Đứng dậy từ mặt đất lên bánh xe thụ động |
Mjlab-Velocity-Swizzle-XgoDuck | Bằng phẳng | Trượt swizzle đối xứng trên bánh xe |
Kiểm tra chính sách trong mô phỏng
play mở trình xem cho một tác vụ. Nếu không có cờ checkpoint, nó tải model_*.pt mới nhất trong thư mục thí nghiệm của tác vụ đó.
uv run play Mjlab-Velocity-Flat-XgoDuckĐể xem lại một lần chạy cụ thể, hãy truyền tệp checkpoint của nó. Phát lại đúng checkpoint bạn định xuất, không chỉ checkpoint mới nhất.
uv run play Mjlab-Velocity-Flat-XgoDuck \
--checkpoint-file logs/rsl_rl/xgoduck_velocity/<run>/model_XXXX.ptHãy để ý những gì hàm thưởng có thể bỏ sót: chân lê trên sàn, giật nhẹ sau vài bước, thân nghiêng nhiều hơn khi tăng tốc, hoặc ngã khi lệnh thay đổi. Một chính sách trông không ổn định trong mô phỏng sẽ không tốt hơn trên robot thật.
Thu hẹp khoảng cách từ mô phỏng đến thực tế
Khi các servo nhỏ điều khiển một robot hai chân nhẹ, các tác giả của dự án gốc cho rằng độ trung thực của cơ cấu chấp hành chiếm phần lớn khoảng cách từ mô phỏng đến thực tế. Vì vậy cả hai dự án đều mô hình hóa servo bằng BAM (Better Actuator Models, của Rhoban) đến tận luật điều khiển điện áp, sức phản điện động và ma sát phụ thuộc tải, thay vì một bộ điều khiển PD lý tưởng.
Sau đó, ngẫu nhiên hóa miền thay đổi điện áp pin, sụt áp khi có tải, độ trễ lệnh và ma sát giữa các môi trường song song, để chính sách không thể phụ thuộc vào một servo cụ thể. Trong dự án gốc, mỗi tác vụ chính còn có một biến thể Backlash thêm ±1° độ rơ bánh răng nối tiếp với từng khớp servo: chèn -Backlash trước tên robot, ví dụ Mjlab-Velocity-Flat-Backlash-MicroDuck.
Đây cũng là lý do mẫu servo quyết định nên dùng dự án nào. Huấn luyện bản dựng UNO Q với mô hình XL330, hoặc ngược lại, là huấn luyện chính sách cho những servo không có trong robot của bạn.
Xuất chính sách sang ONNX
Script xuất chuyển checkpoint thành tệp ONNX và nhúng phép chuẩn hóa quan sát vào đồ thị. Luôn triển khai tệp do scripts/export.py tạo ra; một checkpoint chuyển đổi thủ công sẽ nhận các quan sát chưa chuẩn hóa trên robot.
uv run python scripts/export.py Mjlab-Velocity-Flat-XgoDuck \
--checkpoint-file logs/rsl_rl/xgoduck_velocity/<run>/model_XXXX.pt \
--onnx-file logs/rsl_rl/xgoduck_velocity/<run>/<run>.onnxNếu không có --onnx-file, kết quả được ghi vào output.onnx trong thư mục hiện tại. Giữ tệp đã xuất cạnh lần chạy đã tạo ra nó, và ghi lại phiên bản của dự án huấn luyện, checkpoint và checksum của tệp.
sha256sum logs/rsl_rl/xgoduck_velocity/<run>/<run>.onnxDự án gốc còn có thể điều khiển chính sách đã xuất bằng bàn phím trong MuJoCo chạy trên CPU với scripts/infer_policy.py. Nó mô phỏng servo bằng cùng mô hình BAM dùng khi huấn luyện, nên là bước kiểm tra cuối hữu ích trước khi lên robot.
uv run scripts/infer_policy.py --walking output.onnxChạy chính sách trên robot
Trên Microduck gốc, runtime tích hợp của Pollen Robotics tải các chính sách đã xuất và chuyển đổi giữa chúng (đi, phục hồi, động tác biểu diễn) qua một quan sát chung gồm 61 giá trị: 48 giá trị cảm nhận bản thể cộng với lệnh vận tốc thân, tư thế đầu và tư thế thân. Công cụ phát hành của nó từ chối đồ thị không có dạng [1,61] → [1,14], mỗi đầu ra ứng với một trong 14 servo.
Với bản dựng UNO Q, hãy tải chính sách qua runtime khớp với nhánh firmware của bạn; tài liệu kỹ thuật của chúng tôi mô tả các runtime. Trước lần chạy đầu tiên, kiểm tra thứ tự khớp, các trường quan sát và phép chuẩn hóa của runtime có khớp với tác vụ huấn luyện hay không. Sai lệch thường biểu hiện ở việc robot đá văng một chân hoặc gập người thay vì đứng.
- Sạc pin và chạy hiệu chuẩn theo hướng dẫn lắp ráp, để tư thế không của robot khớp với tư thế không của mô hình.
- Giữ robot bằng tay hoặc đặt lên giá đỡ cho lần khởi động đầu tiên, với công tắc nguồn trong tầm tay.
- Tải chính sách đứng hoặc đứng dậy trước, sau đó mới tải chính sách đi với tốc độ lệnh thấp.
- Ghi lại checkpoint, checksum ONNX và phiên bản runtime, để lần sửa chữa sau có thể quay về một tổ hợp đã chạy được.
Khắc phục sự cố
Nếu vấn đề vẫn còn, hãy gửi cho chúng tôi phiên bản kit, dự án huấn luyện, tên tác vụ và một video ngắn về robot, chúng tôi sẽ đối chiếu với các lỗi lắp ráp đã biết.
uv syncdừng giữa chừng trên máy ARM: đặtUV_HTTP_TIMEOUT=600cho lần sync đầu tiên.list-envskhông hiển thị tác vụ của bạn: kiểm tra hậu tố (-XgoDuckhoặc-MicroDuck) và xem bạn có đang ở đúng dự án không.playhiển thị một lần chạy không mong muốn: nó chọn checkpoint mới nhất trong thư mục thí nghiệm, vì vậy hãy truyền--checkpoint-file.- Robot rung hoặc phản ứng chậm dù mô phỏng trông tốt: trước tiên hãy kiểm tra mẫu servo, điện áp pin và độ rơ bánh răng. Đây chính là những yếu tố mà ngẫu nhiên hóa miền nhằm bao quát.
- Robot cử động sai khớp hoặc ngã ngay: so sánh thứ tự khớp và bố cục quan sát của runtime với tác vụ huấn luyện, và xác nhận tệp đã được xuất bằng
scripts/export.py. - Robot đứng lệch: hiệu chuẩn lại trước khi huấn luyện lại. Chính sách không thể bù cho một servo có điểm không lệch so với mô hình.