소형 이족보행 로봇에서 강화학습이란
강화학습(RL)은 시행착오를 통해 제어 정책을 학습합니다. 정책은 작은 신경망으로, 로봇의 관절 위치와 속도, 몸체 자세를 입력받아 각 서보의 목표값을 출력합니다. 보상 함수가 매 스텝을 채점하고(지령 속도를 따른다, 똑바로 선다, 발을 쿵쿵 구르지 않는다) 학습 알고리즘은 더 많은 보상을 얻도록 신경망을 조정합니다. 보행 로봇의 경우 이 과정은 물리 시뮬레이터에서 이루어지며, 수천 개의 로봇 복제본이 동시에 안전하게 넘어질 수 있습니다.
Microduck은 레시피 전체가 공개되어 있어 강화학습을 배우기에 좋은 로봇입니다. Pollen Robotics는 로봇과 RL 학습 환경을 공개하고, Luwu Dynamics는 Arduino UNO Q 버전을 위한 파생 버전을 공개합니다. 두 프로젝트 모두 PPO로 걷기, 일어서기, 앉기, 묘기를 학습한 뒤 로봇이 실행할 수 있도록 정책을 ONNX로 내보냅니다.
RL은 LeRobot 가이드에서 다룬 모방학습과 다릅니다. 모방학습에서는 사람이 태스크를 시연하고 신경망이 그 시연을 따라 합니다. 여기서는 아무도 걷는 법을 보여주지 않습니다. 좋은 걸음이 무엇인지는 보상이 정의하고, 연습은 시뮬레이터가 제공합니다.
이 가이드는 두 프로젝트가 공개한 문서와 저희의 기술 노트를 바탕으로 작성했습니다. 작성하면서 저희가 직접 정책을 학습하거나 로봇에 배포하지는 않았으며, 두 프로젝트 모두 계속 바뀌고 있습니다. 명령어는 문서에 나온 출발점으로 보고, 내려받은 코드 버전과 대조해 확인하세요.
내 로봇에 맞는 학습 프로젝트 고르기
관련된 학습 프로젝트가 두 개 있으며, 코드보다 로봇 모델이 더 중요합니다. 정책은 학습에 쓰인 로봇의 질량, 형상, 서보 특성을 학습하므로, 한쪽 오리에 맞춰 학습한 보행 정책은 다른 쪽에서 바로 넘어질 수 있습니다.
Pollen Robotics의 microduck_rl은 오리지널 Microduck을 학습합니다. 무게 약 800 g, 키 25 cm에 Dynamixel XL330 서보 14개를 쓰는 이족보행 로봇입니다. Luwu Dynamics의 xgoduck_rl은 같은 태스크 레시피를 Arduino UNO Q 개조 버전에 적용한 것으로, 형상과 관성이 다르고 시뮬레이터는 XL330 대신 1910 계열 서보를 모델링합니다. 이 사이트의 Microduck Robot 키트는 UNO Q 기반이므로 xgoduck_rl로 시작하고, 서보 모델이 내 조립품과 일치하는지 확인하세요.
옆으로 스크롤하여 모든 열을 비교하세요.
| microduck_rl (Pollen Robotics) | xgoduck_rl (Luwu Dynamics) | |
|---|---|---|
| 로봇 | 오리지널 Microduck, 약 800 g, 키 25 cm | Arduino UNO Q 개조 버전 |
| 시뮬레이션의 서보 모델 | Dynamixel XL330(BAM M6 모델) | 1910 계열 서보(HLS1910 BAM 모델) |
| 태스크 이름 끝 | -MicroDuck | -XgoDuck |
| 학습 스택 | MuJoCo Warp 기반 mjlab, PPO | MuJoCo Warp 기반 mjlab, PPO |
| 라이선스 | 코드는 Apache 2.0, 3D 모델은 CC BY-NC-SA 4.0 | Apache 2.0 |
학습 루프의 작동 방식
두 프로젝트 모두 mjlab을 기반으로 합니다. mjlab은 MuJoCo Warp를 통해 MuJoCo 물리 연산을 GPU에서 실행하고, rsl_rl의 PPO(proximal policy optimization)로 학습합니다. 문서의 명령어는 시뮬레이션 로봇 4,096대를 병렬로 돌리므로, 1시간 학습으로 수천 시간 분량의 시뮬레이션 연습이 쌓입니다.
각 기술은 고유한 정책을 갖는 별도의 태스크입니다. 속도 태스크는 속도 지령을 따르며 걷는 법을 배웁니다. 기립 태스크는 엎드린 자세, 누운 자세, 앉은 자세에서 일어나는 법을 배웁니다. 그 밖에 지령에 따라 앉고 서기, 웅크려 바닥 짚기, 공 차기, 머리 위로 앞구르기, 수동 바퀴로 스케이트 타기 등을 배우는 태스크가 있습니다. 오리지널 프로젝트는 정책을 50 Hz로 학습합니다.
보상과 무작위화는 각 태스크의 설정에 있습니다. 오리지널 프로젝트는 보상 설계 규칙을 문서화해 두었고, 도메인 무작위화 스위치를 각 태스크 설정 파일 맨 위에 ENABLE_* 플래그로 두어 학습을 시작하기 전에 무엇이 무작위화되는지 확인할 수 있습니다.
시작하기 전에 필요한 것
정책을 학습하거나 시뮬레이션에서 확인할 때는 로봇이 필요 없습니다. 로봇은 마지막 테스트에만 필요합니다.
- NVIDIA CUDA GPU가 있는 컴퓨터. 학습은 GPU에서 MuJoCo Warp로 실행되며, 로봇 내부의 컴퓨터는 학습을 하지 않습니다.
- Python 3.12와 uv. uv는 두 프로젝트가 고정된 의존성을 설치할 때 쓰는 Python 패키지 관리자입니다.
- 학습 소스 코드: UNO Q 버전은 Luwu Dynamics의 xgoduck_rl, 오리지널 Microduck은 Pollen Robotics의 microduck_rl. 두 프로젝트 모두 저희 기술 문서에 나와 있습니다.
- 선택 사항: Weights & Biases 또는 Hugging Face 계정. 오리지널 프로젝트는 Weights & Biases에 기록된 실행을 재생하고 내보낼 수 있으며, 로컬 GPU가 없을 때 Hugging Face Jobs에서 학습하는 방법도 문서화하고 있습니다.
학습 환경 설치
내려받은 프로젝트의 루트에서 uv sync를 실행하면 프로젝트의 lock 파일로 환경이 만들어집니다. xgoduck_rl 안에서, 오리지널 로봇이라면 microduck_rl 안에서 실행하세요.
cd xgoduck_rl
uv syncDGX Spark(GB10)나 Jetson 같은 ARM 머신에서는 첫 동기화 때 큰 CUDA wheel(오리지널 프로젝트에 따르면 약 2 GB)을 내려받는데, uv의 기본 30초 HTTP 타임아웃 때문에 중단될 수 있습니다. 첫 동기화에서는 타임아웃을 늘리세요.
UV_HTTP_TIMEOUT=600 uv sync그다음 등록된 태스크 목록을 확인합니다. UNO Q 버전은 이름이 -XgoDuck으로 끝나는 태스크를, 오리지널 로봇은 -MicroDuck으로 끝나는 태스크를 사용하세요.
uv run list-envs보행 정책 학습
평지 속도 태스크부터 시작하세요. 두 프로젝트의 핵심 태스크로, 로봇이 속도 지령을 따르며 걷는 법을 배웁니다.
uv run train Mjlab-Velocity-Flat-XgoDuck --env.scene.num-envs 4096오리지널 Microduck의 경우 프로젝트는 환경 4,096개 기준으로 쓸 만한 걸음새까지 1~2시간이 걸린다고 추정합니다. Luwu Dynamics는 UNO Q 버전의 소요 시간을 공개하지 않았고, 실제 시간은 사용하는 GPU에 따라 다릅니다.
uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096체크포인트(model_*.pt)와 TensorBoard 로그는 logs/rsl_rl/<experiment>/ 아래에 기록되며, 보행 태스크는 logs/rsl_rl/xgoduck_velocity/를 사용합니다. 다른 기술도 같은 명령어에 태스크 이름만 바꿔 학습할 수 있습니다(예: 기립 태스크). 아래 표는 UNO Q 버전의 태스크 목록이며, 설명은 이 태스크들이 따르는 오리지널 프로젝트의 태스크 목록에서 가져왔습니다.
uv run train Mjlab-StandUp-Flat-XgoDuck --env.scene.num-envs 4096오리지널 프로젝트는 아래 에이전트 플래그로 저장된 체크포인트에서 학습을 이어가는 방법을 문서화하고 있습니다.
uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096 \
--agent.run-name resume --agent.load-checkpoint model_29999.pt --agent.resume True옆으로 스크롤하여 모든 열을 비교하세요.
| 태스크(UNO Q 버전) | 지형 | 학습 내용 |
|---|---|---|
Mjlab-Velocity-Flat-XgoDuck | 평지 | 속도 지령을 따르며 걷기 |
Mjlab-Velocity-Rough-XgoDuck | 울퉁불퉁한 지형 | 같은 보행 태스크를 고르지 않은 바닥에서 |
Mjlab-StandUp-Flat-XgoDuck | 평지 | 누운 자세나 앉은 자세에서 일어나 선 자세 유지하기 |
Mjlab-SitStand-Flat-XgoDuck | 평지 | 지령에 따라 앉고 서기 |
Mjlab-GroundPick-Flat-XgoDuck | 평지 | 웅크려 부리로 바닥을 짚고 다시 서기 |
Mjlab-BallKick-Flat-XgoDuck | 평지 | 오른발로 공 차기(왼발 태스크도 있음) |
Mjlab-Roulade-Flat-XgoDuck | 평지 | 머리 위로 앞구르기 후 발로 착지하기 |
Mjlab-RollerStandUp-Flat-XgoDuck | 평지 | 바닥에서 수동 바퀴 위로 일어서기 |
Mjlab-Velocity-Swizzle-XgoDuck | 평지 | 바퀴로 좌우 대칭 스위즐 스케이팅 |
시뮬레이션에서 정책 확인하기
play는 태스크의 뷰어를 엽니다. 체크포인트 플래그가 없으면 해당 태스크의 실험 디렉터리에서 가장 최신 model_*.pt를 불러옵니다.
uv run play Mjlab-Velocity-Flat-XgoDuck특정 실행을 확인하려면 그 체크포인트 파일을 지정하세요. 최신 체크포인트만 보지 말고, 내보낼 바로 그 체크포인트를 재생하세요.
uv run play Mjlab-Velocity-Flat-XgoDuck \
--checkpoint-file logs/rsl_rl/xgoduck_velocity/<run>/model_XXXX.pt보상이 잡아내지 못할 수 있는 부분을 살펴보세요. 발을 끄는지, 몇 걸음마다 움찔하는지, 속도가 오를수록 기울기가 커지는지, 지령이 바뀔 때 넘어지는지 등입니다. 시뮬레이션에서 불안정해 보이는 정책은 실제 로봇에서 나아지지 않습니다.
시뮬레이션과 현실의 차이 줄이기
작은 서보로 가벼운 이족보행 로봇을 구동할 때는 sim-to-real 격차의 대부분이 액추에이터 재현도에서 온다고 오리지널 프로젝트의 저자들은 말합니다. 그래서 두 프로젝트 모두 이상적인 PD 제어기 대신 BAM(Rhoban의 Better Actuator Models)으로 서보를 전압 제어 법칙, 역기전력, 부하에 따른 마찰까지 모델링합니다.
이어서 도메인 무작위화가 병렬 환경마다 배터리 전압, 부하 시 전압 강하, 지령 지연, 마찰을 달리해 정책이 특정 서보 하나에 의존하지 않게 합니다. 오리지널 프로젝트에서는 모든 주요 태스크에 각 서보 관절과 직렬로 ±1°의 기어 유격을 추가하는 Backlash 변형도 있습니다. 로봇 이름 앞에 -Backlash를 넣으면 됩니다(예: Mjlab-Velocity-Flat-Backlash-MicroDuck).
서보 모델이 어떤 프로젝트를 쓸지 결정하는 이유도 여기에 있습니다. UNO Q 버전을 XL330 모델로 학습하거나 그 반대로 하면, 내 로봇에 없는 서보에 맞춘 정책을 학습하게 됩니다.
정책을 ONNX로 내보내기
내보내기 스크립트는 체크포인트를 ONNX 파일로 변환하면서 관측 정규화를 그래프 안에 포함시킵니다. 로봇에는 항상 scripts/export.py로 만든 파일을 배포하세요. 직접 변환한 체크포인트는 로봇에서 정규화되지 않은 관측값을 받게 됩니다.
uv run python scripts/export.py Mjlab-Velocity-Flat-XgoDuck \
--checkpoint-file logs/rsl_rl/xgoduck_velocity/<run>/model_XXXX.pt \
--onnx-file logs/rsl_rl/xgoduck_velocity/<run>/<run>.onnx--onnx-file을 지정하지 않으면 현재 디렉터리의 output.onnx에 출력됩니다. 내보낸 파일은 그것을 만든 실행과 함께 보관하고, 학습 프로젝트의 리비전, 체크포인트, 파일 체크섬을 기록해 두세요.
sha256sum logs/rsl_rl/xgoduck_velocity/<run>/<run>.onnx오리지널 프로젝트에서는 scripts/infer_policy.py로 내보낸 정책을 CPU MuJoCo에서 키보드로 조작할 수도 있습니다. 학습과 같은 BAM 모델로 서보를 시뮬레이션하므로 로봇에 올리기 전 마지막 점검으로 유용합니다.
uv run scripts/infer_policy.py --walking output.onnx로봇에서 정책 실행하기
오리지널 Microduck에서는 Pollen Robotics의 온보드 런타임이 내보낸 정책을 불러와, 61개 값으로 된 하나의 공통 관측을 바탕으로 정책 간에 전환합니다(보행, 복구, 묘기). 61개 값은 고유수용 감각 값 48개와 몸체 속도, 머리 자세, 몸체 자세 지령으로 구성됩니다. 런타임의 게시 도구는 14개 서보마다 출력이 하나씩인 [1,61] → [1,14]가 아닌 그래프를 거부합니다.
UNO Q 버전은 사용하는 펌웨어 브랜치에 맞는 런타임으로 정책을 불러오세요. 런타임은 저희 기술 문서에 설명되어 있습니다. 처음 실행하기 전에 런타임의 관절 순서, 관측 필드, 정규화가 학습 태스크와 일치하는지 확인하세요. 불일치가 있으면 보통 로봇이 서지 못하고 다리를 차내거나 주저앉는 증상으로 나타납니다.
- 배터리를 충전하고 조립 가이드의 캘리브레이션을 실행해 로봇의 영점 자세를 모델의 영점 자세와 맞추세요.
- 처음 시작할 때는 로봇을 손으로 잡거나 거치대에 올려 두고, 전원 스위치를 바로 누를 수 있게 하세요.
- 먼저 서기 또는 기립 정책을 불러온 다음, 낮은 지령 속도로 보행 정책을 실행하세요.
- 체크포인트, ONNX 체크섬, 런타임 리비전을 적어 두면 나중에 수리할 때 잘 작동했던 조합으로 돌아갈 수 있습니다.
문제 해결
문제가 계속되면 키트 버전, 학습 프로젝트, 태스크 이름, 로봇의 짧은 영상을 보내 주세요. 저희가 알고 있는 조립 문제와 대조해 확인해 드리겠습니다.
- ARM 머신에서
uv sync가 중간에 멈춤: 첫 동기화에UV_HTTP_TIMEOUT=600을 설정하세요. list-envs에 내 태스크가 안 보임: 접미사(-XgoDuck또는-MicroDuck)와 올바른 프로젝트 안에 있는지 확인하세요.play가 예상과 다른 실행을 보여 줌: 실험 디렉터리의 최신 체크포인트를 고르기 때문이니--checkpoint-file을 지정하세요.- 시뮬레이션은 좋은데 로봇이 떨거나 반응이 늦음: 먼저 서보 모델, 배터리 전압, 기어 유격을 확인하세요. 바로 이것들이 도메인 무작위화가 커버하려는 요소입니다.
- 엉뚱한 관절이 움직이거나 바로 넘어짐: 런타임의 관절 순서와 관측 구성을 학습 태스크와 비교하고, 파일이
scripts/export.py로 내보낸 것인지 확인하세요. - 로봇이 비뚤게 섬: 재학습하기 전에 다시 캘리브레이션하세요. 영점이 모델과 어긋난 서보는 정책으로 보정할 수 없습니다.