구글 딥마인드가 제미나이 4 아르곤으로 휴머노이드 로봇에게 콘홀 게임을 가르친 진짜 방식

로봇에게 인간의 복잡한 움직임을 가르치는 가장 비효율적인 방법은 역설적이게도 사람이 일일이 관절 각도 좌표를 수작업으로 입력하는 것입니다. 던지기나 뛰기 같은 역동적인 동작은 미세한 힘의 균형과 공기 저항, 관성 모멘트가 복합적으로 작용하기 때문에 단순히 인간의 궤적을 복사해서 붙여넣는 순간 로봇은 맥없이 중심을 잃고 쓰러지기 일쑤죠.

최근 구글 딥마인드(Google DeepMind)가 공개한 시연 영상은 이 골치 아픈 문제를 아주 색다른 방식으로 풀어냈습니다. 바로 거대 언어·비전 모델인 제미나이 4 아르곤(Gemini 4 Argon)에게 휴머노이드 로봇 앱트로닉 아폴로(Apptronik Apollo)의 '상급자 코치' 역할을 맡긴 것입니다.

[시연 전체 영상] Gemini 4 Argon을 활용한 휴머노이드 로봇 콘홀 게임 제어
(사람의 투구 영상을 시각적으로 이해한 뒤 물리 시뮬레이터에서 스탠스를 넓히고 투구 궤적을 스스로 교정하는 과정이 담겨 있습니다.)
출처: Google DeepMind 공식 유튜브

AI는 어떻게 영상 한 편으로 로봇의 폼을 교정했을까

이 실험의 핵심은 단순히 픽셀 데이터를 받아 움직임을 시뮬레이션하는 데 그치지 않는다는 점입니다. 제미나이 4 아르곤은 사람의 시범 영상을 보고 관절 매핑부터 오차 분석까지의 프로세스를 닫힌 루프(Closed-loop)로 제어했습니다.

제미나이 4 아르곤의 4단계 학습 프로세스

• 인간 모션 추출: 사람이 콩주머니(Beanbag)를 던지는 영상을 프레임 단위로 분석하여 팔의 스윙 각도와 방출 시점을 로봇의 각 관절 구조에 맞게 매핑
• 3D 공간 인식 및 물리 환경 구축: 로봇 양눈에 탑재된 스테레오 카메라로 타깃 보드의 정확한 3D 위치를 측정하고, 물리 시뮬레이터인 MuJoCo에 디지털 트윈 환경 구축
• 시뮬레이션 가상 훈련: 스탠스 폭을 넓혀 무게중심(ZMP) 안정성을 확보하고, 손이 골반에 걸리지 않도록 투구 궤적 재설계
• 피드백 기반 실전 미세조정: 로봇 카메라로 주머니가 떨어진 지점을 촬영하고 오차를 비디오로 해석하여 방출 시점을 밀리미터 단위로 교정

개인적으로 참 흥미롭다고 느낀 지점은 AI가 '실패 영상'을 직접 보고 스스로 원인을 반추(Reasoning)한다는 사실입니다. "주머니가 보드에 못 미치고 떨어졌으니, 투구 시 손가락이 열리는 타이밍을 0.05초 늦추고 다리 스탠스를 넓혀 하체 지지력을 확보해야겠다"는 식의 추론을 비전 언어 모델이 수행하는 것이죠.

flowchart TD
    A["사람의 콘홀 투구 영상 수입"] --> B["Gemini 4 Argon 비전 인지<br/>(인간-로봇 관절 매핑)"]
    B --> C["양눈 카메라로 3D 공간 측정<br/>& MuJoCo 물리 환경 생성"]
    C --> D["가상 시뮬레이션 반복<br/>(스탠스 확장 & 궤적 최적화)"]
    D --> E["실제 아폴로 로봇 투구 집행"]
    E --> F["투구 결과 비디오 수집<br/>(오차 분석 & 셀프 피드백)"]
    F -- "정밀도 보정 루프" --> D

    classDef default fill:#f8faff,stroke:#0066cc,stroke-width:1.5px,color:#222,font-size:13px;

DEEP DIVE 함께 읽으면 기술적 시야가 2배 넓어지는 글

엔비디아가 물리 AI 시대를 준비하는 방법: NVIDIA Warp와 MJWarp로 로봇 시뮬레이션 2,048배 가속하기 ↗

구글이 MuJoCo 시뮬레이터를 사용하는 것처럼, 로봇 학습에 필수적인 물리 가상 환경 기술의 최신 동향을 파헤친 글입니다.

가상과 현실 사이의 벽을 넘어서는 VLA 파이프라인의 가능성

기존 로봇 제어 방식에서는 시뮬레이션에서 아무리 완벽하게 구동되더라도 실제 환경에 적용하면 유격, 마찰력 차이, 액추에이터 지연 시간 때문에 실체적인 오차가 크게 발생했습니다. 이른바 'Sim-to-Real Gap'이라 불리는 장벽입니다.

하지만 이번 시험에서 제미나이 4 아르곤은 가상 연습을 마친 뒤, 실제 로봇이 던진 주머니의 낙하지점을 카메라로 확인하며 '실시간 보정 파라미터'를 제안했습니다. 그 결과 7번 연속으로 구멍에 콩주머니를 정확히 집어넣는 놀라운 적응력을 보여주었죠.

솔직히 단 1분 43초짜리 영상만 보고 모든 기술적 완성도를 판단하긴 이릅니다. 연구소 환경이라는 통제된 조건이었고, 바닥 재질이나 바람 영향이 없는 실내라는 한계도 분명 존재합니다. 만약 공의 무게가 예사롭지 않게 변하거나 보드의 마찰력이 달라진다면 AI가 얼마나 빠르게 재적응할 수 있을지는 여전히 의문입니다.

하지만 대형 파운데이션 모델(VLM/VLA)이 단순히 텍스트나 이미지를 만들어내는 수준을 넘어, 물리 세계의 법칙을 이해하고 가상 시뮬레이터(MuJoCo)의 파라미터를 제어하며 로봇 제어 코드까지 생성해내는 흐름은 돌이킬 수 없는 대세가 된 것으로 보입니다.

예전에 로봇 하드웨어를 다룰 때 강화학습 보상 함수(Reward Function) 수식을 맞추느라 며칠 밤을 새우던 기억이 떠오르더라고요. 이제는 AI에게 "저 영상처럼 던져봐, 그리고 왜 안 들어갔는지 비디오 보고 수정을 반복해"라고 자연어로 지시하는 시대가 눈앞에 다가왔음을 절감하게 됩니다. 앞으로 로보틱스 프레임워크가 얼마나 더 가속화될지 꾸준히 지켜봐야겠습니다.

---

참고 자료 및 공식 영상 (References)

• 영상 출처: Google DeepMind 공식 유튜브 Channel - Teaching a humanoid robot to play cornhole with Gemini 4 Argon

---