1. 비디오 생성 AI의 거인, 로보틱스 판을 흔들다: Runway Praxis-1 공개
비디오 생성 AI 분야의 절대강자 중 하나인 런웨이(Runway)가 결국 물리적 세계(Physical AI)로 영토를 확장했습니다. 이번에 공개된 'Praxis-1'은 단순한 이미지나 비디오 생성을 넘어, 비디오 학습 데이터를 로봇의 '제어 명령(Control Action)'으로 직접 변환하는 오픈 웨이트(Open-weight) 기반의 월드 액션 모델(World Action Model, WAM)입니다.
현업에서 로보틱스나 자율주행을 다루는 엔지니어라면 누구나 공감하겠지만, 현재 피지컬 AI 생태계의 가장 큰 병목은 단연 '데이터의 기아 상태(Data Starvation)'입니다. 자율주행은 주행 데이터라도 쌓이지만, 매니퓰레이션(조작)이나 휴머노이드 분야는 사람이 일일이 VR 기기를 쓰고 원격 조종(Teleoperation)을 하거나 시뮬레이터에서 궤적을 깎아내야 합니다. 시간과 비용이 상상을 초월하죠.
런웨이는 이 난제를 자신들의 장기인 '대규모 비디오 사전학습(Large-scale Video Pretraining)'으로 정면 돌파하겠다는 카드를 꺼냈습니다.
💡 Praxis-1 핵심 아키텍처 및 실증 스펙
- 모델 분류: 오픈 웨이트 월드 액션 모델 (World Action Model, WAM)
- 학습 데이터 소스: 3인칭 시점(Third-person) 대규모 일반 비디오 데이터
- 시뮬레이션 신뢰도: 가상 환경 내 폴리시 평가와 실제 환경 간 0.95 상관관계(Correlation) 달성
- 지원 하드웨어: 양손형 로봇 팔(Bimanual Arms), 휴머노이드(Humanoid) 등 이종 플랫폼
- 주요 파트너사: Noble Machines, Standard Bots, Ultra 등 실기 테스트 진행 중
2. '유튜브 비디오'가 어떻게 로봇의 근육을 제어하는가: 아키텍처 딥다이브
3인칭 비디오에서 물리 법칙과 '태스크의 흐름'을 추출하는 법
기존의 로봇 폴리시(Policy) 학습은 로봇이 직접 움직인 '관절 각도'와 '토크 값'이 매핑된 액션 데이터가 필수적이었습니다. 하지만 런웨이의 CTO 카밀 신디(Kamil Sindi)가 밝혔듯, Praxis-1은 인터넷에 널려 있는 3인칭 시점의 일반 비디오를 통해 세상을 학습합니다.
인간이 물건을 집어 올릴 때 손가락이 어떻게 변형되는지, 콜라캔이 찌그러질 때 어떤 물리적 반작용이 일어나는지, 혹은 선물 포장 백처럼 흐물거리는 변형체(Deformable Object)를 다룰 때의 물리적 인과관계를 비디오 예측(Video Prediction) 과정을 통해 먼저 뇌에 각인시키는 것입니다.
즉, 사물의 거동과 태스크의 인과 관계를 완벽히 이해한 '월드 모델'을 뼈대로 삼고, 여기에 아주 가벼운 미세 조정(Light Fine-tuning)만을 얹어 각기 다른 로봇의 모터 제어 명령으로 매핑하는 구조입니다.
flowchart TD
A["① 대규모 일반 비디오 데이터 사전학습<br/>(3인칭 시점 물리 법칙 습득)"] --> B["② 실시간 상호작용 비디오 모델<br/>(Solaris & GWM Worlds 2 기반 시뮬레이션)"]
B --> C["③ Praxis-1 월드 액션 모델<br/>(물리적 타당성 및 상태 전이 예측)"]
C --> D["④ 이종 하드웨어 미세 조정<br/>(Light Fine-tuning)"]
D --> E["⑤ 실기 구동 및 제어<br/>(양손 로봇, 휴머노이드 등)"]
classDef default fill:#f8faff,stroke:#0066cc,stroke-width:1.5px,color:#222,font-size:13px;0.95 상관관계의 가상 시뮬레이션 환경이 갖는 의미
엔지니어 관점에서 가장 눈여겨봐야 할 수치는 바로 0.95의 시뮬레이션-실제 환경 상관관계(Correlation)입니다.
일반적으로 로보틱스 연구에서 가상 환경(Sim)과 실제 환경(Real) 사이의 간극을 뜻하는 'Sim-to-Real Gap'은 늘 골칫거리였습니다. 기존에는 이를 해결하기 위해 정밀한 3D 재구성(3D Reconstruction)이나 물리 엔진 튜닝에 엄청난 리소스를 쏟아부었는데요.
런웨이는 자사의 실시간 상호작용 비디오 모델인 Solaris와 GWM Worlds 2를 활용해 가상 비디오 상에서 로봇의 행동 결과를 시뮬레이션했습니다. 이 가상 비디오 안에서 성공한 로봇의 폴리시가 실제 물리 환경에서도 거의 동일하게(95% 일치율로) 성공했다는 점은, 이제 무겁고 정교한 CAD 기반 물리 시뮬레이터 없이 '비디오 생성 모델 자체를 로봇의 가상 훈련장(Gym)으로 쓸 수 있다'는 패러다임 시프트를 시사합니다.
3. 기존 방식 대비 비교 분석 및 실무 고려사항
이종 하드웨어(Cross-Embodiment) 범용성의 명과 암
런웨이는 현재 Noble Machines, Standard Bots, Ultra 등의 초기 파트너사들과 함께 Praxis-1을 실제 하드웨어에 올려 검증하고 있습니다. 한 종류의 로봇에만 종속되는 모델이 아니라, 양손형 로봇 팔부터 휴머노이드까지 가벼운 파인튜닝만으로 이식이 가능하다는 것이 강점인데요.
하지만 현업 엔지니어로서 냉정하게 짚고 넘어가야 할 실무적 한계도 분명히 존재합니다.
- 추론 지연 시간(Inference Latency): 대규모 비디오 사전학습 모델 기반의 WAM은 일반적으로 네트워크 파라미터가 매우 큽니다. 실제 실시간 물리 제어(Real-time control loop)에 요구되는 최소 100Hz~1kHz 수준의 제어 주기(Control Frequency)를 온디바이스에서 지연 없이 뽑아낼 수 있을지 의문입니다.
- 정밀 제어(Precision Control)의 한계: 3인칭 비디오 학습은 '태스크의 흐름(High-level planning)'을 이해하는 데는 탁월하지만, 밀리미터(mm) 단위의 정밀 조립이나 힘 제어(Force/Torque feedback)가 필요한 영역에서는 여전히 로컬 센서 피드백과의 결합이 필수적입니다. 비디오만으로는 나사가 야마가 났는지, 마찰력이 얼마나 작용하는지 실시간으로 알기 어렵기 때문이죠.
오픈 웨이트(Open-Weight) 전략이 가져올 생태계 파장
런웨이가 Praxis-1을 폐쇄형(Closed)이 아닌 오픈 웨이트(가중치 공개) 형식으로 배포하겠다고 선언한 점은 매우 영리한 전략입니다.
하드웨어 제조사마다 모터의 특성, 기어비, 센서 구성이 천차만별인 상황에서 폐쇄형 API 형태의 모델은 로보틱스 현장에서 환영받기 어렵습니다. 가중치가 열려 있어야만 로봇 개발자들이 자사 하드웨어에 맞춰 하위 레이어를 뜯어고치고, 엔드투엔드(E2E) 파이프라인을 최적화할 수 있으니까요. 미국의 제조업 경쟁력 회복을 명분으로 내세운 만큼, 오픈소스 생태계를 통해 빠르게 시장 표준(De facto standard)을 선점하겠다는 계산이 깔려 있습니다.
4. 마치며
런웨이의 Praxis-1 발표는 인공지능이 생성한 '가상 픽셀의 세계'가 어떻게 '실제 물리적 현실의 움직임'으로 번역될 수 있는지를 보여주는 이정표와 같습니다.
물론 현업 관점에서는 당장 이 모델을 공장 양산 라인에 올리기엔 실시간 제어 주기와 정밀도 면에서 다듬어야 할 결이 많아 보입니다. 하지만 비싼 로봇 데이터 수집 비용 때문에 고사 직전이던 중소 로봇 스타트업들에게, 대기업 수준의 월드 모델 인지 능력을 오픈소스로 이식할 수 있는 길이 열렸다는 점만으로도 엄청난 파괴력을 가집니다.
앞으로 공개될 공개 가중치(Open weights) 버전의 벤치마크 성능을 주의 깊게 모니터링하며, 실제 온디바이스 칩셋에서의 추론 최적화 가능성을 타진해 보아야겠습니다.
참고 자료 (References)
'SDV & 자율주행 SW' 카테고리의 다른 글
| 중국 엔드투엔드 자율주행 강자 딥루트(DeepRoute)가 ICCV 2025에서 보여줄 VLA 모델의 실체 (0) | 2026.10.25 |
|---|---|
| 스텔란티스가 테슬라 FSD 대신 런던 스타트업 '웨이브(Wayve)'를 선택한 이유 (0) | 2026.10.11 |
| 메르세데스-벤츠가 테슬라 대신 중국 모멘타를 선택하고 독일 총리까지 베이징 도로에 태운 이유 (0) | 2026.10.08 |
| 엔비디아 Thor도 긴장할 중국 DeepRoute.ai의 반격: 광저우 헬게이트를 뚫어낸 VLA 모델의 실체 (0) | 2026.10.05 |
