Mobileye CTO가 말하는 자율주행 롱테일의 함정: 시나리오 부스팅으로 스케일링 한계 돌파하기

자율주행 개발 현장에서 흔히 들리는 말이 있죠. "데이터를 더 많이 모으고 모델 파라미터를 키우면 결국 다 해결된다"는 일종의 믿음 말이에요. 하지만 냉정하게 보면, 수백만 시간의 주행 영상을 수집하고 엔드투엔드 모델을 돌려도 여전히 치명적인 롱테일 엣지 케이스는 끊임없이 튀어나옵니다. 과연 이 무식한 스케일링 법칙만 믿고 가는 게 맞을까요?

모빌아이의 최고기술책임자(CTO)인 Shai Shalev-Shwartz 교수가 CVPR 2026에서 던진 화두는 꽤 충격적이었습니다. 그는 현재 업계가 맹신하는 대규모 스케일링 방식이 지닌 구조적 한계를 짚어내며, 전혀 다른 방식의 접근법을 꺼내들었더라고요.

 

스케일링 법칙의 배신: 0.1이라는 잔인한 지수

기초 모델이나 LLM에서 자주 쓰이는 친칠라 스케일링 법칙을 자율주행에 그대로 적용해 보면 이상한 점을 발견할 수 있습니다. 손실 함수가 모델 파라미터와 데이터 샘플 수의 마이너스 알파 제곱으로 줄어든다고 가정할 때, 실제 딥러닝에서 측정되는 이 스케일링 지수(alpha)는 고작 0.1 수준에 불과해요.

이 숫자가 무엇을 의미하는지 계산해 보면 답이 나옵니다. 만약 현재 100시간마다 한 번 발생하는 고장(MTBF) 빈도를 백만 시간 수준으로 낮추려면 무려 10의 40승에 달하는 파라미터와 데이터가 필요해진다는 뜻이죠. 물리적으로 절대 불가능한 수치입니다. 스케일링이 도움이 되는 건 맞지만, 초저오차율을 달성해야 하는 자율주행에는 너무나도 느린 길인 셈이죠.

그렇다면 왜 이렇게 스케일링이 더딜까요? 그 근본 원인은 바로 자율주행 데이터 특유의 끔찍하게 나쁜 '신호 대 잡음비(Signal-to-Noise Ratio, SNR)'에 있습니다.

HEAD-TO-HEAD 함께 읽으면 기술적 시야가 2배 넓어지는 글

결국 자율주행도 E2E가 정답일까? 엔비디아 Alpamayo 2 Super 아키텍처 까보기 ↗

엔드투엔드 자율주행 구조가 맞닥뜨린 근본적인 한계와 최신 VLA 아키텍처들의 접근 방식을 비교해 볼 수 있습니다.

하이디스탁 문제와 불확실성이라는 이중고

자율주행 데이터는 흔히 말하는 '건초더미 속 바늘 찾기'가 아닙니다. 오히려 '건초더미 속 건초 찾기(Hay in a haystack)'에 가깝죠. 평범하고 지루한 주행 데이터가 99.9%를 차지하고, 그 안에 수많은 희귀 에지 케이스들이 파편처럼 숨어 있습니다. 개별 사건의 확률은 낮지만 이들이 모이면 거대한 위험 마스를 형성해요.

여기에 인간의 운전 행동을 모방하는 과정에서 오는 '내재적 불확실성'이 더해집니다. 교차로 진입 시 멈출지 갈지 결정할 때 정답이 오직 하나만 존재하는 것은 아니잖아요? 게다가 카파티가 말했듯 얇은 빨대로 수퍼비전 비트를 빨아들이는 식의 약한 지도학습 구조 속에서, 모델은 엉뚱한 꼼수를 배우는 숏컷 러닝에 빠지기 쉽습니다. 신호등 대신 앞 차량의 브레이크등만 보고 멈추는 식의 비인과적 특징을 학습해 버리는 것이죠.

실패의 발견과 해결을 분리하는 '시나리오 부스팅'

전통적인 확률적 경사하강법(SGD)은 확률이 낮은 희귀 시나리오에 대해 압력을 거의 주지 못합니다. 전체 데이터 분포 속에서 다수의 평범한 데이터가 내뿜는 노이즈에 핵심 신호가 다 희석되어 버리기 때문이죠.

그래서 모빌아이가 들고 나온 대안이 바로 고전적인 에다부스트(AdaBoost) 알고리즘에서 영감을 받은 시나리오 부스팅(Scenario Boosting)입니다. 핵심 아이디어는 간단하면서도 날카롭습니다. 실패를 발견하는 과정(Discovery)과 그 문제를 해결하는 과정(Resolution)을 완전히 분리하겠다는 거예요.

시나리오 부스팅의 핵심 설계 원칙

• 최적화 목표: 개별 학습 데이터가 아닌 '의미론적 시나리오 클래스(S)' 단위의 최악의 경우를 최소화
• 에이전트 역할: VLRM(시각 언어 추론 모델) 기반의 메테오(MEteor) 에이전트가 데이터 분석가 역할 수행
• 데이터 확장: 신경망 데이터베이스 검색 및 생성형 AI(Gaussian Splatting 등)를 통한 가상 에지 케이스 합성

 

시스템 내부에는 두 가지 플레이어가 존재합니다. 모델 파라미터를 최소화하려는 학습자(Learner)와, 모델이 일관되게 실패하는 시나리오를 악착같이 찾아내는 데이터 분석가 에이전트(Maximizer)가 게임을 벌입니다. 에이전트는 VLM 기반으로 실패 사례를 분석해 영어 텍스트로 명확한 시나리오 이름을 붙이고, 신경망 DB에서 유사한 패턴을 긁어모읍니다. 만약 실제 데이터에 부족하다면 생성형 AI 도구를 동원해 도로 위에 엉뚱한 3D 객체를 심거나 날씨를 변조하며 재현 가능한 실패 클래스를 인위적으로 증폭시키는 식이죠.

실제로 이 에이전트가 찾아낸 에지 케이스들을 보면 흥미롭습니다. 야간에 버스에 매달려 있다가 뛰어내리는 사람들, 도로에 나뒹구는 쓰레기 더미, 심지어 착륙하는 비행기까지 모델이 놓치기 쉬운 기괴한 상황들을 기가 막히게 잡아내더라고요.

개인적으로 이 발표를 보면서, 단순히 "데이터를 더 많이 모은다"는 물량공세식 접근에서 벗어나 AI가 스스로 자기가 어디서 틀리는지 언어로 정의하고 검증하는 메타 인지적 파이프라인을 구축하려 했다는 점이 꽤 인상적이었습니다. 결국 대규모 데이터의 양보다 중요한 건, 그 속에서 알짜배기 신호를 골라내는 똑똑한 필터링 메커니즘이라는 걸 다시 한번 느끼게 되네요.

---

참고 자료 및 공식 영상 (References)

• 영상 출처: Mobileye 공식 유튜브 채널 - Driving the Long Tail: Prof. Shai Shalev-Shwartz at CVPR 2026
• 키노트 발표자: Prof. Shai Shalev-Shwartz (CTO, Mobileye)
• 핵심 키워드: Scenario Boosting, VLRM, METEOR Agent, 3D Gaussian Splatting, Closed-loop Evaluation