테슬라 공장. 작업자가 카메라 다섯 대를 단 헬멧과 배낭을 착용한 채 셔츠를 개켜 접고 물건을 선반에서 집어 든다. 이렇게 기록된 영상이 휴머노이드 로봇 옵티머스의 훈련 교재가 된다. 테슬라 옵티머스 AI 팀은 로봇이 두 손을 쓰는 복잡한 집안일을 사람의 영상만 보고 익히게 하는 데 성공했다고 밝혔다.
출처: Startup Fortune
핵심은 학습 방식의 전환이다. 그동안 로봇 훈련은 원격조종(텔레오퍼레이션)에 크게 의존했다. 조작자가 로봇의 팔다리를 원격으로 움직여 훈련 데이터를 한 동작씩 만들어내는 방식으로, 느리고 비쌌다. 이제는 사람이 일상 작업을 하는 1인칭 영상으로 훈련한 단일 네트워크가 방 청소와 음식 젓기, 쓰레기 버리기, 자동차 부품 분류를 사람의 조종 없이 해낸다. 여러 작업을 하나의 신경망이 처리한다.
옵티머스 AI 팀의 무르타자 달랄은 이 전환을 이렇게 요약했다.
텔레오퍼레이션은 확장되지 않는다. 영상 훈련은 확장되며, 빠르다.
이 발언은 텔레오퍼레이션 장비를 2년간 구축해 온 회사가 스스로의 방식을 뒤집는 대목이라 무게가 있다. 실제 훈련은 생각보다 단순하다. 작업자가 5대의 자체 제작 카메라를 단 리그를 착용하고 셔츠 개기, 식기세척기 채우기, 선반에서 물건 집기 같은 평범한 동작을 반복한다. 그 영상이 옵티머스에 그대로 학습된다. 이 방식은 옵티머스 총괄이 2025년 중반 회사를 떠난 뒤 모션캡처 슈트와 직접 원격조종 의존을 대체했다.
공장에서 검증된 성과
공장에서의 성과는 시연이 아니라 실무에 가깝다. 옵티머스는 모델 X의 포어 링크 부품을 식별해 라벨이 붙은 상자에서 꺼내 돌리 램프에 올린다. 테슬라 생산 라인과 직접 맞닿은 작업이다. 같은 네트워크가 음성이나 텍스트로 주는 자연어 명령을 받아 작업 사이를 전환한다. 로봇이 스스로 라벨과 위치를 읽어낸다는 점에서, 정해진 동작만 반복하는 기존 자동화 장비와는 결이 다르다.
인터넷 영상으로 가는 베팅
더 큰 베팅은 데이터의 출처를 바꾸는 것이다. 지금은 로봇을 위해 특별히 촬영한 통제된 1인칭 영상을 쓴다. 테슬라는 다음 단계로 로봇과 무관하게 찍힌 3인칭 인터넷 영상으로 학습을 확장하려 한다. 라벨이 없고 각도가 제각각이지만 양은 사실상 무한하다. 언어모델이 손으로 라벨링한 좁은 데이터에서 인터넷 전체로 옮겨가며 도약한 것과 같은 전환이라는 평가가 나온다. 머스크는 2025년 1월 실적 발표에서 옵티머스의 훈련 수요가 자율주행보다 최소 10배에 이를 것이라고 말한 바 있다.
경쟁 구도도 달라진다. 피겨와 어질리티 같은 휴머노이드 업체는 원격조종과 시뮬레이션으로 훈련 데이터를 모아 왔다. 각각 인력과 연산 예산이라는 병목을 안고 있다. 인터넷급 영상 학습이 통하면 두 제약을 동시에 우회할 수 있다. 다만 테슬라는 실패율과 작업 성공률, 처음 보는 작업을 어떻게 처리하는지는 아직 공개하지 않았다. 회사가 내세운 것은 ‘옵티머스가 집안일을 한다’는 결과가 아니라, 로봇의 학습 곡선을 언어모델처럼 만들 방법을 찾았다는 주장에 가깝다.
테슬라는 로봇의 생산 규모 자체도 키우는 중이다. 주당 1000대 수준의 양산을 목표로 한다는 계획이 거론되지만, 정밀한 손 조립이 병목으로 남아 있다. 영상 학습으로 두뇌를 키우는 일과 몸을 대량으로 찍어내는 일은 별개의 과제라는 뜻이다. 학습 속도가 빨라져도 하드웨어 생산과 현장 검증이 따라오지 못하면 상용화 시점은 밀린다. 공개된 성과도 선별된 작업 목록에 머문다. 옵티머스가 스스로 새로운 작업을 정의하거나 실패를 복구하는 능력은 아직 검증되지 않았다.
이번 발표는 옵티머스의 학습 곡선이 자율주행처럼 10년짜리 수집 작업이 아니라 언어모델처럼 데이터 규모로 결정되는 구조로 옮겨가기 시작했다는 신호로 읽힙니다. 로봇을 위한 특수 촬영에서 인터넷 영상으로 넘어가는 도약이 성사되면, 학습 데이터의 상한이 사실상 사라지기 때문입니다. 다음 관전 포인트는 3인칭 영상 학습의 실제 성능 공개 시점과, 옵티머스가 통제된 공장을 벗어나 낯선 가정 환경에서 어디까지 버티는지를 보여주는 데이터입니다.
- 원문: Startup Fortune — Tesla Says Optimus Learned to Do Chores Just by Watching Humans on Video
- 작성: sw4u 8시뉴스 일관평 / 2026-10-10 20:00