휴머노이드 로봇에는 AI가 얼마나 들어가 있을까요: Claude Code로 연결도 해봤어요

요즘 휴머노이드 로봇 소식이 부쩍 많아요. 그런데 "로봇에 AI가 들어갔다"는 말이 정확히 어디에 얼마나 들어갔다는 뜻일까요?

저희 질문 봇은 AI가 "답 쓰기" 한 군데에만 들어가 있어요. 로봇은 훨씬 깊숙이 들어가 있는데, 한 덩어리가 아니라 층으로 나뉘어 있어요.

보고, 이해하고, 움직이는 AI

요즘 로봇용 AI는 VLA(Vision-Language-Action)라고 불러요. 카메라 영상과 사람 말을 받아서, 관절을 어떻게 움직일지까지 내놓는 모델이에요.

다만 한 모델이 다 하지는 않아요. 구조를 공개한 Figure의 Helix를 보면 두 개로 나뉘어 있어요.

• 생각하는 AI: 매개변수 약 70억 개의 큰 모델이에요. 장면을 보고 말을 이해해서 할 일을 정해요. 1초에 7–9번 판단해요
• 움직이는 AI: 매개변수 약 8천만 개의 작은 모델이에요. 정해진 일을 상체 관절 35개의 움직임으로 바꿔요. 1초에 200번 움직임을 고쳐요

나눈 이유는 간단해요. 계획은 조금 느려도 되지만, 손이 늦으면 컵을 떨어뜨리거든요.

맨 아래 모터와 안전장치는 대개 AI가 아니에요. 모터를 정확한 각도로 맞추는 건 오래된 제어 기술이 하고, 비상 정지는 하드웨어 버튼이에요. AI가 판단을 잘못해도 몸이 위험하게 움직이지 않도록 마지막 문은 AI 밖에 두는 거예요.

로봇 AI는 무엇으로 배울까요

챗GPT 같은 AI는 인터넷의 글을 읽고 배웠어요. 로봇 AI는 글만으로는 부족해요. 컵을 얼마나 세게 쥐어야 하는지는 글에 잘 안 나오거든요. 그래서 "몸을 쓴 기록" 을 모아서 배워요.

• 사람이 직접 조종한 시범: 사람이 장갑이나 조종기로 로봇을 움직이고, 그 움직임을 그대로 기록해요. 가장 정확하지만 사람 손이 많이 들어서 비싸요
• 시뮬레이션: 컴퓨터 속 가상 공장이나 주방에서 수백만 번 연습시켜요. 싸고 빠르지만, 가상 세계와 현실이 조금씩 달라서 그대로 옮기면 실수가 생겨요
• 인터넷 영상: 사람이 물건을 다루는 영상을 보면서 "컵은 이렇게 잡는구나"를 익혀요. 양은 엄청 많지만 사람 몸과 로봇 몸이 달라요

요즘 VLA는 이 셋을 섞어서 배워요. 앞에서 본 Gemini Robotics 2가 "시범 동작 200개가 안 되는 데이터로 새 몸에 적응한다"고 내세우는 것도, 비싼 시범 데이터를 덜 쓰는 게 그만큼 중요하다는 뜻이에요.

인터넷 없이도 돌아야 해요

로봇은 클라우드에 물어보고 답을 기다릴 여유가 없어요. 그래서 로봇 안에서 바로 도는 모델이 중요해요.

구글 딥마인드가 7월 30일(미국 시간) 낸 Gemini Robotics 2도 세 모델로 나뉘어요 (발표 기준).

• ER 2: 할 일을 계획하고 진행 상황을 챙기는 "머리" 역할이에요. 여러 대의 로봇에게 일을 나눠줄 수도 있어요
• 전신 VLA: 걷기, 웅크리기, 다섯 손가락으로 물건 잡기까지 몸 전체를 조종해요
• On-Device 2: 네트워크 없이 로봇 안에서 돌아요. 처음 보는 로봇 몸에도 시범 동작 200개가 안 되는 데이터로 몇 시간 만에 적응한다고 해요

요즘 눈에 띄는 로봇 AI

• Figure Helix: Figure가 직접 만든 모델이에요. 오픈AI와의 협력을 끝내고 자체 개발로 돌아섰어요
• Gemini Robotics 2: 구글 딥마인드의 세 모델 묶음이에요
• π0.7: Physical Intelligence가 4월에 낸 모델이에요. 처음 보는 주방에서 말로 시킨 여러 단계 일을 해냈다고 발표했어요
• GR00T: 엔비디아가 로봇 회사들에 제공하는 모델이에요

Claude Code로도 로봇을 움직일 수 있을까요

네, 연결하는 길이 있어요. 다만 앞에서 본 "움직이는 AI"를 대신하는 건 아니에요. 맨 위 "생각하는 AI" 자리에서 로봇에게 일을 시키는 쪽이에요.

ROS MCP Server라는 오픈소스가 다리를 놔줘요. ROS는 로봇 소프트웨어에서 가장 널리 쓰는 표준이에요. 로봇 코드는 고치지 않고, 로봇 쪽에 rosbridge라는 연결 프로그램만 켜두면 돼요. Claude Code, Codex CLI, Gemini CLI, Cursor처럼 MCP를 지원하는 도구면 다 붙일 수 있어요.

Claude Code에는 이 한 줄로 등록해요.

claude mcp add ros-mcp -- \
  uvx ros-mcp --transport=stdio

직접 해봤어요. 설치해서 Claude Code에 등록하니 "연결됨"으로 떴고, 센서 값 읽기, 명령 보내기, 상태 확인 같은 도구 31개가 보였어요. 연결된 로봇이 없어서 연결 확인 도구는 "로봇에 닿을 수 없음"으로 나왔어요. 실제 로봇을 움직이는 데까지는 확인하지 못했어요.

앤트로픽도 비슷한 실험을 공개했어요. 로봇 경험이 없는 직원 두 팀에게 하루 동안 로봇 개(Unitree Go2)가 공을 가져오게 만들라고 했는데, Claude를 쓴 팀만 로봇이 스스로 공을 찾아오는 단계에 가까이 갔다고 해요. 특히 로봇과 센서에 처음 연결하는 단계에서 차이가 컸다고 밝혔어요 (Project Fetch, 발표 기준).

실제 로봇에 연결한다면 이것만은 지켜주세요.

• 시뮬레이터에서 먼저 해보세요. 화면 속 로봇은 부딪혀도 괜찮아요
• Claude Code는 도구를 쓸 때마다 허락을 물어요. 로봇에 명령을 보내는 도구는 "항상 허용"으로 풀지 마세요
• 비상 정지 버튼은 손 닿는 곳에 두세요

현대와 테슬라는 어디까지 왔나

휴머노이드 소식에서 가장 많이 나오는 두 회사예요. 둘 다 "자기 공장에 먼저 넣는다"는 방향은 같은데, 속도와 방식이 달라요.

현대: Atlas는 만들기 시작했어요

현대차그룹이 2021년에 인수한 보스턴 다이내믹스가 만드는 로봇이에요. 예전 Atlas는 유압으로 움직이는 연구용이었는데, 지금 것은 전기 모터로 움직이는 공장용이에요.

• 1월 CES 2026에서 양산형 Atlas를 공개하고, 바로 생산을 시작했다고 밝혔어요
• 두뇌 쪽은 구글 딥마인드와 손잡고 Gemini Robotics를 넣기로 했어요. 앞에서 본 "생각하는 AI" 자리예요
• 올해 만드는 물량은 전부 현대의 로봇 훈련 센터와 딥마인드로 가요. 다른 회사에 파는 건 2027년부터예요
• 2028년에 미국 조지아 공장에서 부품을 골라 나르는 일부터 맡기고, 2030년에는 조립처럼 더 어려운 일로 넓힌다는 계획이에요
• 미국에 로봇을 연 3만 대 만드는 공장도 짓겠다고 했어요

정리하면 로봇은 만들고 있고, 공장에서 일을 배우는 단계예요. 실제 생산 라인에 정식으로 들어가는 건 2028년 목표예요.

테슬라: Optimus는 생산 라인을 짓는 중이에요

테슬라는 로봇 몸도 AI도 직접 만들어요. 자동차 자율주행에 쓰던 카메라 기반 AI 기술을 로봇에도 쓴다고 밝혀 왔어요.

• 4월에는 캘리포니아 프리몬트 공장에서 7–8월에 생산을 시작한다고 했어요
• 7월 22일 주주 서한에서는 생산 시작을 "올해 안"으로 미뤘어요. 생산 라인은 설치 중이라고 했어요
• 9월 말 기준 3세대 Optimus는 아직 공개 전이고, 몇 대가 일하는지는 공식 발표가 없어요
• 목표로는 프리몬트에 연 100만 대, 텍사스에 연 1,000만 대 규모 라인을 제시했어요

정리하면 큰 목표는 있지만, 아직 생산 라인을 짓는 단계예요. 테슬라는 일정을 자주 바꿔 왔어서, 목표 숫자는 목표로만 보시는 게 좋아요.

한눈에 비교

로봇이 아직 어려워하는 것

데모 영상은 멋있지만, 공장에 대량으로 들어가기 전에 넘어야 할 게 남아 있어요. 업계에서 공통으로 꼽는 것들이에요.

• 손: 다섯 손가락으로 작은 나사나 말랑한 물건을 다루는 건 아직 사람이 훨씬 잘해요
• 처음 보는 곳: 배울 때 못 본 환경에서는 실수가 늘어요. 그래서 다들 "처음 보는 주방에서 해냈다"를 성과로 내세워요
• 오래 일하기: 배터리와 고장 때문에 사람처럼 하루 종일 쉬지 않고 일하기는 아직 어려워요
• 안전: 사람 옆에서 일하려면 AI가 틀려도 다치지 않게 막는 장치가 꼭 필요해요

그래서 두 회사 모두 사람과 떨어진 곳에서, 정해진 단순한 일부터 맡기는 거예요.

짚어둘 것

• Helix와 Gemini Robotics 2의 구조와 숫자는 각 회사 발표 기준이에요. 저희가 직접 돌려본 건 아니에요
• 현대와 테슬라 일정은 회사 발표와 보도 기준이에요. 특히 테슬라는 일정이 여러 번 바뀌었어요. 실제 공장에서 몇 대가 일하는지는 두 회사 모두 공식 숫자가 없어서 적지 않았어요
• 학습 방법과 모터·안전장치 설명은 업계의 일반적인 구성이에요. 회사마다 다를 수 있어요
• ROS MCP Server는 10월 4일에 설치와 Claude Code 연결까지 직접 확인했어요. 실제 로봇 조종은 확인하지 않았어요
• 로봇도 결국 "AI 모델 + 그걸 감싸는 코드" 구조예요. AI가 틀려도 마지막은 코드와 하드웨어가 잡아요

로봇 쪽 소식도 더 다뤄볼까요? 카톡 오픈채팅 ⚡ AI랑 코딩하는 사람들에서 의견 들려주세요.

참고

• Figure — Helix: A Vision-Language-Action Model for Generalist Humanoid Control
• Google DeepMind — Gemini Robotics 2 brings whole body intelligence to robots
• Physical Intelligence — π0.7 논문
• ROS MCP Server (GitHub)
• Anthropic — Project Fetch
• Technology.org — Humanoid Robots in 2026: What Is Actually Deployed
• Boston Dynamics — 새 Atlas 공개 (CES 2026)
• TechCrunch — Atlas에 Google DeepMind 기술 탑재
• 현대차그룹 — Atlas와 로봇 공장 계획
• Tesla — 2026년 2분기 주주 서한 (SEC 8-K)