매틱 청소로봇, 라이다 대신 카메라 5대로 집을 본다

라이다 없이 집을 청소한다

로봇청소기 하면 흔히 천장을 훑는 라이다 센서를 떠올리지만, 매틱의 홈 클리닝 로봇은 그 센서를 아예 빼버렸다. 대신 몸체 곳곳에 RGB-IR 카메라 5대를 붙이고, 여기서 들어오는 영상만으로 집안 구조를 판단한다. 연산은 엔비디아의 온보드 컴퓨터 젯슨 오린(Jetson Orin)이 로봇 내부에서 직접 처리한다. 클라우드로 영상을 보내 계산하는 방식이 아니라, 로봇 스스로 그 자리에서 판단을 끝내는 구조다. 쓸 수 있는 메모리는 4GB뿐이다.

이렇게 모은 카메라 영상은 단순한 장애물 회피용 데이터에 그치지 않는다. 로봇은 이미지를 1세제곱센티미터 크기의 복셀(voxel)로 바꾸는 신경망을 돌려 집 안 구조를 사진처럼 정밀한 3D 지도로 재구성하고, 청소를 하는 동안에도 이 지도를 계속 갱신한다. 가구 위치가 바뀌거나 새 물건이 놓여도 지도가 그때그때 업데이트되는 셈이다.

특히 이 지도는 충전 도크를 기준으로 한 상대 좌표가 아니라 절대 좌표로 만들어진다. 도크는 지도 위의 한 점일 뿐이어서, 사용자가 로봇을 들어 다른 방에 내려놔도 스스로 위치를 다시 찾는다. 크라운(윗면)과 후면 카메라에는 사람 눈에 보이지 않는 적외선 LED가 달려 있어 불 꺼진 집에서도 같은 방식으로 주행하는 것으로 알려졌다.

카메라가 만드는 집 안의 디지털 쌍둥이

구성 요소	매틱 로봇	참고: 라이다 기반 로봇
거리·구조 인식	RGB-IR 카메라 5대	회전형 라이다 센서
연산 위치	온보드(엔비디아 젯슨 오린)	온보드 또는 클라우드
지도 갱신	청소 중 실시간 갱신	주기적 재스캔
좌표 기준	절대 좌표(도크는 지도 위 한 점)	도크 기준 상대 좌표가 일반적
부가 정보	색상·질감 등 시각 정보 포함	거리값 위주

표에서 보듯 매틱의 접근은 단순히 장애물을 피하는 것을 넘어, 집 안 구조 자체를 시각 정보가 풍부한 디지털 지도로 옮기는 데 초점이 맞춰져 있다. 이 지도가 정교할수록 로봇이 할 수 있는 일도 늘어난다.

실제로 지난 8월 13일 매틱은 이 3D 지도를 활용한 기능을 하나 더 공개했다. 사용자가 "헤이 매틱, 여기 청소해"라고 말하며 손으로 특정 지점을 가리키면, 로봇이 팔 방향을 인식해 그 방향을 저장된 3D 지도에 투영하고 해당 위치로 이동하는 방식이다. 카메라로 만든 지도가 단순 주행뿐 아니라 음성·제스처 명령까지 이해하는 기반이 된 셈이다.

"라이다는 바보짓이다"가 무대에 걸린 날

이 설계는 2019년 테슬라의 자율주행 전략을 떠올리게 한다. 2019년 4월 22일 테슬라는 자율주행 시연 행사 '오토노미 데이'에서 라이다 없이 카메라만으로 자율주행을 구현하겠다고 선언했다. 일론 머스크는 그 자리에서 "라이다는 바보짓(fool's errand)"이라고 잘라 말했고, "라이다에 의존하는 사람은 누구든 망한다"는 발언까지 남겼다. 값비싼 라이다 센서 대신 사람의 눈처럼 카메라 영상을 해석하는 인공지능에 승부를 걸겠다는 뜻이었다.

라이다는 정밀한 거리 측정에 강하지만 부품 단가가 높고, 유리나 어두운 색 표면 같은 특정 재질에서는 오작동하기도 한다. 반면 카메라 기반 인식은 부품값이 싸고 색상·질감 같은 시각 정보까지 함께 읽을 수 있다. 다만 카메라만으로 정확한 거리와 깊이를 계산하려면 훨씬 정교한 인공지능 모델이 필요하다. 자율주행 업계에서 라이다파와 비전온리파가 오랫동안 갈려온 이유다.

당시 머스크의 발언은 대부분 원가 이야기로 소비됐다. 라이다 한 대가 자동차 한 대보다 비싸던 시절이었으니 그럴 만했다. 하지만 같은 무대에서 신경망 파트를 발표한 사람이 내놓은 논거는 조금 달랐다.

카파시의 논거는 원가가 아니었다

무대에 함께 오른 안드레이 카파시(Andrej Karpathy)는 2017년부터 테슬라의 AI 총괄을 맡고 있었다. 그의 논지는 이랬다. 도로망 전체가 사람의 시각을 전제로 설계돼 있다는 것이다. 표지판, 차선, 신호등, 공사 구간의 수신호까지 전부 눈으로 읽으라고 만들어진 정보다. 라이다는 점군(point cloud)으로 "저기 뭔가 있다"까지는 알려주지만 표지판에 뭐라고 적혔는지는 읽지 못한다. 그러니 라이다를 달든 안 달든 비전 문제는 어차피 풀어야 하고, 그렇다면 비전 하나를 끝까지 푸는 데 자원을 몰아넣는 편이 낫다는 주장이었다.

이 논리가 가장 선명하게 드러난 건 2021년이다. 그해 5월 테슬라는 북미형 모델3·모델Y에서 레이더를 떼어냈다. 3주 뒤 카파시는 컴퓨터비전 학회 CVPR 강연에서 그 이유를 설명했다. 레이더와 카메라가 서로 다른 값을 내놓을 때 두 신호를 섞으면 정확도가 올라가는 게 아니라 노이즈가 늘어난다는 것이었다. 앞차가 급제동하면 레이더가 추적을 놓치고, 육교를 정지한 차로 오인해 헛브레이크를 밟고, 맨홀 뚜껑 같은 것이 정지 물체로 잡히는 실패가 반복됐다. 그는 "주행에 필요한 정보는 비전 안에 전부 들어 있다"고 정리했다.

주목할 대목은 그다음이다. 테슬라는 센서를 제품에서만 뺐지 개발 과정에서까지 뺀 게 아니었다. 학습 데이터의 정답을 만드는 오프라인 자동 라벨링 단계에서는 레이더를 포함한 추가 센서와 "미래 프레임을 이미 알고 있다"는 이점을 모두 동원하고, 추론 시점에만 카메라로 돌렸다. 고객 차량에서 조용히 추론을 돌리는 그림자 모드로 221개의 실패 트리거를 걸어 어려운 장면을 골라냈고, 이 고리를 4개월 동안 일곱 바퀴 돌린 결과가 100만 개의 난이도 높은 클립과 60억 개의 라벨이었다. 비전온리는 "센서를 빼면 싸진다"는 이야기가 아니라, 뺀 만큼을 데이터와 연산으로 되사오는 전략이었다.

카파시는 2022년 7월 테슬라를 떠났고, 오픈AI를 거쳐 지금은 교육 스타트업 유레카 랩스(Eureka Labs)를 하고 있다. 그리고 2025년 10월 팟캐스트 인터뷰에서 자율주행에 대해 이렇게 말했다. 자율주행은 아직 "끝난 게 아니"며 남은 것은 "9의 행진(march of nines)"이라는 것이다. 99%에서 99.9%로 가는 데 처음 99%를 만든 것과 비슷한 노력이 들고, 그다음 9도 마찬가지라는 뜻이다. 그는 웨이모가 아직 경제성이 없다는 점을 인정하면서도 테슬라 쪽 접근이 더 확장 가능하다는 입장은 유지했다. 그가 남긴 한 줄 요약은 지금도 자주 인용된다. "웨이모는 하드웨어 문제를 갖고 있고, 테슬라는 소프트웨어 문제를 갖고 있다."

7년 뒤 성적표: 라이다는 싸졌고, 비전은 아직 안 끝났다

문제는 그사이 "라이다는 비싸다"는 전제 자체가 무너졌다는 점이다.

시점	제품	대당 가격
2016~2017년	벨로다인 64채널 기계식	약 8만 달러
2020년	로보센스 RS-LiDAR-M1(솔리드스테이트)	1,898달러
2022년	허사이 ATX급	500달러
2026년	허사이 ATX 개선형	200달러

중국 업체들의 대량생산이 곡선을 눌렀다. 10년 만에 400분의 1이 된 셈이고, 200달러 아래로 내려오면서 라이다는 고급 옵션이 아니라 기본 장비 취급을 받기 시작했다. 허사이의 수주 잔고는 400만 대를 넘겼고, 마이크로비전은 100달러대를 로드맵에 올려놨다. 2019년 머스크의 발언을 지탱하던 원가 논리는 사실상 소멸한 셈이다.

그렇다고 비전 진영이 진 것도 아니다. 정확히는 아직 결판이 나지 않았다.

2026년 8월 초 기준	웨이모	테슬라 로보택시
센서 구성	라이다·레이더·카메라	카메라
유료 운행	주 약 50만 건	미공개
무인 차량	약 3,500대	텍사스 기준 20~40여 대
운영 도시	11개	7개(캘리포니아는 안전요원 탑승)
자율주행 거리	주 약 400만 마일	미공개

운행 규모만 보면 라이다 진영이 앞서 있다. 다만 웨이모의 차량 한 대에 들어가는 센서 값과 테슬라의 차량 한 대에 들어가는 센서 값이 다르다는 점, 즉 카파시가 말한 "하드웨어 문제 대 소프트웨어 문제"의 구도는 그대로 살아 있다. 웨이모는 규모를 키울수록 대당 원가를 감당해야 하고, 테슬라는 이미 팔린 차 위에서 소프트웨어만 완성하면 되는 대신 그 완성이 언제일지 모른다.

그렇다면 매틱은 왜 여전히 카메라인가

라이다가 200달러가 된 시대에 라이다를 빼는 것은 더 이상 원가 전략이 아니다. 매틱이 내놓은 이유도 원가가 아니다.

두 창업자는 구글 네스트 출신이다. 최고경영자 나브니트 달랄(Navneet Dalal)은 프랑스 INRIA 시절인 2005년 CVPR에 "사람 검출을 위한 방향 기울기 히스토그램(HOG)" 논문을 제1저자로 낸 사람이다. 딥러닝이 들어오기 전까지 10년 가까이 보행자 검출의 표준으로 쓰인 기법이다. 공동창업자 메훌 나리야왈라(Mehul Nariyawala)와 함께 얼굴인식 회사 라이크닷컴(2010년 구글 인수)과 손동작 인식 회사 플러터(2013년 구글 인수)를 만들었고, 네스트에서는 딥러닝 기반 사람·움직임 감지를 제품에 실었다. 카메라로 사람을 찾는 문제를 20년 동안 붙잡아온 조합이다.

이들이 드는 첫 번째 이유는 뜻밖에도 조직 문제다. 네스트에서 얻은 경험칙으로, 센서를 하나 추가할 때마다 그 센서를 계속 돌보는 소프트웨어 엔지니어가 상주로 2~3명씩 필요하다는 것이다. 캘리브레이션이 틀어지고, 공급망이 흔들리고, 고장 지점이 늘어난다. 두 번째는 더 근본적이다. 집은 사람이 사람의 눈에 맞춰 지은 공간이라는 것. 세 번째는 업데이트 속도다. 소프트웨어는 갈아끼울 수 있지만 하드웨어 센서는 그렇지 않다.

그 대가로 7년이 걸렸다. 2017년 창업 후 2020년 가을에는 기존 오픈소스 SLAM의 정확도가 70~80%에 그친다고 판단해 처음부터 다시 썼고, 프로세서를 퀄컴 스냅드래곤에서 엔비디아로 바꾸느라 9~12개월을 더 썼다. 자금은 총 2,960만 달러를 모았는데, 냇 프리드먼(전 깃허브 CEO), 다니엘 그로스, 스트라이프의 콜리슨 형제 등 개인 투자자 명단이 눈에 띈다.

가격은 출시가 1,495달러에서 1,095달러까지 내려갔다가 지금은 1,245달러이고, 회사는 부품 관세를 이유로 9월 9일부터 1,495달러로 올린다고 예고했다. 다음 하드웨어 모델은 미뤄졌다. 새 기기를 내놓기보다 지금 하드웨어에서 뽑을 수 있는 것을 다 뽑는 쪽을 택했다는 게 회사 설명이다. 소프트웨어로 되사온다는 전략을 제품 로드맵에서도 그대로 밀고 있는 셈이다.

카메라가 안방에 들어올 때

카메라를 단 청소로봇을 향한 경계심에는 실제 사건이 깔려 있다. 2022년 12월 MIT 테크놀로지 리뷰는 아이로봇 룸바 개발 테스트 기기가 촬영한 실내 사진들이 외주 라벨링 업체를 거쳐 소셜미디어 비공개 그룹에 유출된 사실을 보도했다. 화장실에 앉아 있는 여성의 사진도 포함돼 있었다. 카메라를 단 청소로봇이 지고 출발하는 원죄다.

매틱이 온디바이스 처리를 전면에 내세우는 이유가 여기 있다. 회사는 "모든 처리가 기기에서 이뤄지고 집의 네 벽 밖으로 아무것도 나가지 않는다"고 설명해왔다. 다만 이번 8월 13일 공개된 음성 기능에는 그 원칙에 금이 간 부분이 있다. "헤이 매틱"으로 시작하는 음성 명령은 구글 제미나이 클라우드 서버를 거쳐 처리되고 현재는 인터넷 연결이 필요하다. 회사도 인터넷 없이 "이점의 80%"를 내는 로컬 처리를 목표로 잡고 있다고 밝혔다. 온디바이스는 완성된 상태가 아니라 지향점에 가깝다.

그래서 소비자에게 남는 질문은 "카메라가 라이다보다 싸냐"가 아니다. 라이다는 이미 충분히 싸졌다. 질문은 두 개로 좁혀진다. 카메라만 써서 무엇을 더 할 수 있느냐, 그리고 그 카메라가 찍은 우리 집 3D 지도가 어디에 남느냐다.

그래서 무엇이 달라지나

라이다 없는 청소로봇이라는 설계 자체는 신기술이라 보기 어렵다. 매틱의 사례가 흥미로운 건 저가 센서로 원가를 낮추는 실험이 아니라, 집 안을 사진처럼 읽는 지도를 먼저 만들어두면 그 위에서 무엇까지 되는지를 보여주는 실험이라는 점이다. 손으로 가리키면 그 자리로 가는 기능은 라이다 점군만으로는 만들기 어렵다. 사람의 팔이 어디를 향하는지 봐야 방향이 계산되고, 그건 카메라의 일이다.

동시에 카파시가 말한 9의 행진은 청소로봇에도 그대로 적용된다. 시연 영상에서 잘 되는 것과 남의 집 수천 곳에서 잘 되는 것은 다른 문제이고, 그게 매틱이 7년을 쓴 이유이기도 하다. 자율주행에서 아직 결론이 나지 않은 비전온리 논쟁이 가정용 로봇으로 옮겨붙은 지금, 지켜볼 지점은 라이다를 뺐다는 사실 자체가 아니다. 뺀 만큼을 데이터와 연산으로 되사오는 그 계산이 도로가 아닌 거실에서도 맞아떨어지느냐다.