카네기멜런대, 사물 AI 다마고치 OATs 공개

카네기멜런대 인간-컴퓨터 상호작용 연구소(HCII)의 Daehwa Kim 연구원과 크리스 해리슨 교수가 화분, 냉장고, 아령 같은 평범한 사물에 다마고치처럼 기분을 드러내는 AI 캐릭터를 붙이는 툴킷 OATs(Object-Agent Twins)를 공개했다. 사물에 붙인 작은 기기가 센서로 상태를 읽으면 구글의 Gemini가 그 상태에 맞는 감정을 고르고, 흑백 전자잉크 화면 속 픽셀 캐릭터가 시무룩해지거나 들뜬다. 물을 오래 못 받은 선인장은 우울한 얼굴을 하다가 물을 주면 기뻐하고, 세워 둔 스케이트보드는 지루해하다가 누군가 올라타면 신이 난다. 연구 결과는 11월 2일부터 5일까지 미국 디트로이트에서 열린 사용자 인터페이스 학회 UIST 2026에서 14쪽 분량의 논문으로 발표됐다.

연구진이 겨냥한 것은 스마트 기기의 알림이 쉽게 무시된다는 문제다. 두 연구자는 논문에서 기존 스마트 사물 인터페이스가 원시 상태와 데이터를 그대로 보여 주는 데 그쳤다고 지적하고, OATs는 사물의 상태를 캐릭터로 표현해 "반복적인 관리를 돌봄으로, 센서 데이터를 표현으로" 바꾼다고 썼다. 출발점은 사람이 사물을 의인화하는 습성이다. 연구진은 다마고치 같은 가상 펫이 몇 가지 욕구와 성격만 드러내도 사람들이 쉽게 애착을 품는다는 점을 근거로 들었다. 다만 다마고치가 가상 세계 속 가상 캐릭터였다면, OATs의 캐릭터는 실제 사물을 대신하는 분신이라는 점이 다르다.

기기 한 대는 와이파이와 블루투스를 지원하는 웨이브셰어의 ESP32-S3 보드 위에 대각선 40mm, 1.54인치 두 색 전자잉크 화면과 1,100mAh 리튬폴리머 배터리를 얹고 3D 프린터로 뽑은 케이스에 담았다. 연구진에 따르면 제작비는 한 대에 20달러가 안 되고, 꽂아 쓰는 외부 센서도 개당 5달러 미만이다. 보드에 기본으로 있는 온도·습도 센서와 소리 크기를 재는 마이크에 더해, 뒷면 단자에 움직임, 물·흙 수분, 빛 세기, 재실 감지 센서를 꽂을 수 있다. 사용자가 고를 수 있는 센서는 모두 7가지다. 논문은 배터리가 센서 구성에 따라 약 1주일 간다고 적었지만, 프로젝트 페이지는 첫 시제품이라 소리 센서 없이 3~4일, 소리 센서를 쓰면 하루 정도라고 밝혔다.

캐릭터를 만드는 데는 프로그래밍이 필요 없다. 사용자는 웹 페이지에서 사물 이름과 종류를 적고, 관련 센서를 고른 뒤, AI가 써 준 좋은 상태와 나쁜 상태의 기준을 손본다. 캐릭터 그림은 구글의 이미지 모델 나노 바나나가 그리고, 행동 기준 초안과 실시간 감정 판단은 Gemini 3 Flash Preview가 맡는다. 감정은 심리학자 러셀의 감정 원형 모형을 따라 12가지로 나눴고, 감정마다 애니메이션 5장에 기본 얼굴과 판단 중임을 알리는 호기심 얼굴까지 더해 그림 62장을 만든다. 그림은 디더링을 거친 1비트 이미지로 바뀌어 장당 약 5KB, 모두 합쳐 약 310KB로 기기의 8MB 플래시 메모리에 들어간다.

배터리를 아끼는 설계가 이 기기의 핵심이다. 기기는 2초마다 깨어나 센서를 읽고, 최근 6초와 60초의 기록에 비해 값이 크게 튈 때만 와이파이에 붙는다. 연구진 측정에 따르면 잠든 상태의 소비 전류는 6.1mA지만, 와이파이에 연결해 데이터를 보내고 감정 답을 받기까지 평균 16초 동안 약 100mA를 쓴다. 이상 신호가 없어도 1시간마다 한 번은 갱신한다. 서버로는 최신 값과 지난 14일의 시간별 평균을 함께 보내고, Gemini가 고른 감정이 돌아오면 화면은 5장짜리 애니메이션을 두 번, 10초 동안 돌린다. 사용자는 웹 페이지에서 캐릭터가 왜 그런 기분인지 짧은 설명도 읽을 수 있다.

메탈이 확인한 4분 2초 분량의 연구진 영상도 이 흐름을 그대로 보여 준다. 기기를 접속점 모드로 켜고 휴대전화로 와이파이 정보를 넣은 뒤, 웹 앱에서 캐릭터와 감정을 생성하고, 재부팅하면 기기가 그림을 내려받아 사물 위에서 깨어난다. 연구진은 영상에서 "평범한 사물을 수동적인 설비에서 관심과 해석과 돌봄을 부르는 가벼운 동반자로 바꿀 수 있다"고 설명했다. 소프트웨어와 하드웨어 설계 파일은 모두 오픈소스로 공개됐고, 누구나 캐릭터 생성 과정을 시험해 볼 수 있는 웹 앱도 열려 있다.

실제 생활에서의 반응은 7일간의 현장 연구로 쟀다. 평균 나이 27.4세의 참가자 12명이 냉장고, 전기주전자, 고양이 화장실, 침대 옆 조명, 침대, 정수기, 커피 머신, 3D 프린터, 아령, 문, 식물 두 개에 OATs를 붙였다. 12명 모두 워크숍에서 평균 15분 만에 캐릭터를 완성했다. 7점 척도 설문에서 만드는 과정이 재미있었다는 응답은 평균 6.8점, 캐릭터가 사물을 잘 그렸다는 응답은 6.6점이었다. 마지막 날에는 계속 갖고 싶다, OATs를 더 두고 싶다는 문항이 모두 6.9점을 받았다. 12명 중 10명이 캐릭터를 귀엽다고 표현했다.

행동이 바뀐 사례도 나왔다. 냉장고에 OATs를 붙인 참가자는 문 쪽 칸이 안쪽보다 덜 차갑다는 것을 알고 채소를 안으로, 간장을 문 쪽으로 옮겼다. 냉장고 OATs 사용자 중에는 "OAT가 화나 있으면 음식이 화난 것처럼 느껴졌다"고 말한 이도 있었다. 아령 참가자는 캐릭터를 기쁘게 하려고 10분짜리 근력 운동을 했다고 밝혔고, 침대 옆 조명 참가자는 캐릭터를 위해 일찍 불을 끄고 잤다. 시험 기간 매일 받은 설문에서 OATs가 사물을 더 생각하게 만든다는 응답은 평균 6.0점이었다. 행동을 바꿨다는 응답은 4.8점으로 중간을 조금 넘었다.

반응이 늘 바람직한 쪽으로 흐른 것은 아니다. 식물을 잊을 때 더 죄책감이 든다는 참가자가 있었고, 정수기 참가자는 물병을 채울 때 일부러 센서에 물을 흘려 정수기를 쓴 것처럼 보이게 했다. 아보카도 화분 참가자는 Gemini가 정한 적정 습도 50~70%를 10~70%로 넓혀 웃는 얼굴을 더 자주 보려 했다. 커피 머신에 붙인 참가자는 자기는 커피 머신에게 도움을 받기만 하니 관계가 한 방향이라며 애착을 덜 느꼈다. 두 연구자는 논문에서 의인화가 데이터를 지나치게 단순하게 만들 수 있고, "처음에는 매력적이던 것이 시간이 지나며 잔소리나 죄책감을 부르는 것이 될 수 있다"고 썼다. 1주일이라는 짧은 기간에 신기함 효과가 섞였을 가능성도 논문이 직접 짚었다.

메탈은 구글의 제미나이 3.8 플래시 공개를 보도한 바 있으며, 이번 연구는 가볍고 빠른 플래시급 모델이 화면 한 장짜리 사물 기기의 두뇌로 쓰이는 사례다. 콘텐츠 마케터의 눈으로 보면 OATs가 증명한 것은 기술보다 감정의 설계다. 같은 냉장고 온도라도 숫자 알림은 지나치고, 찡그린 얼굴에는 반응한다. 연구진이 다음 과제로 꼽은 것도 사물과 대화하는 기능, 냉장고 칸마다 붙인 여러 OATs가 서로 신호를 주고받는 기능, 클라우드 대신 기기 안에서 언어 모델을 돌리는 방식이다. 20달러짜리 화면이 사람의 습관을 움직인 이번 실험은, 사물 인터넷의 다음 경쟁이 정확한 수치보다 사람이 돌보고 싶게 만드는 얼굴에 있음을 보여 준다.