
이미지: 영상 갈무리
요약
- 구글 리서치는 11월 16일 시각장애인·저시력인용 거리 이미지 탐색 앱 StreetReaderAI를 Apache 2.0 오픈소스로 GitHub에 공개했다.
- 공개판은 Panoramax와 오픈스트리트맵, gemini-3.5-flash-lite를 기본으로 써서 유료 API 없이 구글 AI 스튜디오에서 돌아간다.
- UIST 2025 연구판은 시각장애인 11명 시험에서 질문 816건 중 86.3%를 맞혔고 쓸모 평가는 7점 만점에 6.4점이었다.
- 공개
- 2026년 11월 16일(미국 시간) · @GoogleResearch X 게시물 · GitHub research-ground/streetreaderAI · Apache 2.0
- 대상
- 시각장애인·저시력(BLV) 사용자 · 키보드·음성으로 거리 이미지 이동 · 실시간 설명 · 후속 질문
- 공개판 기본 구성
- 거리 이미지 Panoramax · 도로·장소 오픈스트리트맵 · 모델 gemini-3.5-flash-lite · 구글 AI 스튜디오 무료 등급
- 교체 가능
- OpenAI gpt-5.6-terra · Mapillary · 구글 지도 플랫폼 · 설정 파일 streetreaderai.conf
- 조작
- 위 화살표 약 18m 전진 · 좌우 45도 회전 · 프리셋 파리·암스테르담·리옹·시애틀
- 연구판
- UIST 2025 · AI Describer·AI Chat · 컨텍스트 최대 1,048,576 입력 토큰
- 사용자 시험
- 시각장애인 11명 · 파노라마 350곳 이상 · AI 요청 1,000회 이상 · 쓸모 평균 6.4/7
- 질문 유형
- 917건 분석 · 공간 방향 27.0% · 존재 여부 26.5% · 장면 요약 18.4% · 위치 찾기 14.9%
- 정확도
- 816건 중 정답 703건(86.3%) · 오답 32건(3.9%) · 부분 정답 26건 · 답변 거부 54건
- 스트리트 뷰 규모
- 110개 이상 국가·지역 · 이미지 2,200억 장 이상
구글 리서치가 11월 16일(미국 시간) 시각장애인과 저시력인을 위한 거리 이미지 탐색 앱 StreetReaderAI를 오픈소스로 공개했다. 구글 리서치는 X에서 이 앱이 "시각장애인과 저시력 사용자와 함께, 그들을 위해 만들어졌다"고 밝히고, 사용자가 키보드나 음성으로 거리 이미지를 이동하며 현재 위치의 실시간 설명을 듣고 주변에 대해 이어서 질문할 수 있다고 설명했다. 코드는 Apache 2.0 라이선스로 GitHub에 올라갔고, 내려받아 로컬에서 돌리거나 구글 AI 스튜디오에 불러와 쓸 수 있다.
StreetReaderAI는 처음 나온 프로그램이 아니다. 존 프롤리크 방문 연구원과 숀 케인 연구 과학자는 2025년 10월 29일 구글 리서치 블로그에서 이 시스템을 UIST 2025에서 발표한 개념 증명 시제품으로 소개했다. 두 사람은 지금까지 "스크린 리더는 스트리트 뷰 이미지를 해석하지 못했고 대체 텍스트도 없었다"고 짚었다. 블로그에 따르면 구글 스트리트 뷰에는 110개 이상 국가와 지역에 걸쳐 2,200억 장이 넘는 이미지가 쌓여 있다. 논문은 이 앱을 처음으로 접근성을 갖춘 스트리트 뷰 도구라고 규정했다.
연구판의 중심은 제미나이 기반의 두 하위 시스템이었다. AI Describer는 사용자의 가상 위치에서 받은 지리 정보와 지금 화면에 보이는 거리 이미지를 함께 분석해 음성 설명을 만든다. 보행 안전과 길 찾기에 집중한 기본 모드와, 역사·건축 맥락을 더한 관광 안내 모드가 있다. AI Chat은 구글의 멀티모달 라이브 API를 써서 지금 보는 장면과 앞서 지나온 장면, 주변 지리에 대한 질문에 답한다. 컨텍스트 창은 최대 104만 8,576 입력 토큰으로, 블로그는 이를 입력 이미지 4,000장 이상에 해당한다고 설명했다. 사용자가 버스 정류장을 지나 모퉁이를 돈 뒤 "그 정류장이 어디였지?"라고 물으면 "정류장은 뒤쪽 약 12미터 거리에 있다"고 답하는 식이다.
메탈이 확인한 GitHub 공개판은 연구판과 재료가 다르다. 기본 설정은 거리 이미지에 Panoramax, 도로망·주소 검색·주변 장소에 오픈스트리트맵을 써서 유료 API나 신용카드 없이 구글 AI 스튜디오 무료 등급에서 돌아간다. 기본 모델은 gemini-3.5-flash-lite이고, 설정 파일 streetreaderai.conf에서 다른 제미나이 모델이나 OpenAI의 gpt-5.6-terra로 바꿀 수 있다. 거리 이미지는 Mapillary로, 장소 정보는 구글 지도 플랫폼으로 갈아 끼울 수 있다. API 키는 Node.js 서버에만 남고 브라우저로 넘어가지 않게 짰다.

조작은 1인칭 게임에 가깝다. 위쪽 화살표를 누르면 거리 블록을 따라 약 18미터씩 앞으로 가고, 아래쪽 화살표는 뒤로 돌아서며, 좌우 화살표는 시선을 45도씩 돌린다. 교차로에 서면 "앞쪽은 North 34th Street, 좌우는 Fremont Avenue North"처럼 갈림길 이름을 읽어 주고, 주변 가게와 병원은 앞쪽 왼편·뒤쪽 오른편 같은 사용자 기준 위치로 알려 준다. 장면 설명은 지나가는 차나 날씨가 아니라 도로 구조, 보도, 건물, 고정된 지형지물을 두세 문장으로 다룬다. 파리, 암스테르담, 리옹, 시애틀 네 곳이 숫자 키 1~4번 프리셋으로 들어 있고, 화면 전체를 검게 가리는 스크린 커튼 기능으로 비시각 사용 흐름을 개발자가 직접 체험할 수 있다.
연구팀은 시각장애 스크린 리더 사용자 11명을 실험실로 불러 시험했다. 참가자들은 파노라마 350곳 이상을 방문하며 AI 요청을 1,000회 넘게 보냈고, AI Chat을 AI Describer보다 여섯 배 많이 썼다. 쓸모에 대한 평가는 7점 만점에 평균 6.4점(중앙값 7점)이었다. 질문 917건을 분류하면 물체의 위치와 거리를 묻는 공간 방향 질문이 27.0%, 횡단보도·보도·문 같은 요소가 있는지 묻는 질문이 26.5%, 장면 전체 요약 요청이 18.4%, 가장 가까운 교차로나 문을 찾는 질문이 14.9%였다.
정확도는 질문 816건 가운데 703건(86.3%)이 맞았고 32건(3.9%)이 틀렸다. 26건(3.2%)은 일부만 맞았고 54건(6.6%)은 답을 거부했다. 틀린 답 32건 중 20건은 있는 자전거 거치대를 없다고 하는 식의 누락이었고, 12건은 노란 과속방지턱을 횡단보도로 읽는 식의 오인이었다. 블로그는 참가자들이 방향을 잡는 데 애를 먹거나 AI 답이 참인지, AI가 어디까지 아는지 가늠하기 어려워한 장면도 기록했다. GitHub 문서 역시 이 앱이 "실험적 연구 시제품이며 버그가 있을 가능성이 크다"고 적고, 실서비스용이 아니라 시연용이라고 못 박았다.
연구판은 프롤리크, 알렉산더 피아나카, 니머 자버, 빅터 차란, 케인이 만들었고, 이번 오픈소스판은 케인과 샘 세파, 빌 노이바우어, 필립 넬슨이 다시 짰다. 구글 리서치는 X에서 이 공개가 인간-컴퓨터 상호작용 연구자와 접근성 AI 도구를 만드는 사람들에게 쓸모 있기를 바란다고 밝혔다. 블로그가 다음 과제로 꼽은 것은 사용자가 묻기만 하면 에이전트가 스트리트 뷰를 스스로 돌아다니며 다음 정류장의 벤치와 지붕을 확인해 오는 지리 시각 에이전트, 출발지에서 도착지까지 길을 미리 걸어 보고 장애물과 출입문 위치를 요약하는 경로 계획, 그리고 공간 음향을 쓴 비언어 피드백이다.
메탈은 구글 리서치의 지리공간 추론 에이전트 보고서를 보도한 바 있으며, 이달에는 안티그래비티 팀워크 연구 성과도 전했다. 같은 조직의 지리 AI 연구가 이번에는 누구나 받아 고칠 수 있는 코드로 나온 셈이다.
AI 엔지니어의 눈으로 보면 이번 공개의 무게는 모델보다 배관에 있다. 연구판이 보여 준 86.3%라는 정답률은 구글 스트리트 뷰와 큰 컨텍스트 창 위에서 나온 숫자이고, 공개판은 오픈 거리 이미지와 가벼운 기본 모델로 출발한다. 이미지 공급자, 지도 공급자, 모델을 설정 파일 한 줄씩으로 바꾸게 한 설계는 같은 질문 917건을 다른 조합에서 다시 재 볼 수 있는 실험대를 연구자에게 넘겨준 것이다. 누락이 오답의 62.5%를 차지했다는 결과는 그 실험대에서 가장 먼저 검증할 대목이 무엇인지도 알려 준다.





댓글