SL2T

SL2T는 카메라 앞에서 손으로 하는 수어를 실시간으로 글자로 바꿔주는 모델이다. 마치 손짓을 알아듣는 통역사가 옆에 앉아, 사람이 손과 몸으로 말하는 문장을 즉시 받아 적어주는 것과 비슷하다.

수어는 손 모양만으로 이루어지지 않는다. 손의 위치와 방향, 몸의 기울기, 눈썹과 입 모양 같은 표정까지 한꺼번에 문법 요소로 작동한다. 그래서 SL2T는 손 모양 하나만 인식하는 게 아니라 손과 몸, 얼굴의 움직임을 통째로 함께 학습해, 이 복합적인 신호를 하나의 문장으로 엮어낸다.

개인정보를 지키기 위해 처리 방식도 둘로 나뉜다. 손과 몸의 움직임을 추적하는 작업은 기기 안에서 끝내고, 이를 실제 문장으로 옮기는 무거운 계산만 서버로 보낸다. 이렇게 만들어진 결과는 구글 픽셀11의 키보드 자판과 실시간 자막 기능에 먼저 적용됐다.

기사에서는 "구글 딥마인드가 공개한 수어 인식 모델 SL2T도 손의 움직임을 기기 내부에서 추적하고, 이를 텍스트로 바꾸는 계산만 서버에서 처리하는 구조를 택했다"처럼 다른 온디바이스 기술과 비교하는 사례로 자주 언급된다. 흔히 오해하듯 손 모양만 인식하는 것이 아니라, 몸의 기울기와 표정까지 함께 읽어 문장을 만든다는 점이 핵심이다.

1. 미국식 수어(ASL)를 지원하는 픽셀11의 키보드 앱이나 실시간 자막 기능을 연다.
2. 카메라 앞에서 전하고 싶은 문장을 수어로 표현한다.
3. 화면에 뜨는 자동완성 후보 중 의도한 문장을 선택해 입력을 완성한다.
4. 대화 상대의 음성이나 화면 속 말을 실시간 자막으로 확인해본다.