손 추적 모델

손 추적 모델은 카메라로 찍힌 영상을 보고 손이 어디에 있는지, 손가락이 어떤 모양을 하고 있는지를 컴퓨터가 알아내는 기술이다. 사진 속에서 사람 얼굴을 자동으로 찾아 네모 박스를 그려주는 것과 비슷한데, 대상이 얼굴이 아니라 손이고 손가락 관절 하나하나의 위치까지 짚어낸다는 점이 다르다.

예전에는 이런 걸 하려면 장갑에 센서를 달거나 특수 카메라, 별도 하드웨어가 필요했다. 하지만 지금은 노트북이나 스마트폰에 원래 달려 있는 평범한 웹캠 영상만으로도, 소프트웨어가 화면 속 손의 움직임을 계산해낸다. 손을 벌리면 벌어졌다는 것을, 오므리면 오므렸다는 것을 좌표값으로 뽑아내는 셈이다.

이렇게 뽑아낸 손의 위치 정보는 다른 프로그램이 바로 활용할 수 있다. 손이 벌어진 정도를 음량으로, 손의 높낮이를 음높이로 바꾸는 식으로 연결하면 손짓만으로 연주하는 악기도 만들 수 있고, 게임 조작이나 화상회의 중 손동작 인식 같은 데도 같은 원리가 쓰인다.

기사에서는 브라우저 악기 'Air Theremin'을 소개하며 "브라우저의 웹캠 API와 손 추적 모델만으로 같은 경험을 흉내 낼 수 있는 수준까지 왔다"고 설명한다. 예전에는 손 인식을 하려면 전용 센서나 하드웨어가 필요했지만, 지금은 별도 장비 없이 웹캠과 소프트웨어만으로 손의 움직임을 읽어낼 수 있다는 뜻으로 쓰였다.

웹캠이 달린 노트북이나 스마트폰으로 손 추적 기반 웹 서비스나 앱을 열어본 뒤, 카메라 프레임 안에서 손을 벌렸다 오므리거나 좌우로 움직이며 반응 속도와 정확도를 직접 확인해보자. 손을 프레임 밖으로 뺐을 때 인식이 즉시 끊기는지, 조명이 어두울 때도 잘 작동하는지 비교해보면 손 추적 모델의 한계를 체감할 수 있다.