手部追踪模型
hand tracking model
从摄像头画面中实时识别手的位置和手指形态的AI技术
简单来说
手部追踪模型是一种让计算机通过摄像头画面判断手在哪里、手指呈现什么形态的技术。这与相机自动识别人脸并画出方框的原理类似,不同的是识别对象是手,而且要精确定位到每一个手指关节的位置。
过去要实现这种功能,需要装有传感器的手套、专用摄像头或其他专门硬件。但现在,仅凭笔记本电脑或智能手机自带的普通摄像头画面,软件就能计算出画面中手的动作。手张开时识别为"张开",握拳时识别为"握拳",这些都会被提取为坐标数据。
这样提取出的手部位置信息可以直接被其他程序使用。比如把手张开的程度对应到音量、手的高低对应到音高,就能做出仅靠手势演奏的乐器;同样的原理也被用于游戏操作,或视频会议中的手势识别等场景。
在报道中是这样出现的
文章介绍了浏览器乐器"Air Theremin",并说明"现在仅凭浏览器的摄像头API和手部追踪模型,就已经能够模拟出同样的体验"。这句话的意思是,过去要实现手势识别需要专用传感器或硬件,而现在无需额外设备,仅靠摄像头和软件就能读取手的动作。
亲手试一试
用带摄像头的笔记本电脑或智能手机打开基于手部追踪的网页服务或应用,在摄像头画面范围内张开、握拳或左右移动手,亲自感受一下反应速度和识别精度。再试试把手移出画面看识别是否会立即中断,以及在光线较暗的环境下是否仍能正常工作,这样就能直观体会到手部追踪模型的局限所在。