smartARM 公开搭载 DINOv2 的仿生手臂原型

摘要

手掌摄像头和 DINOv2 负责识别物体并选择抓握方式，用户不必再手动切换手型。
Meta AI 眼镜和 Wearables Device Access Toolkit 补充第一人称视角数据，用户通过手机应用添加新物体。
2018 年赢得 Imagine Cup 时，大脑是 Azure 云；八年后换成了开源视觉模型。

Canadian Start-up smartARM Uses AI to Create Intuitive Bionic Prosthetics

Shaquem Griffin 曾用一只手在 NFL 赛场上奔跑。在 9 月 16 日 Meta 新闻室发布的这段 2 分 29 秒的视频里，他开口第一句是个玩笑：有两只手的人应该心怀感激。视频中，他戴着多伦多初创公司 smartARM 的仿生手臂拿起水瓶喝水，最后用假肢和另一只手比出一个心形。Meta 把这个案例放上加拿大新闻室，是因为这条手臂运行在 Meta 的开源视觉模型 DINOv2 和 Meta AI 眼镜之上。

smartARM 是一款手掌内嵌摄像头、以视觉为先的仿生手臂原型。据公司介绍，现有的多数假肢要求用户针对每件物品手动切换手型，先拿杯子再拿勺子这样自然的动作会被拆成好几步。smartARM 让装在手臂上的摄像头观察周围环境并自行选择适合物体的抓握方式，把这些步骤去掉了。据报道，常规的肌电假肢依靠贴在残肢肌肉上的表面肌电传感器读取特定肌群的电信号来触发预设抓握，学会在不同抓握模式之间切换需要持续集中注意力，肌肉疲劳或出汗还会干扰信号的准确性。

识别物体的眼睛是 DINOv2。据 Meta 介绍，smartARM 用这款开源视觉模型只看几张参考照片就能识别日常物品，并把结果交给抓握选择软件。由于它直接读取物体的视觉特征来抓取，不需要先验知识或额外编程，过去可能要花几周的新物体适应，如今几张照片就几乎即时完成。视频中，smartARM 创始人兼 CEO Hamayal Choudhry 解释说，用户在 smartARM 应用里拍两三张照片，DINOv2 就会找出图像之间的相似之处并推算出最合适的抓握方式。METAL 曾报道过 Generalist AI 用三秒演示就能教机器人学会新任务的模型，smartARM 用几张照片教会新物体的做法走的是同一个方向。

Meta AI 眼镜是可选的附加设备。据公司介绍，smartARM 通过 Meta AI 眼镜和 Meta Wearables Device Access Toolkit 获取用户视线高度的第一人称视角数据，扩展物体识别和理解能力。仅靠手掌摄像头，缺少用户想抓什么的上下文，眼镜正好补上这一层。用户可以通过手机上的设备应用添加新物体，整个 smartARM 社区都能按各自的日常需求个性化自己的假肢。视频中 Choudhry 说，眼镜在商店买来，和 smartARM 应用配对就行。METAL 曾报道过推出无摄像头 AI 眼镜的 RayNeo，smartARM 则反过来把眼镜的摄像头当作假肢的第二只眼睛。

Shaquem Griffin 在工作室里用 smartARM 仿生手臂握着一个魔方，Hamayal Choudhry 在一旁观看 — 图片：Meta

这家公司的眼睛从一开始就是摄像头。据微软官方博客，smartARM 在 2018 年 Imagine Cup 世界总决赛中击败来自 33 个国家的 49 支队伍夺冠，当时的原型同样是在手掌里装摄像头、识别物体并计算合适抓握方式的机器人手假肢。不过那时的大脑是 Azure Computer Vision、机器学习和云存储，用得越多越准确。获胜团队得到了与微软 CEO Satya Nadella 的辅导机会、85,000 美元现金和价值 50,000 美元的 Azure 资助。据微软加拿大新闻中心，公司起源于 2018 年 Hamayal Choudhry 与患有先天性肢体差异的朋友 Sekai Trudy 的一次对话，出发点是市场上的一个空白：人们不得不在买得起的假肢和真正好用的假肢之间二选一。用 3D 打印压低价格、缩短等待时间的目标也是那时定下的，它成了第一家赢得 Imagine Cup 的加拿大机构。八年间，大脑从云端 API 换成了开源视觉模型。

Griffin 与 smartARM 的缘分也不是第一次。微软加拿大新闻中心 2023 年报道，他一直找不到适合自己的假肢，直到遇见联合创始人 Hamayal 和 Evan，并与他们一起打造属于自己的 smartARM。Meta 这次的介绍把他称为 smartARM 的长期用户和前 NFL 球员。Griffin 说："在这里面的所有技术中，对我最重要的是可扩展性和可及性。这就是消费级假肢的未来。"视频里他回忆，小时候父亲为了让他能举杠铃而亲手做的工具，就是他所知道的假肢的全部，他甚至不知道还有能做日常动作的假肢。他说自己从不知道用两只手购物是多大的事，这条手臂让他建立了自信，感觉找到了重心。

Choudhry 说："造出一只能用的手只是挑战的一部分。让它用起来直观同样重要。"他接着说："通过帮助手臂识别日常物品并选择合适的抓握方式，我们正在朝着这样一种体验努力：人们可以更专注于自己想做的事，而不是怎么操作假肢。"Meta 表示，这条手臂第一次尝试就能用，不需要额外训练。据报道，公司还希望通过依托开源软件和市售可穿戴硬件来降低昂贵仿生假肢的成本门槛，并结合轻量化模块制造方式，继续在真实环境中测试原型，为更大范围的推出做准备。

METAL 查看的视频是 Meta 新闻室放在自有 CDN 上的 2 分 29 秒版本，从 Griffin 的自我介绍、Choudhry 的演示、拿起水瓶喝水的场景，到戴上眼镜登记物体的场景依次展开。METAL 曾报道过 Meta 在全球推出订阅服务 Meta One 并把 AI 功能打包出售。在这股潮流的另一侧，Meta 把自己的视觉模型开源，并向外部开发者开放眼镜的摄像头，让多伦多的一家小公司做出了假肢的眼睛。大公司开放平台，小公司在上面做出贴身之物，这样的结构就装在 smartARM 的这一条手臂里。

展开更多