
图片:METAL
摘要
- 10月14日,Google DeepMind与新加坡政府科技局(GovTech)发布了一款端侧诈骗检测模型,该模型以本地诈骗对话对Gemma进行微调而成。
- 在新加坡,诈骗占已报案罪案的一半以上,自2019年以来损失超过40亿新元,社会工程类诈骗占损失的比例高达80%。
- 该模型以轻量分类器加Gemma的两阶段结构减轻电池负担,发布时间以及是否会成为安卓默认功能尚未公布。
Google DeepMind与新加坡政府科技局(GovTech)于10月14日发布了一款在智能手机内运行的诈骗检测模型。该模型以新加坡本地诈骗对话对谷歌的轻量开源模型Gemma进行微调,不把即时通讯对话发送到云端,而是在设备内读取,一旦发现操纵意图,便在转账或分享敏感信息之前发出实时警告。DeepMind表示,该模型经过优化,可在新加坡常见的智能手机上运行。此次发布是在新加坡国际网络周(SICW 2026)上宣布的。
出发点是损失规模。根据DeepMind的公告,诈骗占新加坡已报案罪案的一半以上,自2019年以来累计损失已超过40亿新元。手法也在变化。取代简单网络钓鱼的,是先用逼真的对话笼络受害者再索要钱财的社会工程类诈骗,这类诈骗目前占全部损失的比例高达80%。
AI让这些对话更加逼真。同一天在网络周第二天开幕致辞的新加坡数码发展及新闻部长杨莉明举了今年早些时候的一个案例:一名受害者受邀参加一场看似有总理黄循财及高级官员出席的视频会议。那些面孔都是深度伪造的假象,这位经验丰富的专业人士以为自己在为一项有意义的全球公益事业出力,转出了将近500万新元。杨莉明说:"诈骗者向来利用人的信任。AI改变的是欺骗的成本。"
把模型放在设备内的原因在于加密。过去的威胁检测依靠服务器在云端扫描消息,但采用端到端加密的通讯软件,连运营方也无法查看私人对话。DeepMind解释说,把威胁分析移到终端上,可以更快分析对话模式,让用户在资金或账户信息外泄之前停下来。据报道,该模型实时分析WhatsApp、Telegram等通讯软件中的文字对话,面向安卓用户开发。GovTech信任与安全总监Mark Chen表示:"打击诈骗不应以牺牲个人隐私为代价。"他补充说,这让他们"能够实时拦截高度针对性的本地诈骗企图,同时让个人通讯完全保持私密"。
通用模型难以识别因地区而异的欺骗手法。因此,Gemma用本地诈骗对话重新训练,涵盖冒充公共机构、银行和本地名人的对话,以及在当地流行的诈骗手法。目标是区分普通闲聊与真正的操纵。METAL曾报道谷歌推出用Gemma在设备内运行的离线语音翻译器,这次的模型则是把同一轻量开源模型用作安全警报装置的案例。
电池是下一道关卡。在手机上持续运行复杂的分类器,电量难以支撑。DeepMind把处理分为两个阶段。第一阶段,几乎不耗电的轻量分类器筛查收到的消息,只挑出潜在威胁。第二阶段,经过微调的Gemma读取对话中更大的片段,结合上下文确认威胁或排除误报。
最容易出现法律争议的地方是训练数据。DeepMind公布的治理原则有三项。第一是主权沙箱:微调只在GovTech管理和维护的谷歌云平台(GCP)环境中进行,训练数据被隔离。第二是不使用公民数据:训练排除了私人信息和个人身份信息,只使用来自诈骗举报和情报来源的匿名化数据。第三是压力测试:用合成对话和本地语料测试多种诈骗类型和不断变化的冒充手法。训练被限定在政府管理的环境中,判断则在用户设备上完成,这等于用技术设计回答了"为了获得保护是否必须把对话内容交给他人"这一问题。
该模型叠加在新加坡已在运行的防御网络之上。根据METAL查阅的新加坡网络安全局公开的演讲全文,由GovTech与新加坡警察部队共同开发的诈骗分析与战术干预系统SATIS每天检查超过60万个网站,每个网站只需几秒钟,每月拦截约2万个恶意网站。其范围也已扩大到可疑手机号码和网络平台。警方共享的信息帮助Meta在Facebook和Instagram上删除或限制了将近380万个与诈骗有关的实体、专页和账户。由新加坡发起的《东盟反诈骗政策与最佳实践指南》今年获得成员国认可。杨莉明指出,受害者会从社交媒体转到通讯软件、电话,最后通过金融机构转账,她说:"没有任何一个防御者能看到整条链条。"
这一合作的根源在今年春天。据报道,该模型是Google DeepMind于5月20日宣布的与新加坡政府的国家AI合作伙伴关系的成果,DeepMind在此前一年于新加坡开设了研究实验室。在同一合作框架下,与公共医疗集群探索AI协同诊疗、为视障运动员打造的基于Gemma的跑步辅助工具,以及多语言安全基准研究也在同步推进。DeepMind在X上介绍说:"通过用本地诈骗手法对其进行微调,它能在不损害个人隐私的情况下实时识别威胁。"
剩下的是部署路径。据报道,发布时间尚未公布,是否会成为安卓操作系统的默认功能也不得而知。DeepMind表示,通讯平台和操作系统厂商可以直接集成这些轻量模型,在设备内保护用户。阻止发生在服务器看不到的对话中的犯罪,正在转向终端内部的判断,而这种判断会装进多少部手机,取决于掌握通讯软件和操作系统的公司的选择,而不是政府或模型提供方。





评论