METAL

TypeSafe 发布决策模型 Jev

参与过 ChatGPT 研究的迪奥戈·阿尔梅达创办的 TypeSafe AI 于9月15日推出 Jev,这是一个不生成文字、只返回决策的模型。四天后 Vercel 称其为自家网关史上采用最快的模型。

TypeSafe 发布决策模型 Jev

图片:METAL

摘要

  • TypeSafe AI 于9月15日公开了被其称为"系统一模型"这一类别的首个模型 Jev。
  • 输入每百万词元 0.042 美元,输出词元免费,响应时间在 70 至 500 毫秒之间。
  • Vercel 表示,上线 24 小时后约 13% 的付费团队在使用 Jev,是其网关史上最快的采用速度。

迪奥戈·阿尔梅达是打造 ChatGPT 的研究者之一。他在 OpenAI 建立了让语言模型听懂并遵循人类指令的方法,这项研究最终通向 ChatGPT,但他说自己对结果感到失望。据报道,他说:"我们把闪电装进了瓶子,却用不上它。"两年前他离开公司创办的 TypeSafe AI,于9月15日推出的模型 Jev 正源自那份失望。这是一个不生成文字、只返回决策的模型。

上线第四天,Vercel 宣布 Jev 成为其 AI Gateway 史上采用最快的模型。上线 24 小时内使用它的付费团队数量是此前任何模型的两倍以上,12 小时内就超过了所有对比模型,到第 24 小时约有 13% 的付费团队在使用。Vercel 写道,这一数字是 GPT-5.6 系列的两倍,超过 Fable 5.1 份额的六倍。近期上线的其他模型即便过了一整天也未能达到 7%。

Jev 所做的事是做选择。应用程序发来状态与一组问题,模型并行评估这些问题,返回选项、分数或真假判断,并附带概率。选项最多可达 255 个,答案不能越出事先定好的格式。也就是说,在四个工具中选一个的智能体,不可能凭空造出第五个。

价格最能说明这个模型的性格。输入每百万词元 0.042 美元,输出词元免费。公司公告把现有语言模型的输入价格列为每百万词元 0.20 至 10 美元,输出约为输入的五倍。响应时间在 70 至 500 毫秒之间,而公告对比的前沿模型端到端响应时间为 3 秒至 329 秒。

阿尔梅达在公告开头写道:"模型在对话上超越人类已有数年,那么自动化都去哪儿了。"他给出的答案是优化目标错位了。为擅长人类语言而训练的模型,在与人交谈时很强,一旦进入代码就成了瓶颈。TypeSafe 把新的训练方法命名为面向校准决策的强化学习,并表示训练数据全部是自己生成的合成数据。

连名字都来自经济学。Jev 取自19世纪经济学家威廉·斯坦利·杰文斯,公司把他那条"煤越便宜、消耗越多"的悖论直接套用到智能上。模型类别的名称"系统一模型"则来自丹尼尔·卡尼曼对快速直觉思考与缓慢审慎思考的区分。公司给出的前提是,智能的价格每下降一个数量级,用途就会成倍增加。

来自一线的数字正在检验这个前提。据报道,Vercel 软件工程师普拉尼特·夏尔马表示,把检查命令安全性的分类器从原有语言模型换成 Jev 后,结果快了 5 到 18 倍,准确度也有提升。Bryo AI 首席技术官尼基尔·穆德霍尔卡说,在工作邮件分类上 Gemini 略微更准,但成本高出 10 到 20 倍,并称 Jev"是唯一会返回真实概率的模型,非常适合工作流自动化"。一位开发者把此前搁置等待人工复核的 9,081 条商品比对,用 13 分钟、32 美分处理完毕。

返回概率这一设计改变了判断责任的位置。开发开源模型框架的 Earendil 首席技术官阿明·罗纳赫说:"说到底,这把幻觉问题稍微转嫁给了用户。"他解释道,返回 50% 的答案就当作抛硬币丢掉,到了 95% 就可以据此做事。由于置信度被校准为与准确率同步,阈值以上由代码自行处理,阈值以下交给人,这正是公司设计的运作方式。

公司提出的快 193.6 倍、便宜 444.6 倍的数字来自其自有的工作流评测。公告写明,参考答案取 GPT-6 Astra 与 Fable 5.1 的平均值,因此结果偏向这两家公司的模型;评测任务由自家模型能力团队的成员编写,可能存在偏差。公告还注明,速度是在笔记本电脑上针对其位于美国西海岸的服务测得的。

资金也已到位。据报道,由 DCVC 领投的 4,000 万美元种子轮支持了阿尔梅达与联合创始人埃里克·加夫尼、萨沙·盛;DCVC 普通合伙人詹姆斯·哈迪曼把这笔投资描述为把强大的模型变成开发者可以嵌入产品的部件。三天之内 Vercel、Cloudflare、LangChain 与 Langfuse 相继接入,需求之大甚至让公司一度无法通过 API 接待用户。

智能体调用语言模型的那个环节,早就被标上了价格。METAL 曾报道约书亚·本吉奥对 AI 智能体说谎与合谋成因的分析,而其中相当一部分风险来自模型可以把任何东西写成文字。METAL 查证的 TypeSafe 公告称,越出格式在数学上不可能发生,代价则是彻底放弃生成文字的能力。

现在的问题已不是 Jev 有多快。Vercel 在写下首日采用超过近期任何一次发布的同时,也补充说下一场考验是这份采用能否持续。价格已趋近于零的判断会被软件接管到什么程度,以及判断出错时由谁负责,都还没有写在概率数字旁边。

评论