Kimi K3,推理服务商基准测试中Together AI位居第一梯队

Moonshot AI公布了将自家模型Kimi K3在多家主要推理基础设施提供商上进行基准测试的结果。Together AI通过其官方X账号表示,在此次基准测试中,4个项目中有3项排名第一或并列第一。

服务阶段质量保持是关键

Together AI在介绍此次结果时传达了这样的信息:"在将模型投入生产环境时,我们希望评估阶段的质量能够原样延续到服务栈中。"这被解读为强调了不仅模型本身的性能,实际部署环境中推理基础设施的质量也会直接影响最终用户体验。

此次发布并未明确说明具体使用了哪些基准测试项目,以及对比对象是哪些其他推理服务商。不过,鉴于Moonshot AI亲自对多家服务商的Kimi K3服务性能进行了验证,这可以视为一个案例,表明即便是同一模型,根据基础设施的不同,实际质量也可能出现差异。

据悉,此次基准测试结果的公布,是Together AI为在大型语言模型推理服务市场上宣传自身基础设施竞争力而进行的。