METAL for iPhone

AI 新闻, 现在用 App 阅读。

下载 METAL, 每天发现最新 AI 报道。

在 App Store 下载

iPhone 应用 · 免费下载

也可在 iPhone 的 App Store 中搜索 METAL AI Magazine。

METAL

Baseten, 加入Hugging Face推理服务商行列

Hugging Face Inference Providers新增Baseten

Baseten, 加入Hugging Face推理服务商行列

图片:METAL

摘要

  • 据悉,Baseten已加入Hugging Face的Inference Providers计划
  • 此举预计将使Hugging Face Hub上的模型能够基于Baseten基础设施进行推理
  • 具体支持的模型及定价政策等细节尚未确认

Hugging Face通过其官方博客宣布,已将Baseten加入Inference Providers名单。Inference Providers是一项计划,可将Hugging Face Hub上注册的模型直接对接到外部基础设施提供商的服务器上运行,据悉此次加入后,用户将能够通过Baseten的基础设施使用模型推理服务。

不过,此次公告目前只公开了标题级别的信息,具体哪些模型将通过Baseten提供、定价结构或性能优势如何,均尚未得到确认。通常情况下,新服务商加入Inference Providers计划时,往往会伴随采用vLLM等推理优化技术进行服务,但原文并未说明此次是否应用了相关技术。

据了解,Hugging Face此前已陆续将Together AI、Fireworks AI、Groq等多家推理基础设施企业纳入Inference Providers,Baseten的加入也被视为这一扩张趋势的延续。不过,此次加入具体将为用户体验或成本结构带来哪些变化,仍有待进一步确认。

评论