标签

vllm-inference

同一AI模型在不同推理服务商间速度相差15倍

Artificial Analysis将于8月12日在旧金山举办活动,探讨推理服务商之间的速度差距

作者 김현국2026.08.11

教师模型logits预缓存与内存高效KL损失结合,单张GPU即可实现长上下文蒸馏

作者 김현국2026.08.10

KAI调度器与vCluster组合，让多个团队像使用独立集群一样共享同一块GPU

作者 김현국2026.08.09

Hugging Face Inference Providers新增Baseten

作者 김현국2026.08.09

Moonshot AI在主要推理服务上测试Kimi K3的结果显示,Together AI在4项基准测试中有3项排名第一或并列第一

作者 김현국2026.08.09

将政策转化为文本问题、无需重新训练即可调整内容审核标准的轻量模型

作者 김현국2026.08.09

vLLM表示Simon Mo在访谈中谈及day-zero支持、许可变化及推理技术走向

作者 김현국2026.08.09

已经是最后一篇了。