METAL for iPhone

AI 新闻, 现在用 App 阅读。

下载 METAL, 每天发现最新 AI 报道。

在 App Store 下载

iPhone 应用 · 免费下载

也可在 iPhone 的 App Store 中搜索 METAL AI Magazine。

METAL

AI 术语词典ㅌ基础设施与芯片

拓扑感知调度器

topology-aware scheduler

通过掌握GPU和服务器的物理布局与连接结构,将任务分配到最高效位置的调度方式

简单来说

拓扑感知调度器在决定把计算任务放在哪里时,不是简单地找个空位就塞进去,而是会考虑服务器和GPU之间实际的连接方式。这就像在办公室里,把做同一个项目的同事尽量安排坐得近一些,这样开会往返的时间就能减少。因为物理位置相近的GPU之间交换数据的速度要快得多,所以把用于同一任务的GPU尽量集中安排在相近的位置,整体处理速度就会提升。

通常负责分配计算资源的基础管理程序只会检查空位,然后把任务扔进去。而拓扑感知调度器则会同时计算GPU之间的连接结构、各团队预先设定的使用配额,以及实时剩余的资源,据此决定分配方案。因此,即使多个团队共用多台同一物理服务器,各团队的任务也能互不干扰,高效地获得应有的资源份额。

在报道中是这样出现的

文章中提到:"KAI Scheduler是专为AI工作负载设计的拓扑感知调度器,支持按团队设置配额和动态GPU分配。"这里容易产生的误解是,以为它会完全取代Kubernetes的默认调度器,但实际上它是与默认调度器并行运作的结构——只有被特别指定使用该调度器的任务才由它处理,其余任务仍由原有的默认调度器处理。

相关词条

出现过这个词的报道

浏览全部词条