软银的最新举措聚焦于通过一种听起来非常有趣的“GPU分区”机制,让AMD Instinct AI芯片在处理AI工作负载时变得强大得多。

Cover Image

鉴于近期所有目光都聚焦在英伟达(NVIDIA)身上,尤其是在Blackwell系列发布之后,AMD的AI基础设施近来并非超大规模企业的首选方案。当我们谈论AMD的核心客户时,软银是一个多次出现的名字,而这一次,其技术部门推出了一些相当有趣的东西。根据软银最近的博客文章,他们已将一款编排器AMDInstinct AI芯片配对,其理念是根据工作负载强度和可用性来分配计算资源。

通过与AMD合作,软银开发了一项增强的编排器功能,该功能利用了AMD Instinct™ GPUGPU分区能力,允许将单个GPU用作多个逻辑设备。此功能允许根据AI应用的需求(例如模型大小和并发性)灵活且最优地分配GPU资源

深入技术细节,软银编排器专注于AMD Instinct GPU内部的计算分配,通过在运行于独立加速器复合芯片(XCD)上的多个GPU实例基础上隔离工作负载来实现。你可以拥有单个实例(SPX模式),也可以运行多达八个实例(CPX模式),每种配置都提高了粒度级别。除了XCD划分,编排器还利用了AMD的高容量内存能力,将其划分为每个GPU实例的独立HBM区域

软银旨在通过其编排器实现对计算资源更底层的控制,同时确保存在严格的硬件级隔离,以防止不可预测的延迟峰值。该公司尚未分享任何性能数据,但他们确实提到了“最优资源分配”,这在SLMMLM工作负载中更为有效。软银还计划为其他AI加速器探索此类编排器,但目前,该实现仅限于AMD平台。


文章标签: #软银 #AMD #GPU分区 #AI芯片 #编排器

负责编辑

  菠萝老师先生 

  让你的每一个瞬间都充满意义地生活,因为在生命的尽头,衡量的不是你活了多少年,而是你如何度过这些年。