微软正在探索如何利用其AMD GPU的“技术栈”来处理推理工作负载，该公司正在开发能够将英伟达（NVIDIA）CUDA模型转换为支持ROCm代码的工具包。
微软发现推理需求远超训练需求，这使得AMD的人工智能芯片更具吸引力。
英伟达能够保持其在人工智能领域主导地位的原因之一，在于其拥有健全的CUDA软件生态系统，这是AMD等竞争对手目前无法匹敌的。虽然业界已致力于实现软件栈的跨平台支持，但尚未出现成为主流解决方案的产品。不过，据一位微软高级员工透露，这家科技巨头已开发出“工具包”，可通过将CUDA代码转换为兼容ROCm的版本，实现在AMD GPU上运行。
打破CUDA的垄断并非易事，其软件生态系统已深度融入人工智能产业，即便在中国等国家也近乎无处不在。然而，该员工提及的微软工具包很可能采用了市场上已存在一段时间的实现路径。实现CUDA到ROCm转换的一种方式是通过运行时兼容层，该层能将CUDA API调用转换为ROCm，而无需完全重写源代码。ZLUDA工具就是典型案例，它能拦截CUDA调用并转换为ROCm，且无需完整重新编译。
由于ROCm仍是相对“不成熟”的软件栈，CUDA中的部分API调用或代码片段在AMD软件中缺乏对应映射，这可能导致性能严重下降——在大型数据中心环境中属于高风险问题。另一种可能的工具包变体或是与Azure云平台集成的端到端迁移工具，同时面向AMD与英伟达实例。当然，大规模转换确实会带来问题，但就目前来看，微软开发的工具包似乎仍处于有限使用阶段。
微软推进“软件转换”计划的根本原因，在于其观察到推理工作负载正在持续增长。公司正在寻求更具成本效益的解决方案，这正是AMD人工智能芯片的价值所在——它们是目前唯一能对标“昂贵”的英伟达GPU的替代品。鉴于推理环境中无法回避CUDA模型，将其转换为ROCm便成为微软的关键突破方向。
