OpenAI推出首款定制芯片,由Broadcom制造

周三,OpenAI推出了其首款定制推理处理器,该处理器是与Broadcom合作设计和制造的。这款新处理器名为Jalapeo,专为满足OpenAI推理系统的独特需求而设计。该公司表示,OpenAI自己的人工智能模型协助了芯片的开发。
虽然该芯片仍在测试中,OpenAI表示,早期结果显示每瓦性能明显优于当前最先进的替代品。
该合作伙伴关系于10月份正式宣布,但OpenAI的芯片计划长期以来一直被传言是减少公司对Nvidia GPU依赖的一种方式。谷歌和亚马逊都构建了定制芯片来实现类似的目的,通常被称为“AI加速器”——专门为加速机器学习工作负载而设计的芯片。
在宣布与博通合作伙伴关系后不久,OpenAI总裁Greg Brockman在其内部播客中解释了该公司的芯片开发方法。
“我们对工作量有深入的了解,”布罗克曼在节目中说道。 “我们确实一直在寻找服务不足的特定工作负载,[并询问]我们如何构建能够加速实现的东西?”
Jalapeo专为推理而设计,推理是据用户命令运行预构建的人工智能模型的过程。在公告中,OpenAI强调了该芯片在运行实时编码模型时的低运营成本。预训练等性能密集型任务很可能仍将依赖Nvidia硬件,但即使推理成本小幅降低也能大大提高公司的利润。
优化推理系统可能被证明是人工智能未来经济发展的一个关键因素——而且它很可能发生在堆栈的各个层面。 OpenAI已经在构建Codex等代理产品及其驱动模型,以及运行这些模型的数据中心。正如该公司在其公告中所解释的那样,转向专用芯片可以让该公司在这一过程中走得更远。
“OpenAI不仅是开发前沿模型或在其之上构建产品;它还在设计其之下的基础设施:芯片架构、内核、内存系统、网络、调度、部署系统和产品体验,”该公司写道。 “因为OpenAI跨堆栈运行,所以每一层都可以围绕同一目标进行优化:使其模型更快、更可靠、对用户来说更实惠。”