初创公司Gimlet Labs正在以一种令人惊讶的优雅方式解决人工智能推理瓶颈

斯坦福大学兼职教授、成功退出的创始人Zain Asgar刚刚为一家初创公司筹集了8000万美元的A轮融资，该公司以精明的方式解决了人工智能推理瓶颈问题。此轮融资由Menlo Ventures领投。

该公司GimletLabs创建了据称是第一个也是唯一一个“多芯片推理云”的软件，该软件允许人工智能工作负载在不同类型的硬件上同时运行。它可以将AI应用程序的工作分配到传统CPU和经过AI调优的GPU以及高内存系统上。

“我们基本上会运行任何可用的不同硬件，”Asgar告诉TechCrunch。

单个代理可以将多个步骤链接在一起，每个步骤“需要不同的硬件：推理受计算限制；解码受内存限制；工具调用受网络限制”，主要投资者Menlo的Tim Tully在一篇有关融资的博客文章中写道。

目前还没有芯片可以做到这一切，但随着新硬件的推出，以及老化GPU的重新部署，“多芯片组已经准备好了——只是缺少让它工作的软件层。”这就是Tully相信GimletLabs所提供的。

如果当前部署更多计算的趋势持续下去，麦肯锡估计，到2030年，数据中心支出将达到近7万亿美元。Asgar表示，应用程序仅在“15% 到30%”的时间内使用已部署的现有硬件。

“另一种思考方式是：你浪费了数千亿美元，因为你只是留下了闲置资源，”他说。 “我们的目标基本上是想办法弄清楚如何使AI工作负载的效率比以往提高10倍。”