作者引入了新的人工智能模型和升级的工具来控制代币成本

在整个人工智能行业,用户越来越意识到他们的部署成本有多高,并感受到削减成本的新紧迫性。但是,尽管开源模型的单位代币成本显着降低,但很难找到适合特定工作的正确模型。
周四,为营销人员提供人工智能工具和代理的Writer推出了一款名为Palmyra X6的新旗舰机型,旨在为用户解决这一问题。作为Z.ai开源模型GLM-5.2的训练后变体,Writer表示新系统应该以低得多的价格提供部署就绪的功能。该公司估计,新模型与公司利用基础设施的变化相结合,将为客户的基本任务成本降低多达50%。
与新车型一起,该公司还对其标准代理安全带进行了重大升级。这两项功能将从周四开始向Writer客户开放。
“我认为企业已经厌倦了追逐下一个基准,”CEOMay Habib告诉TechCrunch。 “他们想要压平成本,但似乎没有人能做到这一点。”
新方法特别强调复杂的多步骤任务,执行速度更快,并且使用的令牌更少。 Writer认为线束优化是实现这一目标的关键杠杆。
Writer研究人员最近发表的一篇论文证实了这种方法,测试了多个不同模型中线束效率的微小变化。研究发现,在许多情况下,改变线束是比选择型号更可靠的降低成本的方法,在测试中成本平均下降了40%。
研究人员写道:“线束是一个组件,其效率在组织当前和未来运行的每个模型中都会成倍增加。”
对于Writer的客户来说,体验仍然与模型无关:Palmyra X6将与其他Writer模型或通过Azure或Amazon Bedrock导入的外部模型并存。但哈比卜也认为,削减成本的努力会导致人们对主要人工智能实验室产生更广泛的不信任,因为这些实验室有经济动机来推动代币的使用。
Habib告诉TechCrunch:“这里的成本爆炸对于客户来说是前所未有的,首席信息官放弃实验室的程度也是如此。”他补充说,人工智能实验室“没有深入了解如何帮助企业从人工智能中受益。”