在现代工业推荐系统中,基于大语言模型(LLM)的“生成式检索(GR)”正逐渐取代传统的嵌入式搜索。然而,这种模式在实际应用中面临一个棘手问题:模型容易“胡言乱语”,生成不存在的商品 ID 或违反库存逻辑。

为了解决这一痛点,Google DeepMind 与 YouTube 的研究团队近日联合发布了名为 STATIC(用于约束解码的稀疏转移矩阵加速 Trie 索引)的全新框架。该技术通过创新的数学方法,将 LLM 的约束解码速度提升了惊人的 948倍

image.png

核心技术突破:

  • 变“树”为“阵”:传统的约束校验依赖前缀树(Trie),但在 GPU/TPU 等硬件上运行效率极低。STATIC 将复杂的树状结构扁平化为静态压缩稀疏行(CSR)矩阵,使校验过程转化为硬件极其擅长的向量化运算。

  • 极致响应速度:在30亿参数模型的测试中,STATIC 的单步延迟仅为 0.033毫秒。相比传统的 CPU 检索方案,速度提升了近千倍;相比现有的硬件加速方案,也有超过40倍的领先。

  • YouTube 实测大捷:该技术已在 YouTube 视频推荐中上线,用于确保推荐内容符合“近7天新鲜度”等业务约束。实测显示,新鲜视频的播放量提升了 5.1%,点击率(CTR)也实现了显著增长。

此外,STATIC 还解决了生成式检索在“冷启动”阶段的短板。通过精准的解码约束,模型在推荐从未见过的全新商品时,准确率实现了零的突破。