据报道,
核心突破:解决“推理长度停滞”
传统模型在面对数学等复杂问题时,往往难以区分哪些 Token 是通往正确答案的关键。FIPO 算法对此进行了针对性重构:
Future-KL 机制: 引入 Future-KL 策略,专门奖励那些对后续推理有显著积极影响的 Token,让 AI 学会“深谋远虑”。
符号对数概率差: 引入这一新机制来精准捕捉模型的优化方向,避免推理过程陷入无效的循环。
推理长度跨越: 在零基础模型上,FIPO 成功将平均推理长度提升至 10,000 Token 以上,彻底解决了推理深度不足的问题。
战绩斐然:32B 模型逆袭 o1-mini
在实测对比中,搭载 FIPO 算法的 32B 规模模型展现出了惊人的“小钢炮”属性:
反超竞品: 在纯强化学习设置下,其推理性能成功反超同规模模型,甚至在部分指标上优于
数学潜力: 算法在处理高难度数学推理题目时表现尤为出色,展现了极强的逻辑推导潜力。
行业背景:通义实验室的“智能进化”
结语:推理效率的“第二曲线”
当行业还在争论参数规模时,