阿里通义实验室语音团队今日宣布推出两款革命性的语音生成模型:Fun-CosyVoice3.5 与 Fun-AudioGen-VD。这两款模型最大的亮点在于支持“FreeStyle”指令,用户无需复杂的参数调节,仅需通过一句自然语言描述,即可精准控制声音的表达风格或从零构建复杂的音频场景。

两款模型的功能侧重各有不同:
Fun-CosyVoice3.5:多语种复刻与精细化控制
该模型是此前 CosyVoice 的升级版,核心突破在于对语音表达的“理解力”。
指令式生成:用户可以输入“语气坚定点”、“语速放慢并带点情绪起伏”等指令,模型会实时调整输出效果。
语种扩容:新增支持泰语、印尼语、葡萄牙语及越南语,在13种语言的转写准确率(WER)和音色相似度上保持业内领先。
生僻字优化:通过专项调优,生僻字读错率从15.2% 大幅降至 5.3%。
性能提升:首包延迟降低 35%,极大提升了实时交互场景下的流畅度。
Fun-AudioGen-VD:全场景声音设计
该模型更像是一个“声音导演”,能够根据描述生成“人物 + 场景”的一体化音频。
音色定制:支持指定性别、年龄、口音,甚至细化到“沙哑、磁性、低沉”等特质。
情绪与角色:能够模拟客服、播音员、孩童等角色,甚至能表现出“表面镇定但内心颤抖”等复杂心理状态。
环境沉浸感:支持叠加背景音(如战场轰鸣、咖啡馆喧嚣)和空间特效(如大教堂回声、水下听感),实现全方位的空间模拟。
通义实验室表示,这两款模型的发布将进一步降低高品质语音创作的门槛,为播客、游戏开发、影视后期等领域提供强大的 AI 助力。