语音模型也能freestyle！阿里新模型可定制角色、模拟背景音
来源:互联网 更新时间:2026-03-02 18:32
3月2日消息，
今日，阿里发布两款语音新模型，基于参考音频的声音克隆模型Fun-CosyVoice3.5、无参考音频的音色设计模型Fun-AudioGen-VD。
据介绍，
两款模型均引入了强大的“指令遵循”能力，自由控制声音的情感、语速、场景等。
其可用freestyle（自由风格模式）定制角色，适用于有声书、游戏、客服、播客、教育、直播等多个场景。
值得注意的是，两款模型在同尺寸模型的基准评测中斩获多项SOTA。
在Seed-TTS基准测试的中文“困难案例”指标中，Fun-CosyVoice3.5表现抢眼，词错误率(Word Error Rate,WER)和说话人相似度(Speaker Similarity,SSIM)均为最佳。
同时，因为优化了“困难案例”的发音，生僻字句错率由15.2%降低到5.3%。
其中，Fun-CosyVoice3.5支持freestyle指令控制，解决了传统克隆模型只会模仿不能指定角色的痛点。
Fun-AudioGen-VD专注“从无到有”的音色设计。在指令遵循能力和可控性的Instruct-TTS基准测试中超过gemini2.5-pro和gpt-4o-mini-tts。
该模型不仅能根据描述定制音色和情感，还能同步模拟复杂的听觉环境，实现“人物+场景”的一体化。
在强化学习中，两款模型通过使用DiffRO和GRPO，增加了时长和韵律多通道的奖励。
此外，Fun-CosyVoice3.5所用的tokenizer帧率减半，提高训练效率，且首包延迟降低35%，大幅提升了实时交互体验。
即日起，用户可在阿里云百炼调用这两款最新模型。
-
洛克王国世界可以联机吗
-
做出个半成品？实测百度龙虾App“红手指”：58元月费，买不来一杯奶茶
-
洛克王国世界倍速孵蛋怎么弄
-
洛克王国世界魔法师晋升任务攻略
-
舞力全开派对新手入门怎么玩
-
安卓应用市场下载入口在哪
-
2026年最受欢迎的VR游戏推荐：经典流行VR手游排行榜
-
新作《八方旅人0》助力 系列总销量突破700万
-
异人之下张楚岚有什么技能
-
报道：韩国称正与伊朗沟通 效仿日本做法
-
微软公布Windows 11 25H2/26H2性能优化计划 重点提升系统流畅度与文件管理效率
-
2026年精选数学思维训练游戏推荐：提升逻辑与计算能力的优质益智游戏合集
-
明日方舟终末地安桩不易任务攻略
-
全民奇迹在哪刷材料
-
火爆的二次元养成游戏有哪几个 耐玩的二次元养成手游推荐合集2026
-
山姆部分产品大降价：一开门就有代购来疯抢
-
2025年最新游戏排行榜：高口碑优质单机与热门大作推荐
-
小米Vision GT概念车：座舱设计如水滴，支持“人车家”联动
-
《卡厄思梦境》点燃直觉玩法介绍
-
《生化危机9 安魂曲》野心挂件获取方法，隐藏buff解锁攻略
-
1 万达电商商标被阿里巴巴抢注是怎么回事_真的吗 02-12
-
2 阿里巴巴客服认证考试入口在哪？阿里巴巴售前咨询技巧考试答案 02-12
-
5 美国突然拉黑78家中国企业：阿里、百度、360、比亚迪在列 02-14
-
6 乘胜追击！千问大免单再加3天 邀请全国人民体验AI买电影票、门票 02-14
-
7 阿里投入超30亿没白花！千问总裁：效果远超预期 后期上线新功能 02-15
-
8 阿里千问：过去11天 用户一共说了50亿次“千问帮我” 02-17
-
9 “一句话下单”2亿次：“千问帮我”成马年春节新年俗 02-24
-
10 诚恳认错坚决不改 为什么AI总扯谎：原因揭开 02-24
