CosyVoice是通义实验室依托大规模预训练语言模型，深度融合文本理解和语音生成的新一代生成式语音合成大模型，支持文本至语音的实时流式合成。可以应用于：
智能设备/机器人播报的语音内容，如智能客服机器人、智能音箱、数字人、语音助手等。
音视频创作中需要将文字转为语音播报的场景，如小说阅读、新闻播报、影视解说、剧本配音等。
CosyVoice则专注自然语音生成，支持多语言、音色和情感控制，支持中英日粤韩5种语言的生成，效果显著优于传统语音生成模型。
仅需要3~10s的原始音频，CosyVoice即可生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。而且CosyVoice支持以富文本或自然语言的形式，对生成语音的情感、韵律进行细粒度的控制，生音频在情感表现力上得到明显提升。
CosyVoice是一款基于语音量化编码的语音生成大模型。它对语音进行离散化编码，并依托大模型技术，实现自然流畅的语音生成体验。与传统语音生成技术相比，CosyVoice具有韵律自然、音色逼真等特点。CosyVoice支持多达5种语言，同时还支持以自然语言或富文本形式对生成语音进行情感等维度的细粒度控制。研究团队提供了基模型CosyVoice-300M、经过SFT微调后的模型CosyVoice-300M-SFT、以及支持细粒度控制的模型CosyVoice-300M-Instruct，可满足不同场景下的使用需求。
通过与原始音频以及最近大火的ChatTTS对比，可以发现CosyVoice的合成音频在内容一致性上更高，并且没有很少存在幻觉额外多字的现象。CosyVoice很好地建模了合成文本中的语义信息，达到了与人类发音人相当的水平。此外，通过对合成音频进行重打分，能够进一步降低识别的错误率，甚至在内容一致性和说话人相似度上超越人类。（文件包有预合成演示音频，可自行听取）
使用说明
1.选择推理模式
2.点击骰子按钮(可选)，可以改变说话人的语调和韵律
3.按照提示步骤进行操作
稍微等待一下，程序就处理完毕了，可以在页面底部的输出音频界面播放和下载合成后的语音
注意事项
①项目安装路径不要包含中文
②推荐使用GTX1060以上显卡运行此项目
③使用过程中若不慎关闭软件后台，请重新打开，并刷新网页
更新内容：
1、新增手动选择参考音频列表
将需要克隆的参考音频拷贝到软件根目录下的 “参考音频” 文件夹，并将文件名改名为音频说话内容，如下图
点击“刷新参考音频”即可。
2、自定义音色保存
克隆音色生成后，在下方输入音色名称，保存即可。如上图。
比如我们将克隆后的“大幂幂”的音色保存下来，这里输入 大幂幂
保存后，点这里的“刷新新增音色”
即可在新增音色里找到我们刚才克隆的“大幂幂”的音色
后期需要使用这个音色生成音频，就直接在这里选择“大幂幂”即可。
项目地址：https://gitee.com/youkuanghua/CosyVoice
阿里官方API接口详情：
https://help.aliyun.com/zh/model ... .0.0.56f01751Ke29mh
评论(0)