聊聊个人声音定制的开源模型试用

语音合成（Text-to-Speech, TTS）这项技术，说白了就是把文字变成语音信号，输出音频文件，然后由设备朗读出来。听起来很简单，但背后的模型设计其实大有门道。今天要聊的SamBERT，就是达摩院语音实验室在Parallel结构基础上做的一款改良版TTS模型。它在多个关键点上做了针对性优化，直接提升了合成效果和实用性。

具体来说，SamBERT有这几个核心优势：

• Backbone采用Self-Attention-Mechanism（SAM）
  ，模型的建模能力更强了。

• Encoder部分用BERT进行初始化
  ，这样能引入更多文本信息，合成出来的韵律感明显更好。

• Variance Adaptor先对音素级别的韵律（基频、能量、时长）做粗粒度预测
  ，然后通过decoder做帧级别的细粒度建模；特别是在时长预测时，会考虑到它和基频、能量的关联，再结合自回归结构，整体韵律自然度又上了一个台阶。

• Decoder用了PNCA AR-Decoder
  ，天然支持流式合成，对落地部署很友好。

架构图如下：

更详细的技术原理，可以参考魔塔文档^[1]，里面讲得很清楚。这里主要聊实际试用体验，毕竟光看原理不过瘾，上手试试才有感觉。

ModelScope试用

在魔塔社区^[2]上，SamBERT的创空间和模型库都开放了，文档写得也很详细，按着步骤来就行。每个新用户都有免费GPU试用名额，完全够玩一圈。

选择的场景是个人声音定制：进创空间，录几段声音，开始训练，然后合成语音。实际测试下来，合成效果确实不错，声音自然度挺高，日常场景够用。当然，长上下文和方言等复杂场景下，目前还有些限制，这个也正常。

私有化搭建

模型库「SambertHifigan个性化语音合成-中文-预训练-24k」^[3]支持私有化部署。对简单业务场景或个人试玩来说，直接在服务器上搭建很实用。模型库介绍已经非常详尽，按流程走就能完成部署和微调。

写在结尾

如果业务场景要求不是特别高、逻辑也不复杂，强烈建议去ModelScope上找找开源模型，然后私有化部署。之前遇到过好几个场景，都是在ModelScope上找模型直接搭建使用。现在机器学习、深度学习、神经网络这些人工智能算法应用越来越普及，完全可以考虑把它们融入业务场景中，而不只是停留在增删改查。闲下来时，翻翻模型原理，也是一种不错的提升。