歌声合成:工作原理与局限性
了解歌声合成如何将歌词和音符转化为歌唱音频,训练数据和声码器控制着什么,以及它目前仍存在的不足之处。

你写好了一段旋律,为它配上了歌词,并加载了一个合成歌手。第一次播放令人鼓舞,直到一个词语匆匆掠过,一个长音变得生硬,副歌听起来却异常平淡。这些问题未必有相同的原因。了解每个问题在信号链中的出现位置,能让修复人声变得不再是盲目猜测。
目录
- 什么是歌唱语音合成及其起源
- 歌唱语音合成系统如何将乐谱转化为声音
- 为什么训练数据决定了歌唱声音的质量
- 声学模型和声码器决定了质量的优劣
- 如何评判歌唱语音合成系统
- 实际应用、局限性与文化差异
- 在构建或购买歌唱模型前确认权利
什么是歌声合成及其起源
歌声合成 (SVS) 根据歌词、带有音高和时长的音符序列,以及(在许多系统中)选定的歌手身份来生成歌唱音频。假设你是一位词曲作者,已经完成了旋律,但没有可用的歌手。你可以输入音符和歌词,听听人声部分如何与你的编曲契合。
这不仅仅是带有音乐伴奏的语音合成。一个口语句子需要可信的措辞,但一个歌唱句子还必须遵循音乐音高、延长元音,并将辅音放置在节拍周围。在对话中可以接受的音节,当被拉长到一个长音符上时,听起来可能会很别扭。
从录制片段到学习型声音
早期的方法使用规则和信号处理,随后是组装录制人声单元的系统。统计和神经网络方法随后学习了歌词、音乐指令和声学输出之间的关系,而不仅仅是依靠拼接片段。
根据 雅马哈对 VOCALOID 开发的描述,该项目于 2000 年 2 月 通过与巴塞罗那庞培法布拉大学的 DAISY 合作启动,首个商业产品于 2004 年 问世。开发者需要一个专门的歌唱数据库,因为普通的计算机输入和传统的语音技术无法充分再现歌唱。
像 初音未来 这样的虚拟歌手也帮助将合成歌声转变为以角色为中心的创意媒介。声音可以成为艺术身份的一部分,而不仅仅是录音会话中的替代音轨。
有用的区别: 生成音乐表演和逐音符控制歌唱旋律不是相同的要求。
浏览 音乐生成模型列表 时,请检查其输入控制,而不是假设每个音乐工具都接受声乐总谱。对于一个可用的歌唱系统,你需要了解其信号链、识别其质量限制,并确定如何评估和授权其声音。
歌声合成系统如何将乐谱转化为声音
输入是什么,输出又是什么?在乐谱控制的工作流程中,输入是一套音乐指令。输出是你可以播放、编辑和混音的波形。
歌声合成系统中的流水线阶段
| 阶段 | 输入 | 输出 | 控制内容 |
|---|---|---|---|
| 歌词与乐谱前端 | 歌词、音高和音长 | 带时序的音素序列 | 每个音在哪个节拍上演唱 |
| 时长与音高模型 | 音素和乐谱 | 帧级时序和音高曲线 | 颤音、音头和音高准确性 |
| 声学模型 | 音素、时序、音高和歌手身份 | Mel-频谱图 | 音色、元音形状和发音 |
| 声码器 | Mel-频谱图 | 音频波形 | 清晰度、气声和可听伪影 |
该图展示了更广泛的流程,其中时长和音高决策被纳入预测过程。

将文字和音符转化为表演
前端将歌词分解为音素(单词中的单个语音),并将其与音符关联。一个书写的音节并非一个单一不间断的声音。在 stay 中,开头的辅音需要与承载持续音高的元音进行不同的处理。
如果系统为辅音分配了过多的时间,元音可能会延迟。如果它缩短元音以作补偿,即使音符按时结束,单词听起来也会很仓促。当歌词在节奏上感觉不对时,请从发音和音素放置入手。
时长与音高模型决定这些声音如何随时间展开。音符指定了一个目标音高,但实际演唱的音高曲线可能包括柔和的起音、稳定的中心和末尾的颤音。一条完全平坦的曲线听起来会很僵硬;一个夸张的过渡听起来可能像一个无意的滑音。
有些工具接受明确的音符数据,而另一些则从限制较少的输入(包括歌词)生成或推断旋律。这种差异决定了你是可以直接修复某个音符,还是必须请求另一次表演。
将表演描述转化为音频
声学模型预测一种表示,例如 mel-频谱图,它描述了声能如何随时间在频率上分布。可以将其视为声音音调的动态图,而不是你已经能听到的音频文件。
定义不佳的频谱特征可能会产生沉闷的元音、模糊的辅音或不稳定的声线。但仅仅是沉闷并不能证明声学模型是罪魁祸首。最终的波形生成器也可能掩盖有用的细节。
声码器将预测的表示转换为声音样本。嗡嗡声、颗粒感或金属质感可能源于此,尤其是在暴露的持续元音上。
在编辑之前,请确定该工具是否接受音符以及哪些控件会影响可疑阶段。不要试图通过均衡来修复错位的辅音,也不要通过重写正确发音的歌词来修复粗糙的波形。
训练数据如何决定歌声质量
录制歌声只是构建有用数据集的一部分。开发者还需要可靠的歌词、音符对齐、音素时序以及能区分预期表达和错误的标注。如果没有这些上下文,模型可能会学习到一个声学事件,但却不知道它何时应该出现。
歌唱数据集调查中的语料库比较说明了一些有影响力的资源的规模和歌手覆盖范围有限,总结如下。
按规模和覆盖范围划分的歌唱数据集
| 语料库 | 歌手数量 | 时长(小时) | 覆盖内容 |
|---|---|---|---|
| VocalSet | 20 | 约 10.1 | 歌唱技巧、元音和不同音高,非完整歌曲 |
| NUS-48E | 12 | 约 2.8 | 歌手数量有限的小型语料库 |
| MIR-1K | 19 | 约 2.2 | 歌手数量有限的小型语料库 |
| CSD | 1 | 约 4.9 | 一位歌手用两种语言演唱的 100 首歌曲 |
| SingNet | 引用摘要中未说明 | 约 3,000 | 涵盖多种语言和风格的真实歌唱和采样包 |
SingNet 预印本报告称2,629 小时的真实歌唱和 321 小时的采样包内容,总计约 3,000 小时。这代表了可用材料的显著扩展,但收集规模并非音乐覆盖范围的保证。
覆盖范围与时长同等重要
VocalSet 专注于技巧、元音和音高,这使其在研究发声行为方面很有用。但它不能与包含完整、富有表现力的歌曲的语料库互换。同样,单歌手数据集可以提供一致性,但不能证明系统能够泛化到不同的声音身份。
过拟合意味着模型过于依赖其训练材料中的模式。在实际听感中,这可能意味着熟悉的元音听起来很自然,但不熟悉的读音却很生硬;或者在某种代表性风格中表现出色,但在其他风格中却不尽如人意。
在选择模型时,请检查:
- 歌手覆盖范围: 寻找有记录的音域和身份,而不仅仅是总录音时长。
- 语言覆盖范围: 检查是否涵盖了您的歌词语言和发音习惯。
- 音乐覆盖范围: 区分孤立的练习与完整的乐句、过渡和持续的表达。
- 标注质量: 寻找关于歌词和音符如何与录音对齐的解释。
有用的问题不仅仅是开发者收集了多少音频。而是有记录的材料与您所需的表现匹配程度如何。缺少文档会限制您在精美演示之外自信地提出质量主张。
声音模型和声码器决定了音质的成败
即使上游预测器保持不变,波形生成器也能显著改变感知的歌唱音质。这使得声码器成为一个工程选择,而不仅仅是一个导出步骤。
在一项受控的神经歌唱合成研究中,基于CNN的声学模型在自然度测试中表现优于相应的全连接网络,并且用WaveNet取代传统的MLSA声码器改进了两种模型家族。该研究使用55首日本儿歌和55首J-pop歌曲进行训练,预留了五首J-pop歌曲,并使用了15位听众的五点平均意见得分来评估随机选择的测试短语。这些结果支持受控比较,而非跨歌手、语言或流派的普遍排名。
区分预测错误和渲染错误
声学模型可能会预测出错误的声乐结构。声码器可能会糟糕地渲染一个合理的预测。这两种失败都可能听起来不自然,但更换同一个组件无法同时解决两者。
对于模块化系统,请使用从干净的参考录音中提取的声学特征来测试声码器。这是一种重合成测试:你正在检查波形阶段重建已存在信息的能力,而不是要求声学预测器去创造它。
然后从乐谱合成。如果参考重合成清晰,但乐谱驱动的输出模糊不清,请调查预测特征、对齐和音高条件。如果参考重建听起来已经粗糙,请首先解决声码器或特征兼容性问题。
在你检查缺陷是否存在于波形生成之前,不要替换整个模型。
这种区别在评估相邻语音工具时也很重要。一个文本转语音模型列表描述了不同的任务;单独可理解的语音输出并不能确立持续音符的质量或乐谱控制。
根据实际工作选择保真度和延迟
类似WaveNet的自回归声码器顺序生成音频,这会增加延迟。在响应式播放很重要时,包括LPCNet在内的更快替代方案可能更合适。
对于离线渲染,你可能接受更长的等待时间以保留人声细节。对于交互式作曲,你可能更喜欢快速预览,并保留更高质量的渲染以供审查。
在你预期的工作流程下,衡量生成时间和你能听到的伪影。如果一个漂亮的独立渲染会中断每一次小旋律编辑,那么它的用处就小了,而响应式预览不应被误认为是系统能产生的最佳最终输出。
如何评估歌声合成系统
歌声可能听起来自然但跑调,也可能音准准确但音色单薄。**没有单一的质量分数能描述整体表现。**你需要听众的判断以及对生成信号的测量。

WeSinger 2 论文 使用 MOS、F0 均方根误差和梅尔频谱失真来考察歌唱质量的互补方面。其多歌手条件对抗训练在 Opencpop 和 Data-L 上,相比早期的 WeSinger 系统,提高了 MOS,但不同数据集上的比较增益有所不同,强调了歌手和语料库条件的重要性。
评估歌声合成质量的指标
| 指标 | 捕捉到什么 | 遗漏了什么 |
|---|---|---|
| MOS | 听众感知的整体质量 | 可能掩盖跑调和歌手特有的细节 |
| F0 RMSE | 音高、语调和调音误差 | 气声、发音和音色 |
| MSD | 与音色和发音相关的频谱不匹配 | 乐句是否富有表现力或符合风格 |
结合各项测量结果进行解读
MOS,即平均主观意见分数,总结了听众的评分。它对于询问人们是否偏爱整体结果很有用,但解读取决于他们听到了什么以及被要求判断什么。
F0 RMSE 测量基频误差,基频是与感知音高相关的声学量。它有助于揭示调音问题,但不能确定歌词是否清晰可辨或人声音色是否可信。
MSD 比较频谱表示。它可以揭示与发音和音色相关的差异,但匹配参考频谱与做出令人信服的艺术选择并非一回事。
听力检查: 在密集混音中判断之前,单独试听人声。伴奏可能会使微弱的辅音和不稳定的音符结尾更难被注意到。
构建一个包含不熟悉歌曲的评估集,如果系统支持,还应包含未参与训练的歌手。包括持续元音、辅音较多的歌词、音域变化以及需要刻意表达时机的乐句。
结合各项指标进行报告,然后专门听取气声、发音和人声特征。如果供应商只提供一个标题式的自然度分数,请将其视为该听力测试的证据,而不是证明您的歌词、歌手和编曲也会同样出色。
实际用途、局限性与文化差异
词曲作者可以使用合成歌声在安排录音会话前检查副歌是否适合演唱。制作人可以试听和声,游戏团队可以测试角色歌曲与场景的契合度。这些都是实际用途,因为生成的表演有助于人们做出具体的制作决策。

以角色为中心的发布和动画原型也可以使用刻意合成的声乐美学。对于视听原型制作,AI 音乐视频制作指南 可以帮助将音频工作流程与视觉制作连接起来,但人声仍需要进行其自身的音乐审查。
测试表达,而不仅仅是音准
本地化是一个很好的例子,说明一个看似简单的任务如何变得要求很高。在改变语言的同时保持旋律,意味着将新的音节、重音模式和辅音融入现有乐句中。字面翻译可能不适合作为歌词演唱。
文化特定的表达又增加了一层复杂性。印度古典歌唱章节 描述了装饰音与特定音符、拉格、歌手和音乐背景的关系,这些细节是传统的音高和可懂度测量可能遗漏的。
使用有针对性的测试,而不是仅仅询问结果是否听起来像人类:
- 装饰音: 请熟悉该传统的音乐家判断音符之间和周围的乐句处理。
- 语码转换: 在乐句中插入语言转换,检查口音、重音和人声身份的连续性。
- 生僻词: 测试人名和不熟悉的歌词词汇,然后请流利的使用者评估发音。
- 乐句处理: 比较生成的歌手在哪里换气、强调某个词或释放持续的结尾。
独立于质量验证来源
令人信服的歌声并不能确定其演唱者。美国国家司法研究所关于首届歌声深度伪造检测挑战赛的报告 指出,在挑战赛环境中,有 47 支参赛队伍,顶尖队伍的等错误率为 1.65%。
该结果表明了在特定条件下测得的检测器性能,而非对任意发布的保证认证。应将检测视为与来源记录、源文件和书面授权并列的一项检查。
合成歌声对于草稿、原型和有意的角色声音特别有用。最终的商业歌声,尤其是在重要发行中,需要人工审查其音乐表达、语言准确性、身份和来源,而不是仅仅根据听起来干净的演示来批准。
在构建或购买歌唱模型之前确认权利
在声音被训练、克隆或发布之前,谁授权了它?一份人声录音可能涉及表演者、录音所有者、作词人以及作曲家。一项贡献的许可并不能自动解决其他贡献的许可问题。
AI与社会关于歌唱数据治理的文章警告说,标准的知识共享许可可能无法充分保护歌唱数据贡献者,因为录音可能同时包含表演者的声音和受版权保护的歌曲。它还将美国的合理使用规则与欧盟的文本和数据挖掘例外情况区分开来,而不是将它们视为可互换的许可。
将许可用途书面化
在传输录音或集成模型之前,请使用权利核对清单:
- 识别相关权利。 记录有关歌手录音、歌词、作曲、肖像以及预期商业发布的许可。记录谁可以授权每项使用,而不是假设提供文件的人控制一切。
- 明确模型活动。 说明协议是否允许训练、微调、声音克隆、再分发和下游商业使用。发布音轨的许可不应成为构建可重用声音模型的许可。
- 阅读许可条款。 不要仅仅依赖知识共享标签。检查条款是否涉及表演者的贡献和基础歌曲。
- 检查适用司法管辖区。 请合格的法律顾问评估与录音、贡献者和部署相关的规则。不要将来自其他法律体系的例外情况移植到您的协议中。
- 规划训练后事宜。 定义撤销程序、模型移除、归属和收入分成。明确谁处理请求以及技术上和合同上可用的补救措施。
将证据与生产资产一同保存
在数据集或项目旁边维护一份权限记录。包括协议版本、许可用途、源录音标识符以及任何分发限制。这使得区分授权输入和仅出现在共享文件夹中的文件变得更容易。
公开可用性并非同意或所有权的证明。 也不应将移除录音的承诺与从已训练模型中移除其影响的已证明能力混淆。
在构建或购买歌唱模型之前,请获取涵盖每项相关权利、许可活动和训练后义务的书面条款。
MartLLM 是一个用于文本、图像、视频、音乐和语音模型的 API。如果您正在构建与歌唱相关的生产工作流程,请访问 MartLLM 探索模型列表,并将其记录的输入与您对乐谱控制、音频输出和周边媒体任务的要求进行比较。