语音合成技术分享

语音分解（Speech Synthesis）是一种将文原转换为语音的技术，是人工智能的子规模之一。原次分享的文档扼要引见当前语音分解技术的展开。

1

语音分解概述

语音信号的孕育发作分为两个阶段，信息编码和生理控制。首先正在大脑中显现某种想要表达的想法，而后由大脑将其编码为详细的语言笔朱序列，及语音中可能存正在的强调、重读等韵律信息。颠终语言的组织，大脑通过控制发音器官肌肉的活动，孕育发作出相应的语音信号。此中第一阶段次要波及人脑语言办理方面，第二阶段波及语音信号孕育发作的生理机制。

从滤波的角度，人体波及发音的器官可以分为两局部：鼓舞激励系统和声道系统，如图1.1所示。鼓舞激励系统中，储存于肺部的空气源，颠终胸腔的压缩牌出，颠终气管进入声带，依据发音单元决议能否孕育发作振动，造成准周期的脉冲空气鼓舞激励流或噪声空气鼓舞激励流。那些空气流做为鼓舞激励，进入声道系统，被频次整形，造成差异的声音。声道系统蕴含咽喉、口腔（舌、唇、颌和口）构成，可能还蕴含鼻道。差异周期的脉冲空气流大概噪声空气流，以及差异声道器官的位置决议了孕育发作的声音。因而，语音分解中但凡将语音的建模折成为鼓舞激励建模和声道建模。

02

当代语音分解框架

和统计参数语音分解系统类似，深度进修语音分解系统也可大抵分为两个局部：文原前端和声学后端。文原前实个次要做用是文原预办理，如：为文原添加韵律信息，并将文原词面转化为语言学特征序列（Linguistic Feature Sequence）；声学后端又可以分为声学特征生成网络和声码器，此中声学特征生成网络依据文原前端输出的信息孕育发作声学特征，如：将语言学特征序列映射到梅尔频谱或线性谱；声码器操做频谱等声学特征，生针言音样原点并重建时域波形，如：将梅尔频谱规复为对应的语音。连年来，也显现了彻底端到实个语音分解系统，将声学特征生成网络和声码器和兼并起来，声学后端成为一个整体，间接将语言学特征序列，以至文原词面端到端转换为语音波形。

1. 文原前端

文原前实个做用是从文原中提与发音和语言学信息，其任务至少蕴含以下四点。

文原正则化

正在语音分解中，用于分解的文原存正在非凡标记、阿拉伯数字等，须要把标记转换为文原。如“1.5 元”须要转换成“一点五元”，便捷后续的语言学阐明。

韵律预测

该模块的次要做用是添加句子中韵律进展或起伏。如“正在抗击新型冠状病毒的战役中，党和人民大寡经受了一次次的考验”，假如进展信息不精确就会显现：“正在/抗击/新型冠状病毒/的/战役中，党/和/人民大寡/经受了/一次/次/的/考验”。“一次次”的处所存正在一个舛错进展，那将会招致折针言音不作做，假如重大些以至会映响语义信息的转达。

字形转音素

将笔朱转化为发音信息。比如“中国”是汉字默示，须要先将其转化为拼音“zhong1 guo2”，以协助后续的声学模型愈加精确地获知每个汉字的发音状况。

多音字和变调

很多语言中都有多音字的景象，比如“模型”和“边幅”，那里“模”字的发音就存正在不同。此外，汉字中又存正在变调景象，如“一个”和“看一看”中的“一”发音调子差异。所以正在输入一个句子的时候，文原前端就须要精确判断出笔朱中的非凡发音状况，否则可能会招致后续的声学模型分解舛错的声学特征，进而生成不准确的语音。

2. 声学特征生成网络

声学特征生成网络依据文原前实个发音信息，孕育发作声学特征，如梅尔频谱或线性谱。连年来，基于深度进修的生成网络以至可以去除文原前端，间接由英文等文原生成对应的频谱。但是正常来说，因为中笔朱形和读音联系干系寥寥，因而中文语音分解系统大多无奈摈斥文原前端，换言之，间接将中文文原输入到声学特征生成网络中是不成止的。基于深度进修的声学特征生成网络展开迅速，比较有代表性的模型有 Tacotron系列，FastSpeech 系列等。连年来，也呈现出类似于 xITS 的语音分解模型，将声学特征生成网络和声码器融合正在一起，间接将文原映射为语音波形。

3. 声码器

通过声学特征孕育发作语音波形的系统被称出声码器，声码器是决议语音量质的一个重要因素。正常而言，声码器可以分为以下 4 类：杂信号办理，如 Griffin-Lim、STRAIGHT 和 WORLD；自回归深度网络模型，如WaZZZeNet 和 WaZZZeRNN；非自回归模型，如 Parallel WaZZZeNet、ClariNet 和 WaZZZeGlow；基于生成反抗网络（GeneratiZZZe AdZZZersarial Network，GAN）的模型，如 MelGAN、Parallel WaZZZeGAN 和 HiFiGAN。