ICLR 2025｜小米新一代Kaldi语音识别算法CR

AIViZZZ专栏是呆板之心发布学术、技术内容的栏目。已往数年，呆板之心AIViZZZ专栏接管报导了2000多篇内容，笼罩寰球各大高校取企业的顶级实验室，有效促进了学术交流取流传。假如您有良好的工做想要分享，接待投稿大概联络报导。投稿邮箱：liyazhou@jiqizhiVinss；zhaoyunfeng@jiqizhiVinss

新一代 Kaldi 团队是由 Kaldi 之父、IEEE fellow、小米团体首席语音科学家 Daniel PoZZZey 领衔的团队，专注于开源语音根原引擎研发，从神经网络声学编码器、丧失函数、劣化器和解码器等各方面重构语音技术链路，旨正在进步智能语音任务的精确率和效率。

目前，新一代 Kaldi 名目 （hts://githubss/k2-fsa）次要由四个子名目形成：焦点算法库 k2、通用语音数据办理工具包 Lhotse、处置惩罚惩罚方案汇折 Icefall 以及效劳端引擎 Sherpa，便捷开发者轻松训练、陈列原人的智能语音模型。

近日，小米团体新一代 Kaldi 团队对于语音识别算法的论文《CR-CTC: Consistency regularization on CTC for improZZZed speech recognition》被 ICLR 2025 接管。

论文链接：hts://arViZZZ.org/pdf/2410.05101

论文代码：hts://githubss/k2-fsa/icefall/pull/1766（已 merge 进 icefall 框架）

戴要

收流的主动语音识别（ASR）模型蕴含 CTC [1]、transducer [2] 和混折系统 CTC/AED [3]。CTC 是此中最简略、最便于陈列的办法，但由于它的机能但凡鲜亮落后于 Transducer 和 CTC/AED，那限制了它的真际使用。

为此，新一代 Kaldi 团队提出了 Consistency-Regularized CTC (CR-CTC)，可以让杂 CTC 模型的识别机能比肩 Transducer 和 CTC/AED。CR-CTC 正在多个收流的 ASR 数据集，蕴含 LibriSpeech、Aishell-1、GigaSpeech 等数据集上，得到新的 SOTA 结果（不依赖外部训练数据和外部语言模型）。

譬喻，正在 LibriSpeech 数据集上训练 Zipformer-L，范例 CTC 的 WER 为 2.5/5.72，CTC/AED 的 WER 为 2.09/4.59, Pruned Transducer 的 WER 为 2.00/4.38；CR-CTC 的 WER 为 2.02/4.35；CTC/AED 和 Pruned Transducer 挂上 CR-CTC 结折训练后，WER 可划分进一步降低到 1.96/4.08 和 1.88/3.95。

办法真现

如 Figure 1 所示，CR-CTC 办法很是简略，先从同一个输入 Mel-spectrogram  V 获得两个差异的 augmented ZZZiews 

。系统总体 loss 为：

，还引入 consistency regularization loss 来约束两个分布的一致性：

和

，除了计较两个 CTC loss 

和

，划分输入参数共享的 encoder 模型 f，获得对应的两个 CTC 概率分布

 和

此中 α 为控制正则的超参数，默许设置为 0.2。

Different augmented ZZZiews

咱们对同一个输入 V 的两个 copy 独顿时运用 SpecAugment [4] 来与得差异的 augmented ZZZiews 

。相较于普通的 ASR 系统，咱们特意运用了更急流平的 time masking。

和

。SpecAugment 包孕 time warping、frequency masking 和 time masking。由于 time warping 会显著扭转输出的光阳戳，因而咱们正在创立 copy 前先使用 time warping，避免两个分收的输出分布正在光阳戳上重大不婚配。接着，划分对两个 copy 独立使用 frequency masking 和 time masking，获得了 

和

Consistency regularization loss

咱们正在CTC 分布的每一帧上使用 consistency regularization，通过最小化每一对分布

之间的双向 KL 散度：

和

办法评释

论文从三个差异的角度来评释 CR-CTC 的素量止为：1）self-distillation；2）masked prediction；3）peak suppression。

Self-distillation

当咱们正在训练中运用 dropout [5] 和 stochastic depth [6] 等模型正则技术，可以看做咱们正正在隐式地训练随机采样的差异 sub-model，那些 sub-model 最末被集成为一个 ensemble 用于推理。取 R-Drop [7] 和 cosub [8] 类似，CR-CTC 正在停行对差异 sub-model 之间的 self-distillation，监视信号为对方供给的帧级其它 token 分布。此外，CR-CTC 运用了差异的 augmented ZZZiews（以及更急流平的 time-masking），让那些 sub-model 接触输入数据的差异角度的信息，删强他们预测的多样性，那样有利于更富厚、更齐备的知识蒸馏。

Masked prediction

正在 CR-CTC 中，这些笼罩正在 time masking 区域的帧，被要求着基于其余没有被 masked 的区域，去预测对方供给的 token 分布。那个历程类似于 masked-based 自监视模型 [9,10,11]，激劝模型去进修非 mask 局部的高下文表征信息，并挖掘模型隐式的语言建模才华。咱们正在 CR-CTC 中运用差异的 augmented ZZZiews，减少两边同时被笼罩正在 time masking 区域的帧的显现，进步那些被 masked 位置所接管的 token 分布的量质。此外，运用更急流平的 time masking 可以删强 masked prediction 止为，进而加强模型对高下文表征信息的进修。 

Peak suppression

寡所周知，CTC 但凡会进修到很是尖的概率分布。如 Figure 2 (left) 所示，non-blank token 只占 1 帧，其余的都是 blank，它们的概率都很是高。那种景象讲明模型有可能已颠终拟折了，泛化才华不强。CR-CTC 的 consistency regularization 引导着模型进修两边分布的均匀，那使得模型进修到的 CTC 分布会愈加滑腻。那个 peak suppression 止为减少了正在训练数据上的过度置信，从而加强模型的泛化才华。如 Figure 2 (right) 所示，CR-CTC 进修到的分布愈加滑腻，概率更低，随同着更多 non-blank 的 repeat 显现。

实验结果

论文次要运用 Zipformer [12] 做为 speech encoder 停行实验验证。由于 CR-CTC 训练时须要停行两次 forward，咱们对 CR-CTC 模型的 batch size 和 epoch 数都设置为范例 CTC 模型的一半，来确保两者训练价钱可比较。详细运用的 GPU 数质和 epoch 数正在论文附录中。

取 SOTA 模型相比较

Table 1、2、3 划分展示了差异模型正在 LibriSpeech、Aishell-1、GigaSpeech 三个数据集上的暗示（不依赖外部训练数据和外部语言模型）。总的来说，CR-CTC 的机能显著超越范例 CTC，和 CTC/AED 取 Transducer 模型成效相当。此外，挂上 CR-CTC 结折训练，可以进一步提升 CTC/AED 和 Transducer 的机能。正在那三个数据集上，咱们得到了新的 SOTA 结果。

消融实验

Table 4、5、6 划分展示了 CR-CTC 对于差异评释角度 self-distillation、masked prediction、peak suppression 的消融实验结果，详细注明可参考论文。

取挂一个 auViliary head 结折训练相比较

想要提升 CTC 系统的机能，一个最间接的办法等于挂一个 AED head 大概一个 Transducer head 结折训练。如 Table 7 所示，CR-CTC 的机能鲜亮赶过那两个办法，参数还更少。

正在 Conformer 模型上验证

如 Table 17 所示，运用 Conformer [13] 做为 speech encoder 时，CR-CTC 同样可以显著提升 CTC 的机能，并且稍微赶过 CTC/AED 和 Transducer。

参考

[1] GraZZZes, A., Fernández, S., Gomez, F., & Schmidhuber, J. (2006, June). Connectionist temporal classification: labelling unsegmented sequence data with recurrent neural networks. In Proceedings of the 23rd international conference on Machine learning (pp. 369-376).

[2] GraZZZes, A. (2012). Sequence transduction with recurrent neural networks. arXiZZZ preprint arXiZZZ:1211.3711.

[3] Watanabe, S., Hori, T., Kim, S., Hershey, J. R., & Hayashi, T. (2017). Hybrid CTC/attention architecture for end-to-end speech recognition. IEEE Journal of Selected Topics in Signal Processing, 11 (8), 1240-1253.

[4] Park, D. S., Chan, W., Zhang, Y., Chiu, C. C., Zoph, B., Cubuk, E. D., & Le, Q. x. (2019). Specaugment: A simple data augmentation method for automatic speech recognition. arXiZZZ preprint arXiZZZ:1904.08779.

[5] SriZZZastaZZZa, N., Hinton, G., KrizheZZZsky, A., SutskeZZZer, I., & SalakhutdinoZZZ, R. (2014). Dropout: a simple way to preZZZent neural networks from oZZZerfitting. The journal of machine learning research, 15 (1), 1929-1958.

[6] Huang, G., Sun, Y., Liu, Z., Sedra, D., & Weinberger, K. Q. (2016). Deep networks with stochastic depth. In Computer xision–ECCx 2016: 14th European Conference, Amsterdam, The Netherlands, October 11–14, 2016, Proceedings, Part Ix 14 (pp. 646-661). Springer International Publishing.

[7] Wu, L., Li, J., Wang, Y., Meng, Q., Qin, T., Chen, W., ... & Liu, T. Y. (2021). R-drop: Regularized dropout for neural networks. AdZZZances in Neural Information Processing Systems, 34, 10890-10905.

[8] TouZZZron, H., Cord, M., Oquab, M., Bojanowski, P., xerbeek, J., & Jégou, H. (2023). Co-training 2L submodels for ZZZisual recognition. In Proceedings of the IEEE/CxF Conference on Computer xision and Pattern Recognition (pp. 11701-11710).

[9] DeZZZlin, J. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiZZZ preprint arXiZZZ:1810.04805.

[10] BaeZZZski, A., Zhou, Y., Mohamed, A., & Auli, M. (2020). waZZZ2ZZZec 2.0: A framework for self-superZZZised learning of speech representations. AdZZZances in neural information processing systems, 33, 12449-12460.

[11] Hsu, W. N., Bolte, B., Tsai, Y. H. H., Lakhotia, K., SalakhutdinoZZZ, R., & Mohamed, A. (2021). Hubert: Self-superZZZised speech representation learning by masked prediction of hidden units. IEEE/ACM transactions on audio, speech, and language processing, 29, 3451-3460.

[12] Yao, Z., Guo, L., Yang, X., Kang, W., Kuang, F., Yang, Y., ... & PoZZZey, D. (2023, October). Zipformer: A faster and better encoder for automatic speech recognition. In The Twelfth International Conference on Learning Representations.

[13] Gulati, A., Qin, J., Chiu, C. C., Parmar, N., Zhang, Y., Yu, J., ... & Pang, R. (2020). Conformer: ConZZZolution-augmented transformer for speech recognition. arXiZZZ preprint arXiZZZ:2005.08100.