摘要：本文指在詳細介紹語音轉化聲學特征的過程，並詳細介紹不同聲學特征在不同模型中的應用。
本文分享自華為雲社區《你真的懂語音特征背后的原理嗎？》，作者： 白馬過平川 。
語音數據常被用於人工智能任務，但語音數據往往不能像圖像任務那樣直接輸入到模型中訓練，其在長時域上沒有明顯的特征變化，很難學習到語音數據的特征，加之語音的時域數據通常由16K采樣率構成，即1秒16000個采樣點，直接輸入時域采樣點訓練數據量大且很難有訓練出實際效果。因此語音任務通常是將語音數據轉化為聲學特征作為模型的輸入或者輸出。因此本文指在詳細介紹語音轉化聲學特征的過程，並詳細介紹不同聲學特征在不同模型中的應用。
首先搞清語音是怎么產生的對於我們理解語音有很大幫助。人通過聲道產生聲音，聲道的形狀決定了發出怎樣的聲音。聲道的形狀包括舌頭，牙齒等。如果可以准確的知道這個形狀，那么我們就可以對產生的音素進行准確的描述。聲道的形狀通常由語音短時功率譜的包絡中顯示出來。那如何得到功率譜，或者在功率譜的基礎上得到頻譜包絡，便是可以或得語音的特征。
一、時域圖
圖1：音頻的時域圖
時域圖中，語音信號直接用它的時間波形表示出來，上圖1是用Adobe Audition打開的音頻的時域圖，表示這段語音波形時量化精度是16bit，從圖中可以得到各個音的起始位置，但很難看出更加有用的信息。但如果我們將其放大到100ms的場景下，可以得到下圖2所示的圖像。
圖2：音頻的短時時域圖
從上圖我們可以看出在短時的的時間維度上，語音時域波形是存在一定的周期的，不同的發音往往對應着不同的周期的變化，因此在短時域上我們可以將波形通過傅里葉變換轉化為頻域圖，觀察音頻的周期特性，從而獲取有用的音頻特征。
短時傅里葉變換（STFT）是最經典的時頻域分析方法。所謂短時傅里葉變換，顧名思義，是對短時的信號做傅里葉變化。由於語音波形只有在短時域上才呈現一定周期性，因此使用的短時傅里葉變換可以更為准確的觀察語音在頻域上的變化。傅里葉變化實現的示意圖如下：
圖3：傅里葉變換的從時域轉化為頻域的示意圖
上圖顯示的了如何通過傅里葉變化將時域波形轉化為頻域譜圖的過程，但在由於本身傅里葉變化的算法復雜度為O(N^2)，難以應用,在計算機中應用中更多的是使用快速傅里葉變換（FFT）。其中轉化的推理證明參考[知乎](https://zhuanlan.zhihu.com/p/31584464)
二、獲取音頻特征
由上述一可以知道獲取音頻的頻域特征的具體方法原理，那如何操作將原始音頻轉化為模型訓練的音頻特征，其中任然需要很多輔助操作。具體流程如下圖4所示：
圖4：音頻轉化為音頻特征的流程圖
(1)預加重
預加重處理其實是將語音信號通過一個高通濾波器：
其中\muμ ，我們通常取為0.97。預加重的目的是提升高頻部分，使信號的頻譜變得平坦，保持在低頻到高頻的整個頻帶中，能用同樣的信噪比求頻譜。同時，也是為了消除發生過程中聲帶和嘴唇的效應，來補償語音信號受到發音系統所抑制的高頻部分，也為了突出高頻的共振峰。
pre_emphasis = 0.97 emphasized_signal = np.append(original_signal[0], original_signal[1:] - pre_emphasis * original_signal[:-1])
(2)分幀
由於傅里葉變換要求輸入信號是平穩的，不平穩的信號做傅里葉變換是沒有什么意義的。由上述我們可以知道語音在長時間上是不穩定的，在短時上穩定是有一定的周期性的，即語音在宏觀上來看是不平穩的，你的嘴巴一動，信號的特征就變了。但是從微觀上來看，在比較短的時間內，嘴巴動得是沒有那么快的，語音信號就可以看成平穩的，就可以截取出來做傅里葉變換了，因此要進行分幀的操作，即截取短時的語音片段。
那么一幀有多長呢？幀長要滿足兩個條件：
- 從宏觀上看，它必須足夠短來保證幀內信號是平穩的。前面說過，口型的變化是導致信號不平穩的原因，所以在一幀的期間內口型不能有明顯變化，即一幀的長度應當小於一個音素的長度。正常語速下，音素的持續時間大約是 50~200 毫秒，所以幀長一般取為小於 50 毫秒。
- 從微觀上來看，它又必須包括足夠多的振動周期，因為傅里葉變換是要分析頻率的，只有重復足夠多次才能分析頻率。語音的基頻，男聲在 100 赫茲左右，女聲在 200 赫茲左右，換算成周期就是 10 ms和 5 ms。既然一幀要包含多個周期，所以一般取至少 20 毫秒。
注意： 分幀的截取並不是嚴格的分片段，而是有一個幀移的概念，即確定好幀窗口的大小，每次按照幀移大小移動，截取短時音頻片段，通常幀移的大小為5-10ms,窗口的大小通常為幀移的2-3倍即20-30ms。之所以設置幀移的方式主要是為了后續加窗的操作。
具體分幀的流程如下所示：
圖5：音頻分幀示意圖
(3)加窗
取出來的一幀信號，在做傅里葉變換之前，要先進行「加窗」的操作，即與一個「窗函數」相乘，如下圖所示：
圖5：音頻加窗示意圖
加窗的目的是讓一幀信號的幅度在兩端漸變到 0。漸變對傅里葉變換有好處，可以讓頻譜上的各個峰更細，不容易糊在一起（術語叫做減輕頻譜泄漏），加窗的代價是一幀信號兩端的部分被削弱了，沒有像中央的部分那樣得到重視。彌補的辦法是，幀不要背靠背地截取，而是相互重疊一部分。相鄰兩幀的起始位置的時間差叫做幀移。
通常我們使用漢明窗進行加窗，將分幀后的每一幀乘以漢明窗，以增加幀左端和右端的連續性。假設分幀后的信號為 S(n), n=0,1,…,N-1, NS(n),n=0,1,…,N−1,N 為幀的大小，那么乘上漢明窗后:
實現的代碼：
# 簡單的漢明窗構建 N = 200 x = np.arange(N) y = 0.54 * np.ones(N) - 0.46 * np.cos(2*np.pi*x/(N-1)) # 加漢明窗 frames *= np.hamming(frame_length)
（4）快速傅里葉變換FFT
由於信號在時域上的變換通常很難看出信號的特性，所以通常將它轉換為頻域上的能量分布來觀察，不同的能量分布，就能代表不同語音的特性。在乘上漢明窗后，每幀還必須再經過快速傅里葉變換以得到在頻譜上的能量分布。對分幀加窗后的各幀信號進行快速傅里葉變換得到各幀的頻譜。快速傅里葉變換的實現原理已經在前面介紹過，這里不過多介紹。詳細的推理和實現推介參考知乎FFT(https://zhuanlan.zhihu.com/p/31584464)
注意 ： 這里音頻經過快速傅里葉變換返回的是復數，其中實部表示的頻率的振幅，虛部表示的是頻率的相位。
包含FFT函數的庫有很多，簡單列舉幾個：
import librosa import torch import scipy x_stft = librosa.stft(wav, n_fft=fft_size, hop_length=hop_size,win_length=win_length) x_stft = torch.stft(wav, n_fft=fft_size, hop_length=hop_size, win_length=win_size) x_stft = scipy.fftpack.fft(wav)
得到音頻的振幅和相位譜，需要對頻譜取模平方得到語音信號的功率譜，也就是語音合成上常說的線性頻譜。
（5）Mel頻譜
人耳能聽到的頻率范圍是20-20000Hz，但人耳對Hz這種標度單位並不是線性感知關系。例如如果我們適應了1000Hz的音調，如果把音調頻率提高到2000Hz，我們的耳朵只能覺察到頻率提高了一點點，根本察覺不到頻率提高了一倍。因此可以將普通的頻率標度轉化為梅爾頻率標度，使其更符合人們的聽覺感知，這種映射關系如下式所示：
在計算機中，線性坐標到梅爾坐標的變換，通常使用帶通濾波器來實現，一般常用的使用三角帶通濾波器，使用三角帶通濾波器有兩個主要作用：對頻譜進行平滑化，並消除諧波的作用，突顯原先語音的共振峰。其中三角帶通濾波器構造的示意圖如下所示：
圖6：三角帶通濾波器構造示意圖
這是非均等的三角帶通濾波器構造示意圖，因為人類對高頻的能量感知較弱，因此低頻的保存能量要明顯大與高頻。其中三角帶通濾波器的構造代碼如下：
low_freq_mel = 0 high_freq_mel = (2595 * numpy.log10(1 + (sample_rate / 2) / 700)) # Convert Hz to Mel mel_points = numpy.linspace(low_freq_mel, high_freq_mel, nfilt + 2) # Equally spaced in Mel scale hz_points = (700 * (10**(mel_points / 2595) - 1)) # Convert Mel to Hz bin = numpy.floor((NFFT + 1) * hz_points / sample_rate) fbank = numpy.zeros((nfilt, int(numpy.floor(NFFT / 2 + 1)))) for m in range(1, nfilt + 1): f_m_minus = int(bin[m - 1]) # left f_m = int(bin[m]) # center f_m_plus = int(bin[m + 1]) # right for k in range(f_m_minus, f_m): fbank[m - 1, k] = (k - bin[m - 1]) / (bin[m] - bin[m - 1]) for k in range(f_m, f_m_plus): fbank[m - 1, k] = (bin[m + 1] - k) / (bin[m + 1] - bin[m]) filter_banks = numpy.dot(pow_frames, fbank.T) filter_banks = numpy.where(filter_banks == 0, numpy.finfo(float).eps, filter_banks) # Numerical Stability filter_banks = 20 * numpy.log10(filter_banks) # dB
然后只需將線性譜乘以三角帶通濾波器，並取對數就能得到mel頻譜。通常語音合成的任務的音頻特征提取一般就到這，mel頻譜作為音頻特征基本滿足了一些語音合成任務的需求。但在語音識別中還需要再做一次離散余弦變換（DCT變換），因為不同的Mel濾波器是有交集的，因此它們是相關的，我們可以用DCT變換去掉這些相關性可以提高識別的准確率，但在語音合成中需要保留這種相關性，所以只有識別中需要做DCT變換。其中DCT變換的原理詳解可以參考知乎DCT(https://zhuanlan.zhihu.com/p/85299446)
想了解更多的AI技術干貨，歡迎上華為雲的AI專區，目前有AI編程Python等六大實戰營供大家免費學習。（六大實戰營link:http://su.modelarts.club/qQB9）