1 特征提取流程
在语音识别和话者识别方面,最常用到的语音特征就是梅尔倒谱系数(Mel-scaleFrequency Cepstral Coefficients,简称MFCC)。
MFCC提取过程包括预处理、快速傅里叶变换、Mei滤波器组、对数运算、离散余弦变换、动态特征提取等步骤。
![](https://pic3.zhimg.com/v2-1873d8fa6bdc5e7a28772e794872bea6_b.png)
![](https://pic3.zhimg.com/v2-2c525cb8729b5bdc155ac779794a1afa_b.png)
2 傅里叶家族
快速傅里叶变换即利用计算机计算离散傅里叶变换(DFT)的高效、快速计算方法的统称,简称FFT。
傅里叶的两个论点:1 周期信号都可以表示成谐波关系的正弦信号的加权和。 2 非周期信号都可以用正弦信号的加权积分来表示。
四行:FS(连续、周期信号、无限长)、FT(连续、非周期信号、无限长)、DFS(离散、周期信号、无限长)、DTFT(离散、非周期信号、无限长)
超出三界外,不在四行中:DFT(离散、非周期、有限长)、FFT(fast DFT)、DCT(实DFT)
![](https://pic3.zhimg.com/v2-2b1fa393e0075df0bd332d3eee4f200e_b.png)
2.1 傅里叶级数(FS)
连续、周期信号、无限长->非周期、离散
任何周期函数都可以用正弦函数和余弦函数构成的无穷级数来表示,称傅里叶级数为一种特殊的三角级数。
对于周期信号可以用一系列(连续周期为无穷个,离散周期为有限个)正弦波的叠加来表示。这些正弦波的频率都是基频的倍数。所以说周期信号的频率是离散的。 而且,周期信号有一个特点,信号的周期越长,信号的基频越小。当信号为周期信号时,傅立叶变换是不存在的,因为它不满足离散信号序列绝对级数和收敛(连续傅立叶变换要求连续信号在时间上必须可积)这一傅立叶变换的充要条件。
![](https://pic4.zhimg.com/v2-775cba481d4bfb5fdac4381aba35690f_b.png)
![](https://pic1.zhimg.com/v2-cac09154b04495bc07bb0dc2759fbf90_b.png)
2.2 离散傅里叶级数(DFS)
离散、周期、无限长->周期、离散 离散傅里叶级数的谐波信号是有限的,这是因为离散对应于周期(第k个复指数序列和第N+k个是相等的。因此,离散周期函数的傅里叶级数只有N个频率成分)即 原信号:离散周期 傅里叶级数展开:周期离散 (谐波系数(傅里叶系数)为周期的,谐波频率是离散的)
![](https://pic3.zhimg.com/v2-73f91e894ced13f8b5ecef77efca11ea_b.png)
![](https://pic3.zhimg.com/v2-b7200f32190d49c001a415e89692f3b2_b.png)
2.3 傅里叶变换(FT)
连续、非周期、无限长->非周期、连续
由FS变化而来,连续时间非周期信号可以看成连续时间周期信号的周期趋向于无穷大,此时傅里叶级数(FS)的频率离散的谐波基频趋于无穷小,离散频率变成连续频率。FS变为FT了。 即信号时域:连续非周期,FT变换频域:非周期连续
![](https://pic3.zhimg.com/v2-4912efff89d956910e40340b7653d8f6_b.png)
![](https://pic3.zhimg.com/v2-8d6b43efd0819e751d303d78fb98a1f2_b.png)
2.4 离散时间傅里叶变换(DTFT)
离散、非周期、无限长->周期、连续
![](https://pic2.zhimg.com/v2-ab43792b10e0d4efcd687b91b672d839_b.png)
![](https://pic3.zhimg.com/v2-1309e525ac2e02b9b960f21acea98b1e_b.png)
2.5 离散傅里叶变换(DFT)
离散、非周期信号、有限长—> 周期、离散
离散傅里叶变换是将有限长非周期系列作了周期开括(变成离散、周期、无限长),再作离散傅里叶级数,然后在离散傅里叶级数中截取一个周期定义的。
DTFT是给人用的,而DFT是给机器用的。机器的局限性在哪呢?机器不能表达一个无限长的序列,也不能表达连续的频域特征。对于一般的离散时间信号而言,直接用DTFT确实很好,非常便于我们分析信号的频域特征,但问题是这一套机器是用不了的。
(AI大语音:不在四行中,乔装打扮变成其中之一,再进行变换,之后取出一个周期,做回自己;语音信号是进行DFT)
![](https://pic1.zhimg.com/v2-769935144c3bd07c555395e3cc0a2e10_b.png)
![](https://pic2.zhimg.com/v2-52460e6dba0e162f6df12c6a8ebe1e25_b.png)
2.6 快速傅里叶变换(FFT)
FFT不是Fast FT,而是Fast DFT
FT的种类很多,以最简单的基于2的FFT为例。
FFT实际上一种分治算法。FFT将长度为
N 的信号分解成两个长度为
frac{N}{2}信号进行处理,这样分解一直到最后,每一次的分解都会减少计算的次数。理解FFT分以下三个步骤进行:
![](https://pic4.zhimg.com/a354108a63305d9fcf6679b0d430bf7f_b.jpg)
步骤1:将信号
xleft[n
ight]分解成两个子信号 偶数样本点信号:
xleft[2n
ight]; 奇数样本点信号:
xleft[2n+1
ight];
N=0,1,cdots,frac{N}{2}-1
步骤2:将两个求和项理解成两个长度为
frac{N}{2}的DFT
步骤3:FFT的具体计算过程
对于任意
k都要进行
N次加法操作,所以DFT共有
N^2次乘法操作。 对于任意
k都要进行
N-1次加法操作,DFT共有
Nleft(N-1
ight)次加法操作。 FFT共有
Nleft(log_2N-1
ight)次乘法操作和
Nlog_2N次加法操作。
语音信号是有限长的离散信号。
原始一帧语音信号:
![](https://pic1.zhimg.com/v2-7156de220e54ea1b57f5ed358ffc3d94_b.png)
FFT后效果:
![](https://pic2.zhimg.com/v2-aa02526e0232413d11c29ba29662fdb5_b.png)
2.7 离散余弦变换(DCT)
由于许多要处理的信号都是实信号,在使用DFT时由于傅里叶变换时由于实信号傅立叶变换的共轭对称性导致DFT后在频域中有一半的数据冗余。
将DFT式子拆开,抽出实数部分:
![](https://pic4.zhimg.com/v2-453098fa24fbee2a8cee0f9fb8b30b87_b.png)
则实数部分:
![](https://pic4.zhimg.com/v2-f0b6350e9c77e933d18b0eaef12213db_b.png)
虚数部分:
![](https://pic2.zhimg.com/v2-bd5aaaa0ca5e060d6916884a4da4c21d_b.png)
又有:
![](https://pic2.zhimg.com/v2-6765cd5ce5d7779977b51d89004dc951_b.png)
而当x[n]是实偶信号时:
![](https://pic4.zhimg.com/v2-762c5831b70cfa286d916f940c99f763_b.png)
把DFT写成:
![](https://pic1.zhimg.com/v2-f54b77f672b531bcc1b6301fe5094c08_b.png)
但是实际中并没有那么多实偶信号,我们就认为造出来。将信号长度扩大成原来的两倍,并变成2N,又为了让造出来的信号关于0对称,把整个延拓的信号向右平移 0.5 个单位,最终DCT变换公式:
![](https://pic4.zhimg.com/v2-ed632101afb854b7f5f6da56434e9b13_b.png)
附录(魔鬼写手)
![](https://pic2.zhimg.com/v2-2e3543ecd90f7df5daecce32de6107d1_b.png)
![](https://pic1.zhimg.com/v2-f0c18265c52af4f83d98eecd4b4878cc_b.png)
![](https://pic4.zhimg.com/v2-5f478182d3de06eeeea5a1a642d4d8ab_b.png)
![](https://pic1.zhimg.com/v2-84ec09798b5a67cde2ead192cc15ae6c_b.png)
![](https://pic2.zhimg.com/v2-1913b7df7a52cca10f36d3a1da597eb1_b.png)
![](https://pic4.zhimg.com/v2-6ed2d3ad46c18e5115cf183551d517df_b.png)
——————
浅谈则止,细致入微AI大道理
扫描下方“AI大道理”,选择“关注”公众号
![](https://pic3.zhimg.com/v2-e01837f68ee4d60550a12ee32bd0673a_b.png)
欢迎加入!
![](https://pic3.zhimg.com/80/v2-a1446aa95b2a7dcb92706ad5e82b4680_720w.png)
▼下期预告▼
AI大语音(四)——特征提取
▼往期精彩回顾▼
AI大语音(一)——语音识别基础
AI大语音(二)——语音预处理