23.正交基
任何数学都是对集合的一种描述。而线性代数是指一个空间，这个空间由相互独立的基构成。空间的维度指基的个数。空间中的任何一点（是一个向量）都可以由基的线性组合进行描述。线性变换指的是将空间一个点到另一个点的运动的描述。
基具有两个性质：
Span：空间中的任何一个向量都可以由基的线性组合构成，基也是一个向量，所以其线性组合仍然是个向量。
相互独立：基中的任何一个向量都不可以由基中的其他向量表示。
基（向量）以列的形式排成N*N的基矩阵B。将尺度（权重）排成列向量，注意alpha_k是个标量，alpha_k是个标量，alpha_k是个标量。Ba的结果仍然是向量，调节权值系数a，就可以得到空间中的任何一点。
正交基和单位正交基
正交基中的任意两个向量的内积为0，因为他们相互独立。单位正交基的任意向量长度（幅值）为1（自己关于自己的内积，2范数）
矩阵的逆运算，引入逆运算是为了利用B和x求权值系数a。
实数范围内：正交矩阵的逆等于该矩阵的转置。复数范围内：复数正交矩阵叫做酉矩阵。 它的逆用复数共轭转置表示。关键前提是正交。
利用正交单位基表示信号，合成和分析的两个概念。
利用正交的基（矩阵），就可以得到该空间中的任何一点（任何一个信号），即Ba可以表示任何一个信号，这个叫做合成。想想那个多个乐器mix的故事，我们可以认为每个乐器的信号都为B中一列，利用不同的权值系数alpha，可以将多个乐器的信号进行mix。
合成的反向操作叫做分析，就是利用B和信号x，求权值系数的过程，此时用到了B的逆的概念。实数正交矩阵中矩阵的逆与其转置相同。酉矩阵就利用BH表示逆矩阵。
所以，求某个基上的系数alpha时，就是用该向量x与该基的内积 （<x,bk>）。 两层含义：两个向量的相似程度； 信号x在该基轴bk上的投影。
在复数计算的时候需要注意：矩阵B的每一列表示某个维度上的基，共轭转置操作使得每一列转为行的同时复数部分进行了取反，所以信号x与bk的相似程度的计算实际上是x与bk的共轭的内积，这是复数内积的定义。
总结：
在信号处理领域，a就是信号x的坐标系从I变换到B之后的信号，所以a与x是同一个信号，在不同空间的表示。所以a当然含有全部的x的信息。
ak表示x与bk的内积，bk是复数,所以内积的计算结果<x,bk>与<x,bk的共轭>相等(星号指bk的共轭),也是为什么BH中的每一行与x的内积等于<x,bk>.
24.特征分析
矩阵A乘以它的特征向量不改变向量的方向，只改变向量的强度，改变的尺度为lambda。
将一个矩阵的所有特征值和特征向量放在一起。注意放在一起时，特征值矩阵放在后面，特征向量矩阵放在前面。每个特征值列向量只对其对应的特征向量起作用。Amazing!!,都放在一起了。
对角化： 利用特征值，将一个矩阵转化成对角矩阵(对角化)。
任何一个矩阵都可以对角化，Amazing！！！，这个对角化的矩阵也就是该矩阵所代表的空间的基吧。
重要：特征向量与和对角矩阵（特征值矩阵）,含矩阵A的全部信息。 （例如：所以前面的B可以利用对角矩阵代替了呀。）
总结：
特征值和特征向量含有矩阵中的全部信息。
25.线性时变不系统的特征分析（有限信号）
计算系统H的特征值和特征向量，特征向量是输入信号，同时也在输出端，只不过输出端时该输入信号的缩放结果（缩放尺度为特征向量）。记住:h是脉冲响应,也是第H第0列的值.
LTI系统的特征向量
直接上结论：H矩阵的特征向量就是复数谐波正弦(harmonic sinusoids)，有限信号的的H,所以N的长度一定,此处将谐波正弦信号进行单位化。
复数谐波正弦函数：e^j2pikn/N,相互正交，正交基一定是特征向量。k是第k个信号，n是信号自变量（例如时间）。根号N是单位化。
每个复数谐波信号经过系统H之后，只是尺度发生了变化,方向不变化。除了谐波正弦，还有别的特征向量存在。但是谐波正弦最好用。
原始信号（左面）的复数部分的lambada勾掉。
证明：谐波正弦是LTI系统的特征向量。
将谐波(向量)通过LTI系统H,得到特征向量的性质(该向量只有尺度发生了变化).
所以,任意LTI系统的特征向量都是长度为N的谐波集合。
傅里叶变换：
LTI系统对应信号sk（谐波正弦）的特征值lambda也叫作在频率k处的频率响应（该信号通过系统H），也就是输入信号sk的系统响应。也表示冲击响应h[n]与信号sk[n]的相似程度。
ak表示x与bk的内积，bk是复数,所以内积的计算结果<x,bk*>相等(星号指bk的共轭)--内积定义。
这个过程就是傅里叶变换，这个lambda就是傅里叶空间的基对应的权重。（将信号从原来的时域空间，轴坐标为n，切换到频域，轴坐标为lambda_k），每个频率坐标都是一个谐波取不同的K值。
所以，不断的更改K值，就可以得到每个频率的频率响应lambda，最后得到H的全部特征值和特征向量。即整个频域信息。
将每个谐波以列的方式进行画图，纵轴是n，横轴是k（表示频率，长度为N的信号中含有周期的个数），n和k都是从0到N-1. 每个点n处的幅值（有正有负）。
例如：k=1时，实数部分：第二列从上到下表示只含有一个周期的信号，不同的n代表了信号不同的值（是一个完整的余弦波）；虚数部分：也是只含有一个周期的正弦波。k=2时，N内含有两个周期...以此类推。
特别现象：k=1与k=N-1的实数部分完全相同，虚数部分取相反数。（因为角度theta在k=1处与k=N-1处取相反数，k=1为正，k=N-1为负）
另外：k与n的地位相同，所以他们有对称性，沿着主对角线对称哦。 所以，S=ST。（转置T与逆完全不同，只有在酉矩阵中，复数矩阵的逆才等于它的转置H）
将所有的lambda进行排列，得到非标准化的对角矩阵。
前面的式子当中符号写错了，应该是n而不是m，h[n]表示的是向量，h[n-m]表示的是元素，切记。
利用这个正交矩阵就可以对LTI系统H进行分解。
还记的a=BHx，ak就是衡量x与bk的相似程度的么？此处h[n]代表的是x，而sk[n]表示的是B，每个k代表B中的一列，所以BH取其共轭转置，即e^(-j2*pi*k*n/N).稍后有更详细的解释。
Ok，傅里叶变换的图像表示：
将所有谐波按照列构成傅里叶空间的基。所以，再得到该空间各个基对应的权重lambda就可以表示在该空间中的信号了。
原始问题为：在时域空间，信号x经过系统H得到信号y。
问题转化：将时域空间系统H转到频域空间
所以整个过程为: 将时间域内的信号转移到频域空间操作。所以原来的x和H都要先转到频域空间。其中，SH将信号x进行傅里叶变换（SH与x相乘）转到频域空间，频率响应矩阵是系统H经过DFT之后的结果（这个结果很好，因为每个列或叫基是正交的），信号在频域空间操作完之后，最后再乘反傅里叶变换S得到时域信号y。
以下指示信号的实数部分，虚数部分类似。信号可以看成是实数部分与虚数部分的相加。
中间的对角线矩阵就是使用特征值构造的，就是DFT的结果。在后面对无限信号的分析十分有用。
总结：
谐波就是有限信号的LTI系统的特征函数（本征函数），构成空间的基。
因此，傅里叶变换试分析LTI系统的好工具，因为特征值矩阵就是LTI系统的频率响应。
频率响应都是冲击信号的傅里叶变换。
线性代数中，特征分解（Eigendecomposition），又称谱分解（Spectral decomposition）是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。
需要注意只有对可对角化矩阵才可以施以特征分解。
26.离散傅里叶变换（DFT）
所有的信号都可以由正弦信号的线性组合构成。在CN和RN中成立。
信号可以使用标准正交基构成，信号是该组基构成了空间中的一个向量。
ak：表示ak对应的基bk和信号x相似程度，例如某个向量与坐标系的每个基进行内积，就得到了在该基向量上的权值（尺度），是标量。也表示该信号与该基的相似程度。
神奇，神奇，神奇。空间中的每个向量（信号）都是基的线性组合，而每个基对应的权值系数严格等于向量（信号）与该基的内积（复数域内是该基的共轭与信号的内积），就是他们的相似程度。
注意：bk就是基；注意x和a可以相互循环
谐波之间是相互正交的，可以转化为标准正交基。
假设谐波的定义域为N（与信号长度相同），那么在该谐波集合中，一共含有N种谐波（从k=0到k=N-1个周期的情况），可以构成N维空间。（所以可以表示LTI系统中H为N的情况，因为H也是N维空间的值）
例如下面的S2[n]，即k=2，表示该谐波在N=16内具有两个完整周期。
谐波的标准正交基矩阵：将标准化以后的谐波，按照列的方式排布，得到N*N的复数矩阵。
k=1时，实数部分：第二列从上到下表示只含有一个周期的信号，不同的n代表了信号不同的值（是一个完整的余弦波）；虚数部分：也是只含有一个周期的正弦波。
k=2时，N内含有两个周期...以此类推。
上图的信号S2[n]就是下图k=2时的列。
特别：
k=1与k=N-1的实数部分完全相同，虚数部分取相反数。（因为角度theta在k=1处与k=N-1处取相反数，k=1为正，k=N-1为负）
k与n的地位相同，所以他们有对称性，沿着主对角线对称哦。 所以，S=ST。
S为酉矩阵，所以S-1=SH（共轭转置，也叫伴随，矩阵先转置，再取共轭），因为转置与原矩阵相同，所以SH就是在S基础上直接取共轭，即S*。
所以图像上任何一点都可以直接得到。
谐波正交矩阵的转置：
转置、共轭、共轭转置、伴随矩阵、逆矩阵的概念：
转置就是将矩阵的行与列互换，用T表示；
共轭是指复数的实数部分不变，虚数部分取反，用帽子上一个横线表示;
共轭转置就是先将矩阵进行转置，然后再取共轭（也叫伴随）用H或者*表示；
逆矩阵是指与原矩阵相乘为单位矩阵的矩阵，用-1表示
S为酉矩阵，所以S-1=SH（共轭转置，也叫伴随，矩阵先转置，再取共轭），因为转置与原矩阵相同（S=ST），所以SH就是在S基础上直接取共轭，即S*。
最后得到强大的公式：S矩阵的逆，等于矩阵的复数共轭转置，等于矩阵的共轭。
插播：解决了一个巨大的疑惑：为什么e^(-j2*pi*k*n/N)与h的内积与<h，sk>相等，因为内积的定义就是这么定义的！！！！！
通过谐波对信号进行表示：
假设X和x属于不同的空间（频域和时域），那么我们就利用谐波进行空间的转换。
将已知的信号x进行分析（相当于Ba中得到权值系数a的过程）就叫做前向标准化傅里叶变换。
而利用权值系数构造信号x就是合成。
即x=Ba。此处的B为S，即基矩阵。a为X（lambda表示未经过标准化的），表示权值系数。
所以，任意有限信号都可以进行频域分析（将其转化为频域），具体为求出每个频段的权值系数，表示该信号与该频率的正弦信号的相似程度（<x[n],sk>），相似程度越高，权值越大。
进一步解释：
DFT傅里叶变换系数X[k]表示信号与谐波的相似程度，相当于将信号输入到谐波构成的向量空间中去。是分析过程。
IDFT是将频域的信号转回到时间域。
将信号在时域和频域内进行转化。
例子：
从公式中我们可以看出，傅里叶变换系数（DFT coefficients）含有很多复数，所以即使信号x是实数信号，DFT cofefficients一般情况下也是复数。
在频域内的纵坐标是X[k]的幅值(长度)，因为信号X是个复数， 所以将幅值可以将实数部分和复数部分结合在一起。
|X[5]|表示信号x与S5的相似程度，S5表示的是在32个样本点中，一共含有5个周期的正弦谐波。
|X[5]|和绿色的|X[15]|进行比较，我们就发现信号与低频的谐波相似度更高，与高频谐波相似度很低。
平时，我们应用非标准化的DFT更多，因为很多时候根号计算得不到有限得数。例如根号32. u表示unnormalized，1/N来历如下：X[k]={1/sqrt(N)}X_u[k],所以在x[n]中，将两个根号N相乘，得到系数1/N.
总结：
傅里叶变换系数X含有信号x的全部信息。（包含了隐藏条件，因为谐波矩阵是已知的）
练习题，源代码：
图像如下。将一个声音信号进行频域分析，注意以下几点：
直接进行FFT，得到一些值很小（蓝色圆圈内），但是他们可能很有用。
所以，对他们取log，得到了信号的信噪比。此时，有值的频率区域都被放大了（绿色圆圈），更有助于分析。例如设计滤波器。
最后，将信噪比信号进一步移位，得到了以中心对称的信号，这样更有助于滤波，我们甚至可以丢掉小于0的部分。
27.傅里叶变换的性质
综上，傅里叶变换可以对任何有限信号x[n]进行分析，信号也可以在频域和时域之间无损变换。具体如下。X[k]叫做分析，k表示不同频率（不同基），X[k]表示信号与该基的相似程度，作图的时候使用幅值|X[k]|。
而x[n]表示信号的合成，是信号在频域空间的一种表示，基与各基对应的权值系数构成的向量的内积。
傅里叶变换后的值X[k]也可以看成是一种信号，该信号可以使用周期信号进行解读。
DFT中频率k的含义是不同频率的谐波信号，具体表示信号的长度N中含有k个周期的正弦函数（正弦和余弦的统称）。
k与角速度omega是对应的!
DFT是以N为周期。
例如：第-1+N个点处的值X[-1+N]=X[-1]=X[(-1)N]，所以虽然k比较大，但是当k靠近N的时候，X[k]实际与低频信息相等。
回忆:周期性可以用圆环模运算表示，X[N-1]相当于X[(-1)N],即向相反方向旋转一下：
如果N=16，k=15。相当于k=-1时的幅值。k=-1表示该谐波在N上面只有一个周期。
如图k=1时，谐波的实数部分为一个余弦信号（红色部分），负号表示谐波的虚数部分（正弦）是普通正弦的取反（蓝色）。
如图k=-1时，实数部分不变（偶函数），虚数部分变为相反数（奇函数）
任意长度N的范围内都可以得到信号的全部频率信息。
例如正常情况下，DFT得到的k从0到N-1，（红色方块）。但是，从-N/2到N/2仍然是全部的频率信息，（左面的轴完整的移动到右侧）。
DFT的频率范围，每个长度N的间隔都含有相同的信息（信号的频域信息）。
常用两种：[0，N-1]和[-N/2，N/2],分别代表了[0,2pi]和[-pi,pi]。 其中，[0,2pi]的低频区域在两边，[-pi,pi]的低频区域在中间。非常重要的位移。 非常重要的位移。 非常重要的位移。也叫FFTshift
快速傅里叶变换的移位:
逆傅里叶变换是周期的，周期是N。
DFT变换对之间的圆环位移。时域的时间移位对应频域的相位移位。
相反，频域的circular shit等于时域的phase shift。
DFT将信号的循环卷积与频域的乘积相对应。卷积与乘积的转化。
Hu表示的是冲击信号的频域响应。
证明如下：
傅里叶变换是线性的：
补充知识：Amplitude 和 Magnitude
Amplitude refers to the maximum deviation from zero that can be taken by a periodically varying quantity.表示峰值的大小（波峰，波谷），一个正数。 翻译：振幅
Magnitude refers to the size of a quantity regardless of the direction. 表示一个向量的尺寸（长度），一般是二范数。翻译：模长
DFT是个虚数，该信号有两种表示方法：以实部合虚部表示；或者以幅度合相位进行表示。
总结及相关证明。
有限信号及其傅里叶变换是具有对称性的，信号是偶函数，则DFT也是偶函数；相反也成立。
对称性。 如果信号x[n]是实数信号，则有X[-k]=X[-k]*，说明X函数是一个实数部分偶函数，虚数部分奇函数的函数。证明如下。
总结如下：
证明如下：
-k与k的关系，因为X[k]是周期函数，所以[-k+N]相当于[-k]。
将图像进行fft移位，就可以看到更明显的对称性。
在实数部分和模长是偶信号
在虚数部分和相位是奇信号
所以，很多场合就留下了一半的信号，左半轴。
在看总结结果：
仔细观察DFT，我们看的出来信号的分析与合成两个公式只差了一个负号，也就是说x[n]成立的性质，X[-k]也是成立的，所以X[k]如果是实数，那么信号x的实部也是偶函数，虚部是奇函数。
快速傅里叶变换（略）
快速卷积（略）
利用FFT对循环卷积进行快速计算。
28.更多的正交基
有了正交基，我们就可以利用基矩阵与该基上的权值系数对信号进行表达。
计算权值系数apha的过程叫做分析。计算信号的过程叫做合成。
之前，我们学习了傅里叶分析，也就是将信号从时域转换到以谐波为基的频域，谐波复数哦，复数哦，复数哦。
对正交基进行进一步研究，就提出了两个挑战：可不可以用更少的基来表示信号？（压缩问题）；是否还存在其他的空间可以对信号有更好的表达？
例如：我们找到了一个正交基函数是实数的空间，对应变换叫做离散余弦变换（DCT）。基函数的长度为N，不同的k表示不同维度上的基。基函数本身不一定是周期的，例如d3
傅里叶变换的基与DCT的基的比较可以看出DCT没有复数部分，但S=ST（正交基性质）。
假设有一段信号，我们分别对其进行DFT和DCT，不难发现，DFT变换后的数据量变为2N，即100，并且实数部分的相关系数值很小（相较复数部分，就可以省略）.而DCT后的数据量为N，还是50. 所以DCT比DFT数据量更小，可以更好的起到压缩的作用。
例子2： 音乐就是时域和频域信号的共同表达。横轴是时间，纵轴是频率。想想一下最后合成的一个音乐（波）。
小波变换就是将信号转换为时域和频域的联合，小波变换的基不是整个信号周期上的函数，而是一段时间上的函数，由于每个时间段的函数不一样，所以是关于时间的函数，同时每个时间段上的频率也不同，即也是关于频率的函数，所以基既是时间函数，也是频率函数。
其中，Harr小波变换是最简单的小波变换，如下所示的基只含有两个点。 每个颜色代表不同的基。
如下例子中红色代表正数，绿色代表0，蓝色代表负。 Harr小波中可以看到第一列全是1，第二列时一半正1，一半负1；第三列是1/4是正1，第二个1/4是负1.以此类推，每个基函数都是跟k和n相关的，所以是一个时-频基函数。
短时傅里叶变换是分析信号在不同时间，不同频率上的变化，也叫局部傅里叶分析。
STFT具有两个特点：基不一定是正交的（不同时间上的基）；也不是对长度为N的信号分析得到N个相关系数。实际上他们利用N个样本点得到很多很多相关系数。
步骤：
设定一个窗口，利用窗口将窗口以外时段信号的值变为0。对窗口内的信号进行DFT，然后将结果以列的形式存储。
移动窗口，重复上述过程，得到所有子时段的DFT及相关系数矩阵。横轴是时间，纵轴是频率，左下角为原点。
所以，相关系数矩阵非常大，与窗口的大小和移位大小m有关系。
例如下列为信号的STFT分析,可以看到在低频并且时间为中间的区域为能量较高的区域，即信号在该时间段的主要频率为低频。由此可以得到信号更加全面的信息。
整个图像的大小是远远大于N的。
谱图的构成如下：
总结如下：
