上海交通大学公开课：数学之旅 http://open.163.com/newview/movie/courseintro?newurl=M8PTB0GHI
总结：
距离 -> 范数 -> 内积
（线性空间 + 范数 = 赋范空间 + 线性结构） + 内积 = 内积空间 + 完备性 = 希尔伯特空间
线性空间：又称为向量空间，关注的是向量的位置。知道基便可确定空间中元素的位置。线性空间定义了加法和数乘运算。
如果我们想要知道向量的长度怎么办。定义范数，引入赋范线性空间。
赋范线性空间：定义了范数的线性空间。即定义了长度的空间
如果我们想知道向量的夹角怎么办。定义内积，引入内积空间。
内积空间：定义了内积的赋范线性空间。引入了正交和投影的概念。建立起相应的几何学。
欧式空间：定义了内积的有限维实线性空间。
如果我们想研究收敛性（极限）怎么办？定义完备。
Banach空间：完备的赋范线性空间。
Hilbert空间：完备的内积空间。极限运算不能跑出度量的范围。
距离必须满足三点
设X为任意非空集合，对X中任意两点x，y，有一实数d(x， y)与之对应且满足：
- 正定性，d(x, y) >=0 ， 且d(x, y) = 0 当且仅当x=y
- 对称性，d(x, y) = d(y, x)
- 三角不等式，d(x, y) <= d(x, z) + d(z, y)
则称d(x, y)为X中的一个距离
定义了距离，再加上线性结构，如向量的加法、数乘，使其满足加法的交换律、结合律、零元、负元；数乘的交换律、单位一；数乘与加法的结合律（两个）共八点要求，从而形成一个线性空间，这个线性空间就是向量空间。
在线性空间中，定义范数的概念，代表某点到空间零点的距离。
- ||x|| >=0
- ||ax|| = |a|||x||
- ||x+y|| <= ||x|| + ||y||
范数比距离多了个条件，即第二个条件。数乘的运算，说明范数是一个强化了的距离概念。
接下来对范数和距离进行扩展，形成如下：
范数的集合⟶ 赋范空间+线性结构⟶线性赋范空间
距离的集合⟶ 度量空间+线性结构⟶线性度量空间
下面在已经构成的线性赋范空间上继续扩展，添加内积运算，使空间中有角的概念，形成如下：
线性赋范空间+内积运算⟶ 内积空间；
这时的内积空间已经有了距离、长度、角度等，有限维的内积空间也就是我们熟悉的欧氏空间。
继续在内积空间上扩展，使得内积空间满足完备性，形成希尔伯特空间如下：
内积空间+完备性⟶ 希尔伯特空间
对距离进行弱化，只保留距离的极限和连续的概念，就形成拓扑的概念。
如何理解希尔伯特空间的完备性？
完备性指的是，空间中的任何柯西序列都收敛在该空间之内。
柯西序列定义：设xn是距离空间X中的点列，如果对于任意的e > 0, 存在自然数N , 当m，n>N时，|xn - xm| < e，则xn是柯西序列。这里把两个数之差定义为距离，也可以定义其它方式，柯西序列依赖于距离，因此只有在定义了距离的度量空间内才有意义。
举一个完备的例子 实数空间。
不完备的例子：有理数空间。比如根号2，是一个柯西序列，定义在有理数上，但是极限是无理数，不在有理数空间内。
(0, 1)不完备，比如（1/2， 1/3，1/4，1/5...）是柯西序列，但是不收敛于（0， 1）的任何点。
直观上讲：一个空间完备就是没有空，且不缺皮，两者都是不缺点。没有孔指内部不缺点，不缺皮指边界上不缺点，不缺皮指边界上不缺点。从这一点上讲，一个空间完备同一个集合的闭包类似。这一类似还体现在以下定理中，完备空间的闭子集是完备的。
如何理解再生希尔伯特空间
由核函数K和无穷个输入样本x, y 构成的核矩阵K(x, y)的基向量（无穷维，无数个）构成一个希尔伯特空间。
这个希尔伯特空间这样的特点。
这个是将x映射到第i维的值。映射是无穷个基函数，带入x，这样就将有限维x，映射到一个无限维度的向量。比如傅里叶级数。
K(x, ·)表示核矩阵的第x行，即将x映射到希尔伯特空间所对应的无穷维的向量。至于怎么映射的，这个映射函数很难得到。比如傅里叶级数，就是投影到
每个三角函数上。
要计算第x行和第y行的内积，虽然我们很难得到映射，不好计算，但是我们可以根据再生性，直接通过核函数计算得到。
如何理解核函数
核函数判定方法有两个。
函数对应的Gram矩阵半正定，并对称，则是核函数。这是充分条件。
下面展示了由内积形式推出K是半正定的过程。
常用的核。
如何说明高斯核就是半正定的
上面泰勒展开式，最后一行第二个求和符号多余。还以第二个式子，x改成y。这样从0都+无穷的求和，相当于两个无穷维向量的内积。
[1] https://www.zhihu.com/question/19967778
[2] cnblogs.com/jfdwd/p/11204204.html
[3] https://new.qq.com/omn/20190722/20190722A069D400.html
[4] https://blog.csdn.net/wangxiaojun911/article/details/6205569/
[5] https://blog.csdn.net/lanchunhui/article/details/53032690
[6] https://zhuanlan.zhihu.com/p/114264831
[7] https://zhuanlan.zhihu.com/p/73426787
[8] https://www.zhihu.com/question/331515114/answer/727769169
[9] https://zhuanlan.zhihu.com/p/108625593?utm_source=wechat_session