数学中空间是一个非空的集合，用符号 $V$ 表示，它的组成包括两个部分：元素 + 规则，任何操作以及推导都只能在规则的基础上进行。
1. 线性空间
是一种定义了加法和数乘这两种规则的空间，其中的元素是向量，故也称为向量空间。符号 $P$ 表示一个数域。
1）加法运算：即当向量 $a,bin V$，有唯一的和 $a+bin V$ (封闭性)，且加法运算满足以下性质：
a. $a + b = b + a$
b. $a + (b + c) = (a + b) + c$
c. 存在零元素 $0$，使得 $a + 0 = a$
d. 存在负元素 $-a$，使 $a + (-a) = 0$
以上的性质都是针对空间内的元素，即定义了向量的加法操作。
2）数乘运算(数量乘积)：当 $a in V,k,l in P$ 时，有唯一的积 $ka in V$ (封闭性)，且乘法运算满足以下性质：
a. $k(a + b) = ka + kb$
b. $(k + l)a = ka + la$
c. $k(la) = (kl)a$
d. 数域中存在元素 1，$1 cdot a = a$
空间是定义在数域上的，以上性质定义了数域 $P$ 内的元素(数)和向量相乘所允许的操作。
满足了以上几条性质，则称 $V$ 是定义在数域 $P$ 上的线性空间或向量空间。对于不同的数域，可能构成不同的线性空间。
之所以称为线性空间是由于所定义的加法和数乘运算都是线性运算。
2. 内积空间
向量空间中增加了一个额外的结构，这个额外的结构叫做内积(点积)，这时的空间称为内积空间。
这个增添的结构将一对矢量与一个纯量连接起来，允许我们严格地谈论矢量的夹角和长度，并进一步谈论矢量的正交性。
两个向量 $a = (x_{1},x_{2},...,x_{n})$ 和 $b = (y_{1},y_{2},...,y_{n})$ 的内积定义为
$$(a,b) = a cdot b = x_{1}y_{1} + x_{2}y_{2} +...+ x_{n}y_{n} = sum_{i=1}^{n}x_{i}y_{i}$$
两个向量的内积具有如下性质：
1）$(a,b) = (b,a)$
2）$(ka,b) = k(a,b)$
3）$(a+b,c) = (a,c) + (b,c)$
根据内积可以引出向量长度的定义：$|a| = sqrt{(x,x)}$。关于向量长度的基本性质：
1）非负性：对内积空间中的任一个向量 $a$，有 $|a| geq 0$。当向量 $a = 0$时，$|a|=0$。
2）齐次性：对任意的 $k in P$，有 $|ka| = |k||a|$。
3）三角不等式：$|a+b| leq |a| + |b|$。
3. 赋范线性空间
一般的线性空间是没有定义内积的，也就没有向量长度的概念，引入向量范数就是为了在一般的线性空间中建立类似向量长度的这种度量。
设 $V$ 是实数域 $R$ 上的 $n$ 维线性空间，对于 $V$ 中的任意一个向量 $a$，按照某一个确定的法则 $f(a)$ 对应一个实数，这个实数称为 $a$ 的
范数，记为 $||a||$，并且要求满足以下 3 个条件：
1）非负性：对内积空间中的任一个向量 $a$，当 $a eq 0$ 时，有 $||a|| geq 0$。当向量 $a = 0$ 时，$||a||=0$。
2）齐次性：对任意的 $k in P$，有 $||ka|| = |k| cdot ||a||$。
3）三角不等式：$||a+b|| leq ||a|| + ||b||$。
定义了范数的空间称为赋范线性空间。
对同一个向量 $a$，不同的法则 $f(a)$ 会计算出不同的范数，向量的长度就是一种范数。
- 关于向量范数，具有以下基本性质：
1）$||0|| = 0,||-a|| = ||a||$
2）当 $a eq 0$，有 $||frac{a}{||a||}|| = 1$
3）$| ||a|| - ||b|| | leq || a - b ||$
- 下面介绍几种常用的向量范数：
设向量 $a = left { x_{1},x_{2},...,x_{n} ight }$，$b = left { y_{1},y_{2},...,y_{n} ight }$。
1）$L1$ 范数：向量 $a$ 的各个元素绝对值之和，即
$$||a||_{1} = sum_{i=1}^{n}|x_{i}|$$
证明：验证它满足向量范数的 3 个条件即可。
i：非负性。$a eq 0$ 时，至少有一个分量不为 $0$，所以向量各个分量的绝对值求和必大于 $0$。当 $a = 0$ 时，明显各个分量的绝对值和为 $0$。
ii：齐次性。
$$||ka||_{1} = sum_{i=1}^{n}|kx_{i}| = sum_{i=1}^{n}|k|cdot |x_{i}| = |k| sum_{i=1}^{n} |x_{i}| = |k|cdot ||a||_{1}$$
iii：三角不等式。
$$||a+b||_{1} = sum_{i=1}^{n}|x_{i} + y_{i}| leq sum_{i=1}^{n}(|x_{i}| + |y_{i}|) = sum_{i=1}^{n}|x_{i}| + sum_{i=1}^{n}y_{i}| = ||a||_{1} + ||b||_{1}$$
2）$Lp$ 范数：当 $1leq p < +infty$，向量 $a$ 的各个元素 $p$ 方和的 $1/p$ 次方，即
$$||a||_{p} = left ( sum_{i=1}^{n}|x_{i}|^{p} ight )^{frac{1}{p}}$$
证明：验证它满足向量范数的 3 个条件即可。
i：非负性。可类比 $L1$ 范数，这里不再赘述。
ii：齐次性。
$$||ka||_{p} =left ( sum_{i=1}^{n}|kx_{i}|^{p} ight )^{frac{1}{p}} = |k|cdot left ( sum_{i=1}^{n} |x_{i}|^{p} ight )^{frac{1}{p}} = |k|cdot ||a||_{p}$$
iii：三角不等式。由闵可夫斯基不等式直接得
$$||a+b||_{p} = left { sum_{i=1}^{n}(x_{i} + y_{i})^{p} ight }^{frac{1}{p}} leq left ( sum_{i=1}^{n}|x_{i}|^{p} ight )^{frac{1}{p}} + left ( sum_{i=1}^{n}|y_{i}|^{p} ight )^{frac{1}{p}} = ||a||_{p} + ||b||_{p}$$