向量范数和矩阵范数

1 范数

在研究代数方程组的迭代求解及其收敛性的过程中，向量范数和矩阵范数是十分重要且有用的概念。范数又可以称为模。向量范数和矩阵范数用于描述向量和矩阵的大小。

1.1 向量范数

1.1.1 定义

范数本质是由向量或者矩阵映射到实数域的单值函数。定义如下：

设(N(x)=||x||)是定义在(R^n)上的实函数，如果它满足三个条件：

非负性：即(||x||ge 0 )，当且仅当x=0时，||x||=0。

齐次性：即(||kx||=||k|| imes ||x||, k in R)。

三角不等式。对于任意(x,y in R^n)，总有(||x+y|| le ||x|| + ||y||)

则称(N(x)=||x||)为(R^n)上向量x的范数。

1.1.2 常用的向量范数

常用的向量范数有：

0-范数：向量中非零元素的个数。
1-范数：向量元素绝对值之和。(||x||_1=sum_{i=1}^N{|x_i|})。
2-范数：向量在高维空间中的矢径。(||x||_2=(sum_{i=1}^N {|x_i|^2})^{1/2})。
(infty)范数：元素绝对值最大者。(||x||_{infty}=max|x_i|)。
(-infty)范数：元素绝对值最小者。(||x||_{-infty}=min|x_i|)。
p范数：向量元素绝对值的p次方和的1/p次幂。(||x||_p=(sum_{i=1}^N {|x_i|^p})^{1/p})。

不同的范数，只是定义和计算方法不同，其含义和作用基本相同，即用一个实数对向量的大小（没有向量的大小这种说法，但是有了范数之后，可以利用向量的同一种范数对向量做比较，因此，也可以将范数的定义看作是对向量大小的定义。个人认为，引入范数的主要目的是为了比较大小！！！）

1.1.3 范数的等价性

上面定义的不同的范数之间是可以互相转化的，这就是范数的等价性：

设(||x||_alpha ,||x||_eta,alpha,eta in {1,2,infty})为(R^n)中的范数，则存在(0<m<M)使得(m||x||_alpha le ||x||_eta le M||x||_alpha)对于任意的$xin R^n成立。

通过上面的范数等价性定理，可以看出，不同的范数只是定义的方式不同。对于常用的三种范数，有如下关系：

[||x||_2 le ||x||_1 le sqrt{n}||x||_2 \ ||x||_infty le ||x||_2 le sqrt{n}||x||_infty \ ||x||_infty le ||x||_1 le n ||x||_infty \ ]

1.2 矩阵范数

矩阵范数的含义和向量范数相同，时(R^{n imes m})矩阵向实数域的单值映射。

1.2.1 矩阵范数定义

定义如下：

设(N(A)=||A||)是定义在(R^{n imes m})上的实值函数，且满足以下四个条件：

非负性：即(||A||ge0,||A||=0)当且仅当A=0。

齐次性：即(||alpha A||=|alpha|||A||,alpha in R)。

三角不等式：即(||A+B||le ||A||+||B||, A,B in R^{n imes m})。

矩阵乘法不等式：即(||AB||le||A||||B||; A,B in R^{n imes m})。

则称N(A)为矩阵A的范数。

1.2.2 常用的矩阵范数

1-范数：矩阵各列绝对值和的最大值。(||A||_1=max{ sum_{i=1}^m |a_{i,j}| })
(infty)范数：矩阵各行绝对值和的最大值。(||A||_infty=max{ sum_{j=1}^n |a_{i,j}|})
F-范数：矩阵元素平方和的算术平方根。(||A||_F=(sum_{i=1}^m {sum_{j=1}^n |a_{i,j}|^2})^{1/2})
2-范数：又叫谱范数。(||A||_2=sqrt{lambda_1})，其中，(lambda_1=max{lambda_i})，(lambda_i)为(A^TA)的特征值的最大值。
L0-范数：矩阵中非零元素的个数。通常用来描述矩阵的稀疏性。
L1-范数：矩阵元素绝对值之和，和L0范数一样，可以表示矩阵的稀疏性。
L21-范数：先将矩阵每列求向量的2-范数，然后将结果求1-范数。
核范数：矩阵奇异值之和。可以用低秩来表示。

1.2.3 矩阵范数与向量范数的关系

实际应用中，矩阵和向量常常有一定关系，即满足矩阵、向量乘法的相容关系并且有结论：

(||AX||le||A||||X||).

同时，可以定义算子范数来描述矩阵和向量的关系：

定理 :

设向量(X in R^n)，矩阵(Ain R^{n imes m})，给定一种向量范数(||X||_r)，若有(||A||_r=max frac{||AX||_r}{||X||_r}),则称(||A||_r)为A的范数，并且它与所给定的向量范数相容。

2 范数的理解

前面已经讨论，向量的范数可以理解为对向量大小的一种定义。

比如，最为简单的，向量的2-范数在3维时有直观的几何含义：(x={x_1,x_2,x_3}),在直角坐标系下，表示一个由原点指向((x_1,x_2,x_3))的矢量，x的2-范数表示此矢量的模。将2-范数推广，表示任意唯独中矢径长度。也即向量x的大小。

在此基础上，理解矩阵范数就很容易。

AX=Y,表示矩阵A将X映射为Y，映射之后，向量的大小发生了变化，变化的因子就是矩阵A的范数。（是不是和雅可比矩阵表示体积变化的含义很类似？）

3. 范数在数值计算中的应用

这一部分主要是在误差分析里面用到。