【范数定义】
非负实值函数（非线性）
1）非负性： || a || >= 0
2）齐次性： || ka || = |k| ||a||
3）三角不等式： || a + b || <= || a || + || b ||
注：完备的线性赋范空间称为巴拿赫空间（Banach Space）
【向量范数】
lp范数（p范数）： || x ||p = ( Σ |xi|p )1/p ( p = 1 ~ ∞ )
- l1范数 ( p = 1 )， || x ||1 = Σ |xi|
- l2范数 ( p = 2 )， || x ||1 = ( Σ |xi|2 )1/2 （Euclidean Norm）
- l∞范数 ( p = ∞ )， || x ||∞ = maxi { |xi| }
【矩阵范数】
Frobenius Form：|| A ||F = ( tr( AHA ) )1/2
谱范数：|| A ||2 = ( lamdamax( AHA ) )1/2 ( A的最大奇异值，或者AHA的最大特征值 )
【相容矩阵范数】
对于Cmxn上的矩阵范数 || • ||，满足 || AB || <= || A || || B ||
- Frobenius Form是相容范数 （但不是算子范数）
【算子范数】
设 || • ||u 和 || • ||v 分别是Cm和Cn上的向量范数，则导出Cmxn上的矩阵范数 || • ||uv， || A ||uv = max { || Ax ||u } , s.t. || x ||v = 1
- 谱范数由向量范数 || • ||2 导出
- 算子范数是相容范数
【对偶范数（dual norm）】
定义：
令 || • ||为Rn上的范数，定义对偶范数 || • ||* 为： || z ||* = sup { zTx }, s.t. ||x|| <= 1
性质：
lp范数的对偶范数是lq范数，其中1/p + 1/q = 1
证明： 通过Holder不等式证明 |
- l2范数的对偶范数是l2范数
- l1范数的对偶范数是l∞范数