两侧逆（2-sided inverse）

　　我们通常说的逆矩阵都是针对满秩方阵而言，此时AA^-1 = I = A^-1A，A左乘或右乘A^-1的结果都是单位矩阵，所以将这种逆矩阵称为两侧逆。

左逆（Left inverse）

　　如果A是一个m×n的列满秩矩阵，意味着A的各列线性无关，A的秩和列数相等，r = n，但A可能存在更多的行，m ≥ n，此时A的零空间只有零向量，并且Ax = b有唯一解（m = n时）或无解（m > n时）。

　　对于列满秩矩阵来说，对称矩阵A^TA是一个n×n的满秩方阵，因此A^TA可逆，此时：

　　我们称A^-1_left为A的左逆，是一个n×m的矩阵，左逆也是讨论最小二乘问题的核心。

右逆（Right inverse）

　　如果A是一个m×n的行满秩矩阵，意味着A的各行线性无关，A的秩和行数相等，r = m，但A可能存在更多的列，m ≤ n。A的左零空间只有零向量，A的零空间是n - r维，因此有n – r个自由变量，当n > m时，Ax = b有无数解。

　　对于行满秩矩阵来说，对称矩阵AA^T是一个m×m的满秩方阵，因此AA^T可逆，此时：

　　通常来说，右乘左逆得不到单位矩阵，仅在m = n时才有AA^-1_left = I。对于列满秩的m×n矩阵来说，AA^-1_left = A(A^TA)^-1A^T = P，P是A的列空间的投影矩阵。同理，左乘右逆也得不到单位矩阵，A^-1_rightA是A的行空间的投影矩阵。

示例 找出A的右逆：

　　Numpy的pinv函数可以求得右逆：

1 import numpy as np
2
3 A = np.mat('1 0 1; 0 1 0')
4 print(np.linalg.pinv(A))

伪逆（Pseudoinverse）

　　逆矩阵可看作矩阵的逆操作，向量x在A的作用下变成了了Ax，Ax通过A^-1又得到x：

　　方阵A是否可逆和是否存在零空间有关，可逆矩阵的零空间和左零空间都只有零向量。零空间的向量是满足Ax = 0的所有x，假设A存在零空间，那么对于零空间的非零向量来说：

　　此时A的各列的线性组合是0，这意味着A的列是线性相关的，A一定不是满秩的，A是奇异矩阵，A不可逆。

　　列满秩矩阵的零空间只有零向量，有左逆矩阵；行满秩矩阵的左零空间只有零向量，有右逆矩阵。但是对于不满秩的矩阵Am×n（r < n, r < m）来说，两个零空间都存在，此时它无法得到左逆或右逆。

　　假设Am×n是不满秩的矩阵，其行空间和列空间的维数相等。如果此时行空间的一个向量x，经过A的变换，变为列空间的向量Ax，并且x和Ax是一一对应的（如果行空间的两个向量u ≠ v，则Au ≠ Av），那么在把逆操作限制在行空间和列空间上时，A是可以进行逆操作的，A在这两个空间上的逆矩阵称为伪逆，记作A⁺：

　　这里的关键是x和Ax是一一对应的，如果行空间的两个向量u ≠ v，则Au ≠ Av，只有这样，逆操作才成立。为什么会有一一对应？

　　u和v是行空间的两个不同的向量，经过A的转换将变成列空间的另外两个向量Au和Av。我们假设Au = Av，这相当于Au – Av = 0，即A(u – v) = 0，这意味着u – v属于零空间。但u和v是行空间的两个向量，它们的线性组合也属于行空间，与结论矛盾，因此假设不成立，Au ≠ Av。行空间和列空间的向量是一一对应的。