线性方程组问题，通常表达为：
假设$A \in R^{m*n}, b\in R^m $。通常情况下，如果矩阵$A$可逆，那么该线性方程组的解$x=A^{-1}b$。但是当矩阵A不可解的时候，该线性方程组可能无解或者有无穷多个解。
矩阵的列空间
如何判断什么时候有唯一解，无解或者无穷多解从矩阵$A$的列空间来看是非常明了的。
矩阵$A$的列空间为矩阵$A$的列向量构成的向量空间：
- 如果矩阵$A$的列数n为m，且$A$的列向量能够张成$R^m$空间，那么由于$b$也在$R^m$空间，那么肯定有矩阵$A$的列向量线性组成$b$，且该线性组合是唯一的，即此时有唯一解。
- 如果矩阵$A$的列数n小于m，则$A$的列向量不能够张成$R^m$空间，$A$的列空间会是$R^m$空间的子空间，如果此时$b$恰好在这个子空间中，那么此时线性方程组有解；如果$b$不在该子空间中，就无解。
- 如果矩阵$A$的列数n大于m，如果$A$的列向量不能够张成$R^m$空间，则结果同上。如果$A$的列空间会是$R^m$空间的子空间，那么此时矩阵$A$的列向量有无穷多的线性组合$b$，此时有无穷多解。
伪逆（moore-penrose)
如果线性方程组存在无穷多解的时候，可以使用伪逆来求解。伪逆定义为：
主要是来自于矩阵的奇异值分解：
其中$D^+$是对对角矩阵$D$中非零对角元素取导数得到的。
此时有：
当矩阵$A$的列数多于行数的时候，使用伪逆求解线性方程会得到一个解$x=A^+y$，该解会是方程所有解中二范数最小的一个。
当矩阵$A$的列数小于行数的时候，使用伪逆的解$x=A^+y$到$y$的距离最短。