线性方程组

矩阵 $A$ 把每个候选向量 $x$ 变成一组线性测量。从列向量看，$x$ 的各分量是组合系数，方程 $Ax=b$ 就在问这些列向量能否组合出 $b$。若 $b$ 在列空间外，怎样选择系数都无法达到目标；若在列空间内，至少能找到一组系数。

已有一个特解 $x_0$ 时，$Ax=b$ 等价于 $A(x-x_0)=0$。因此核公理库线性映射的核与像Kernel and image · Null space and range分别记录被线性映射压到零的方向与实际能够到达的向量集合。给出所有不改变测量结果的移动方向，全部解就是从 $x_0$ 出发沿这些方向移动得到的集合。核只有零向量时，解便唯一；核有多少维，就有多少个自由参数。

$x+y=1$ 在 ${\mathbb{R}}^2$ 中只有一个独立约束，解为仿射直线 $(t,1-t)$；加入 $x-y=0$ 后才得到唯一解 $(1/2,1/2)$。若第二个方程取 $2x+2y=2$，它只是第一式的倍数，不会缩小解集；改成 $2x+2y=3$ 后，增广矩阵秩大于系数矩阵秩，系统便不相容。

当未知量多于方程，即 $n>m$ 时，$\mathrm{rank}A\le m<n$，所以齐次系统一定有非零解。对非齐次系统，还需检查 $b$ 是否在列空间内；例如上面的两个矛盾方程即使再加入一个未出现的未知量 $z$，也仍然无解。对于方阵，行列式非零则等价于每个右端都有唯一解。

系数域也参与决定答案。例如 $2x=1$ 在 $\mathbb{Q}$ 中的解为 $1/2$，在特征 $2$ 的域中却变成 $0=1$，因而无解。

对实数或复数上的非奇异稠密方阵，带选主元的 Gaussian 消元与 LU 分解公理库Gaussian 消元与 LU 分解Gaussian elimination · LU factorization · PA equals LU把 Gaussian 消元保存为可复用的带置换 LU 分解，再用三角求解处理一个或多个右端。把原方程组转成两个三角系统公理库三角线性方程求解Triangular solve · Forward substitution · Backward substitution按依赖顺序用前代或回代求解三角系统，作为 LU、Cholesky 与 QR 分解后的共同计算底层。，再由前代和回代求解。大型稀疏系统则常用迭代法，通过矩阵与向量的乘积逐步改进近似解。

迭代法的选择取决于结构。平稳迭代法公理库定常线性迭代法Stationary iterative methods以固定矩阵分裂统一 Jacobi、Gauss–Seidel 与 SOR，并由迭代矩阵谱半径判定任意初值下的收敛。的标准收敛条件是迭代矩阵的谱半径小于 $1$；共轭梯度法公理库共轭梯度法Conjugate gradient method · CG method在 Hermitian 正定系统的 Krylov 子空间中最小化能量误差，以三项递推获得共轭方向和短存储迭代。用于 Hermitian 正定系统；GMRES公理库GMRES 方法GMRES · Generalized minimal residual method在 Krylov 仿射空间中逐步最小化线性系统的二范数残差，并权衡 Arnoldi 正交化、存储和重启代价。可处理一般非奇异方阵系统，并允许非对称矩阵。GMRES 保存增长的 Krylov 基，重启可以限制存储，但也可能放慢收敛。问题条件性公理库线性方程组的条件数与扰动Conditioning of linear systems · Matrix condition number把一般问题条件性具体化为可逆线性系统的右端、系数矩阵与联合扰动界。则决定数据扰动和求解误差会在解中放大多少。

在支持精确域运算时，行化简公理库行化简Row reduction用初等行变换把矩阵化为阶梯形以求解线性方程组和判定秩。处理任意有限长方系统，通过保持解集的行变换，找出主元、自由变量以及可能出现的矛盾行；秩–零化度定理公理库秩–零化度定理Rank–nullity theorem有限维线性映射的定义域维数等于核维数与像维数之和。则把主元数转成解空间维数。插值问题也使用这套结构：将各个插值节点代入待求多项式后，每个条件都是关于多项式系数的一条线性方程，节点如何选择决定了这些约束是否独立。

实数或复数上的方程不相容时，最小二乘公理库最小二乘与正规方程Least squares · Normal equations将目标向量正交投影到矩阵列空间，并以残差正交条件导出正规方程。把右端正交投影到列空间，再求解对应的方程；正规方程表达了残差与列空间正交这一最优性条件。

在统计线性模型公理库线性回归统计模型Linear regression model · Linear model响应的条件均值由设计变量对未知系数线性表示，并显式规定误差结构的统计模型。中，若设计矩阵 $X$ 秩亏，则沿 $\ker X$ 改变参数不会改变均值 $X\beta$。广义逆可以从等价的拟合参数中选出一组，但仍无法区分同一核方向上的取值。可由均值识别的线性对比，其系数向量位于 $X$ 的行空间，因此在所有等价参数上取值相同。