计算方法如高斯消元, 行阶梯形等先挖个坑

相比于线性代数能够帮助计算机操作空间的用途, 其在更广泛的领域得以应用的原因是其可以解线性方程组, 即元与元之间只有加法和数乘, 且这个方程组与矩阵的乘法可以互化, 举个例子:

考虑一个线性方程组:

\[ \begin{cases} x + y = 1 \\ 2x + 3y = 2 \end{cases} \]

可以转化为矩阵乘法:

\[ \begin{bmatrix} 1 & 1 \\ 2 & 3 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} 1 \\ 2 \end{bmatrix} \]

1 逆矩阵

1.1 逆矩阵的引入

在上面这个式子中, \(A=\begin{bmatrix}1 & 1 \\ 2 & 3\end{bmatrix}\) 表示一种线性变换, 而这个方程则表示我们需要找一个向量 \(\begin{bmatrix}x \\ y\end{bmatrix}\), 其在变换后等于 \(\begin{bmatrix}1 \\ 2\end{bmatrix}\)

对于这个问题, 若是将线性变换的过程颠倒, 那么我们只要计算颠倒后的线性变换应用在目标向量, 即 \(\begin{bmatrix}1 \\ 2\end{bmatrix}\) 后的结果即可, 这个过程就是求逆矩阵, 而倒过来的线性变换就是 \(A\) 的逆矩阵 \(A^{-1}\)

1.2 逆矩阵的定义

那么究竟什么是逆矩阵? 给出一个显然的定义: 对于矩阵 \(A\), 其逆矩阵 \(A^{-1}\) 满足 \(AA^{-1}=A^{-1}A=E\), 其中 \(E\) 是单位矩阵(\(\begin{bmatrix}1 & 0 \\ 0 & 1\end{bmatrix}\))

(todo)怎么计算逆矩阵的笔记先挖个坑

有了逆矩阵, 我们就可以解线性方程组了, 对于方程组 \(Ax=b\), 其解为 \(A^{-1}b\)

1.3 逆矩阵的存在性

考虑这样一个方程组:

\[ \begin{cases} x + y = 1 \\ x + y = 2 \end{cases} \]

将其转化为矩阵乘法:

\[ \begin{bmatrix} 1 & 1 \\ 1 & 1 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} 1 \\ 2 \end{bmatrix} \]

幼儿园大班就学过, 这个方程显然无解, 现在不妨从线性代数的角度来分析这个问题, 我们可以发现, 对于矩阵 \(A=\begin{bmatrix}1 & 1 \\ 1 & 1\end{bmatrix}\), \(\begin{vmatrix}A\end{vmatrix}=0\), 说人话就是其变换后的基向量 \(\boldsymbol{\hat{i}}\)和 \(\boldsymbol{\hat{j}}\) 线性相关, 再说人话就是变换后空间被压缩了, 从二维空间变成了平行于 \(y\) 轴的直线, 而且很显然, \(\begin{bmatrix}1 \\ 2\end{bmatrix}\) 不在这条直线上, 所以这个方程组无解

讨论完误解的情况, 再考虑一个方程组:

\[ \begin{cases} x + y = 1 \\ 2x + 2y = 2 \end{cases} \]

将其转化为矩阵乘法:

\[ \begin{bmatrix} 1 & 1 \\ 2 & 2 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} 1 \\ 2 \end{bmatrix} \]

我们惊奇地发现, 这个矩阵的行列式为 \(0\), 那么其依旧无解? 显然不是, 其有无数组解: 对于 \(\forall x\), 都有 \(y=1-x\)

那么不妨按照无解情况下的分析方式在分析一遍, 对于线性变换 \(A=\begin{bmatrix}1 & 1 \\ 2 & 2\end{bmatrix}\), 其变换后的基向量 \(\boldsymbol{\hat{i}}\)和 \(\boldsymbol{\hat{j}}\) 线性相关, 而且显然, \(\begin{bmatrix}1 \\ 2\end{bmatrix}\) 在这条直线上. 换言之, 对于任意多的 \(\boldsymbol{x}\), \(A\boldsymbol{x} \parallel \begin{bmatrix}1 \\ 2\end{bmatrix}\) , 而只需要使 \(\begin{vmatrix}A\boldsymbol{x}\end{vmatrix}=\begin{vmatrix}\begin{bmatrix}1 \\ 2\end{bmatrix}\end{vmatrix}=\sqrt{5}\) 即可, 显然符合这个条件的 \(\boldsymbol{x}\) 有无数个

2 秩

2.1 秩的引入

在上文中, 我们发现, 当经历线性变换后, 若空间被压缩, 那么解的情况会有所不同, 且更容易出现无解的情况. 而现在不妨再想象一下, 对于一个三维空间, 同样被压缩, 但一个结果是二维, 一个结果是一维, 二者行列式的值均为 \(0\), 但是此时我们可以很直观地感受到被压缩为二维平面后解更容易存在, 此时二者是有区别的, 因此我们需要一个除了行列式以外的概念来描述这个性质: 矩阵的秩, 来代表变换后空间的维数

2.2 秩的意义

考虑一个二维矩阵, 其秩最大为 \(2\), 即其变换后空间为二维, 不可能升到 \(3\) 维. 其秩为 \(2\) 时, 意味着其基向量仍能张成整个空间, 而当其秩为 \(1\) 时, 意味着其基向量线性相关, 空间被压缩

换言之, 命题”一个 \(n\) 维矩阵的基向量不线性相关, 行列式不为零” \(\lrArr\) “其秩为 \(n\)”

3 列空间

听起来有些抽象, 但其可以类比成一个函数的值域, 即 \(A\boldsymbol{x}\) 取值的集合, 而名字中的”列”则是指矩阵的列向量(基向量), 其张成的空间就是列空间

\[\Omega=\{A\boldsymbol{x}\}\]

以此我们可以给出秩的更精确的定义: 列空间的维数, 当秩与列数相等时, 我们称之为满秩

4 零空间

4.1 零空间的引入

我们不难发现, 对于任意线性变换, \(\boldsymbol{0}\) 必定在列空间中, 原因是线性变换前后原点不动

而对于一个满秩的线性变换, 唯一能在变换后落到原点的向量就是 \(\boldsymbol{0}\), 而对于非满秩的线性变换, 则存在无数个向量在变换后落在原点

举个例子: 对于矩阵 \(\begin{bmatrix}1 & 1 \\ 2 & 2\end{bmatrix}\), 其秩为 \(1\), 其列向量线性相关, 我们要找到 \(\boldsymbol{x}\), \(s.t.\) \(A\boldsymbol{x}=\boldsymbol{0}\), 即 \(\begin{cases}x + y = 0 \\ 2x + 2y = 0\end{cases}\), 显然有无数组解, 这些解构成了一条直线 \(x+y=0\)

将维度拓宽, 对于一个三维变换, 其秩为 \(2\) 时, 仍会有一条直线上的点在变换后落在原点, 而当秩为 \(1\) 时, 则会存在一个平面上的点在变换后落在原点

我们将这些在变换后落在原点的向量构成的集合称为零空间

\[\Omega=\{\boldsymbol{x}|A\boldsymbol{x}=\boldsymbol{0}\}\]

4.2 零空间的基础性质

对于方程组 \(A\boldsymbol{x}=\boldsymbol{0}\), \(A\) 的零空间就是该方程组的解集

总而言之, 列空间让我们知道解个数的情况, 零空间则让我们知道所有解的情况

5 非方阵

矩阵之所以叫矩阵, 而不是叫方阵, 是因为其存在非方阵的情况 (恭喜你读完了一句废话🎉)

考虑这样一个矩阵: \(\begin{bmatrix}1 & 0 \\ -1 & 1 \\ 2 & 1\end{bmatrix}\), 其代表的自然是 \(\boldsymbol{\hat{i}^\prime}=\begin{bmatrix}0 \\ -1 \\ 2\end{bmatrix}\) , \(\boldsymbol{\hat{j }^\prime}=\begin{bmatrix}0 \\ 1 \\ 1\end{bmatrix}\), 我们称之为三行两列矩阵, 其列空间为三维空间中一个过原点的二维平面, 且该矩阵满秩, 因为列空间维数为 \(2\), 等于矩阵列数 (矩阵的维度由基向量个数决定)

因此我们可以这样理解这个矩阵: 它将二维空间映射到了三维空间上, 但其仍就是二维空间

类似的, 对于一个两行三列矩阵, 其列空间为三维空间中一个过原点的二维平面, 但其将三维空间映射到了二维空间上, 其秩为 \(2\), 小于矩阵列数, 因此空间被压缩了

那么这种压缩与降秩的方阵线性变换压缩有什么不同? 个人认为, 通俗来讲, 前者是像投影仪, 将三维的像投影至固定的平面; 后者像是将易拉罐踩扁后留在原地(其在空间中的朝向与位置任意)

对于 \(A_{2\times3} \cdot \boldsymbol{x} = \boldsymbol{v}\), 结果 \(\boldsymbol{y}\) 只有两个坐标 \((y_1, y_2)\). 不能说 \(\boldsymbol{y}\) 的 \(z\) 坐标是 0, 它没有 \(z\) 坐标的概念

对于 \(B_{3\times3} \cdot \boldsymbol{x} = \boldsymbol{y}\), 结果 \(\boldsymbol{y}\) 有三个坐标 \((y_1, y_2, y_3)\), 且这三个坐标必然满足某个平面 (或直线) 方程 (如 \(a y_1 + b y_2 + c y_3 = 0\))

换言之, 后者比前者多一个自由度, 即法向量 (平面) 的朝向

而对于一个单行矩阵, 其与点积关联紧密, 刨个坑, 不知何时再填