0 向量内积的计算方法

高中的小知识

对于两个维数相同的的向量 \(\boldsymbol{a}=\begin{bmatrix}a_1 \\ \cdots \\ a_n\end{bmatrix}\) 和 \(\boldsymbol{b}=\begin{bmatrix}b_1 \\ \cdots \\ b_n\end{bmatrix}\), 他们的内积 \(\boldsymbol{a}\cdot\boldsymbol{b}=\sum_{i=1}^n a_ib_i\)

举个例子, \(\boldsymbol{a}=\begin{bmatrix}1 \\ 2 \\ 3\end{bmatrix}\) 和 \(\boldsymbol{b}=\begin{bmatrix}6 \\ 5 \\ 4\end{bmatrix}\), 那么他们的内积就是 \(\boldsymbol{a}\cdot\boldsymbol{b}=1\cdot6+2\cdot5+3\cdot4=28\)

0.1 内积的几何意义

依旧是高中的知识, 对于两个向量 \(\boldsymbol{a}\) 和 \(\boldsymbol{b}\), 其内积的几何意义就是 \(\boldsymbol{a}\) 在 \(\boldsymbol{b}\) 方向上的投影长度乘以 \(\boldsymbol{b}\) 的长度

• 当 \(\boldsymbol{a} \cdot \boldsymbol{b}=0\) 时, \(\boldsymbol{a}\) 和 \(\boldsymbol{b}\) 垂直
• 当 \(\boldsymbol{a} \cdot \boldsymbol{b}=|\boldsymbol{a}| \cdot |\boldsymbol{b}|\) 时, \(\boldsymbol{a}\) 和 \(\boldsymbol{b}\) 同向且平行(共线), 反之反向且平行(共线)
• 当 \(\boldsymbol{a} \cdot \boldsymbol{b}>0\) 时, \(\boldsymbol{a}\) 和 \(\boldsymbol{b}\) 夹角在 \(0^\circ\) 到 \(90^\circ\) 之间, 反之夹角在 \(90^\circ\) 到 \(180^\circ\) 之间

0.2 内积的交换律

我们从公式中可以知道, \(\boldsymbol{a}\cdot\boldsymbol{b}=\sum_{i=1}^n a_ib_i=\sum_{i=1}^n b_ia_i=\boldsymbol{b}\cdot\boldsymbol{a}\)

也就是说, 将 \(\boldsymbol{a}\) 投影到 \(\boldsymbol{b}\) 乘以 \(\boldsymbol{b}\) 的长度和将 \(\boldsymbol{b}\) 投影到 \(\boldsymbol{a}\) 乘以 \(\boldsymbol{a}\) 的长度的结果是一样的

这听上去很反直觉, 接下来我们尝试解释:

当 \(|\boldsymbol{a}|=|\boldsymbol{b}|\) 时, 总能找到一条线, 使得 \(\boldsymbol{a}\) 和 \(\boldsymbol{b}\) 关于这条线对称, 此时使用内积的几何意义易证明交换律

此时保持二者方向不变, 并将 \(\boldsymbol{a}\) 伸缩变换(数乘)至 \(\boldsymbol{a}^\prime=k\boldsymbol{a}\), 此时 \(\boldsymbol{a}^\prime\) 在 \(\boldsymbol{b}\) 方向上的投影长度变为原来的 \(k\) 倍, 那么可以得到 \(\boldsymbol{a}^\prime\cdot\boldsymbol{b}=k\boldsymbol{a}\cdot\boldsymbol{b}\)

类似地, \(\boldsymbol{b}\) 在 \(\boldsymbol{a}^\prime\) 方向上的投影长度不变, 但是 \(\boldsymbol{a}\) 的长度变为原来的 \(k\) 倍, 那么可以得到 \(\boldsymbol{b}\cdot\boldsymbol{a}^\prime=k\boldsymbol{b}\cdot\boldsymbol{a}\)

又因为我们已经证明了 \(\boldsymbol{a}\cdot\boldsymbol{b}=\boldsymbol{b}\cdot\boldsymbol{a}\), 所以 \(\boldsymbol{a}^\prime\cdot\boldsymbol{b}=\boldsymbol{b}\cdot\boldsymbol{a}^\prime\)

1 向量内积与线性变换

还记得上一篇笔记中刨的坑吗? 对于一个单行矩阵, 其与点积关联紧密, 而单行矩阵, 事实上就是一阶线性变换, 换句话说, 是将整个空间压缩到一根数轴上

没想到吧, 小学时候学的数轴现在还有用

然而, 并不是所有变换到数轴上的变换都是线性变换, 还记得在线性变换中提到的线性变换的条件吗? 所谓直仍直, 原仍原, 放到这里就是有一系列等距分布在一条线上的点, 经过变换后, 依然等距分布在一条线(数轴)上, 而且原点经过变换后还是原点

举个例子, 下面这种变化就符合线性变换

但是下面这个就不符合了

不难发现, 变换后, 基向量均被压缩成了一个一维向量, 于是我们能用一个单行矩阵来表示这个变换 \(\begin{bmatrix}i^\prime & j^\prime & \cdots \end{bmatrix}\)

为了方便, 下文讨论的变换如未特殊说明, 均为线性变换, 且均由二维空间变换到一维空间

举个例子, 考虑变换 \(A=\begin{bmatrix}1 & 3\end{bmatrix}\) 和向量 \(\boldsymbol{x}=\begin{bmatrix}51 \\ 210\end{bmatrix}\), 那么变换后的结果就是 \(A\boldsymbol{x}=\boldsymbol{x}^\prime=\begin{bmatrix}681\end{bmatrix}\), 这仍旧是一个向量

聪明的小朋友已经发现了, 我们得到 \(681\) 这个数字的过程实际上就是将 \(1 \times 51 + 3 \times 210\), 若是我们将 \(A\) 竖过来写(虽然这样看起来不是很专业, 真的吗?)变成一个向量 \(\boldsymbol{n}=\begin{bmatrix}1 \\ 3\end{bmatrix}\), 我们可以惊奇地发现上述的过程实际上就是 \(\boldsymbol{x}\cdot\boldsymbol{n}\) 的过程

1.1 一行二列矩阵与二维向量之间的关系

从上文中的颠来倒去中我们可以感觉到, 二者有着一种微妙的关系, 将向量转化为数的线性变换与这个向量本身有着某种关系

考虑一根在二维平面内过原点的数轴(其实就是一个正比例函数), 其上面的单位向量记为 \(\boldsymbol{\hat{e}}\), 以及一个线性变换 \(L(x, y)\rightarrow\boldsymbol{v}\), 线性这个词确保其上面每个点投射(变换)到数轴上时都是符合线性变换的

值得一提的是, 通过线性变换得到的结果 \(\boldsymbol{v}\) 仍旧是一个向量, 但其不因为处在一个二维空间内而具有两个维度, 也不只是一个数字

另外, \(\boldsymbol{\hat{e}}\) 并不因为其落在数轴上而变成一维向量, 其仍旧是一个二维向量, 他规定了数轴的方向, 以及数轴上的单位长度, 只是恰好落在数轴上而已, 其在数轴上的投影为 \(\begin{bmatrix}1\end{bmatrix}\), 然而其坐标其实是 \(\begin{bmatrix}\cos\theta \\ \sin\theta \end{bmatrix}\), 其中 \(\theta\) 为 \(\boldsymbol{\hat{e}}\) 与 \(x\) 轴的夹角

要找到二者之间的联系, 最直接的是通过各自的基向量来研究, 也就是说, **只要我们找到变换后的 \(\boldsymbol{\hat{i}}\) 和 \(\boldsymbol{\hat{j}}\) 在数轴上的坐标, 就能将二维向量转化为

不妨从 \(\boldsymbol{\hat{i}}\) 入手, 其在数轴上的投影坐标是什么? 根据上文中 \(\boldsymbol{\hat{i}}\cdot\boldsymbol{\hat{e}}=\boldsymbol{\hat{e}}\cdot\boldsymbol{\hat{i}}\), 且 \(|\boldsymbol{\hat{i}}|=|\boldsymbol{\hat{e}}|\), 我们可以知道 \(\boldsymbol{\hat{i}}\) 在数轴上的投影长度就是 \(\boldsymbol{\hat{e}}\) 在 \(x\) 轴上投影的长度 \(=\boldsymbol{\hat{e}}_x\)

那么这时候就知道了, 所求投影的坐标就是 \(\begin{bmatrix}\boldsymbol{i}^\prime_x \\ \boldsymbol{i}^\prime_y\end{bmatrix}\)…

¿

真的吗

其实不然, 上文中已经强调过了, 只要投影到数轴上了, 换言之经历了变换 \(L\) 了, 那么其坐标就应该是一个一维向量, 此时 \(\boldsymbol{\hat{i}}\) 在数轴上的投影坐标就是 \(\begin{bmatrix}\boldsymbol{\hat{e}}_x\end{bmatrix}\)

同理, 变换后的 \(\boldsymbol{\hat{j}}\) 在数轴上的投影坐标就是 \(\begin{bmatrix}\boldsymbol{\hat{e}}_y\end{bmatrix}\)

那么代表这根数轴所对应的一维线性变换就是 \(\begin{bmatrix}\boldsymbol{\hat{e}}_x & \boldsymbol{\hat{e}}_y\end{bmatrix}\)

巧合的是, 对于这根数轴, 我们要是用 \(\boldsymbol{\hat{e}}\) 来代表它, 那么它可以被写成 \(\begin{bmatrix}\boldsymbol{\hat{e}}_x \\ \boldsymbol{\hat{e}}_y\end{bmatrix}\)

到此, 我们成功地将矩阵乘法(线性变换)与向量内积联系起来了:

对于一个一维线性变换的结果, 我们可以将其表示为一个一维向量, 而这个一维向量的模长就是原向量在数轴基向量上的投影长度, 即 \(\boldsymbol{x}\cdot\boldsymbol{\hat{e}}\), 从此内积不再是简单的投影, 而是折射出线性变换的影子

1.2 一些更深入的联系

1.2.1 线性性质

我们知道, 对于 \(k\boldsymbol{a}\cdot\boldsymbol{b}=k(\boldsymbol{a}\cdot\boldsymbol{b})\), 我们可以将其应用到一维线性变换中, 即将原有的方向 \(\boldsymbol{\hat{e}}\) 向量乘以一个系数, 那么变换后的基向量的坐标也需乘以对应的系数(基向量的坐标是用上文中证明交换律的对称性证明的, 因此上文中将一个向量数乘的思想 在这里仍然使适用), 则对应的单行矩阵中每个值都需进行同样的数乘, 最后得到的与目标向量进行内积运算的向量(矩阵倒过来后的向量)模长也需乘以这个系数, 最后的结果自然就是 \(k(\boldsymbol{x}\cdot\boldsymbol{\hat{e}})\)

1.2.2 一维线性变换的意义

至此, 对于所有的从二维到一维的线性变换, 我们都可以在空间内找到一个一维向量 \(\boldsymbol{\hat{e}}\), 使得对目标向量应用变换的结果的模长 \(\leftrightarrow\) 将目标向量与 \(\boldsymbol{\hat{e}}\) 进行内积运算的结果

1.2.3 对偶性

我们很惊喜地将一个线性变换与一个向量联系起来了, 对于这种自然却出乎意料的对应关系, 称为对偶性

在上文中, 我们可以说 1. 一个向量的对偶是由它定义的线性变换 2. 一个多维空间到一维空间的线性变换的对偶是这个对位空间中的某个特定向量 3. 两个向量的内积的结果是将其中一个向量的对偶线性变换应用于另一个向量上的结果(的模长)