我之前以为我好像cover掉了所有的内容，翻翻课本，发现落下了一些东西。不知道读者的体验如何，当笔者学习线性代数的时候，最困扰的地方有两个：
- 转置的几何意义——我需要声明的是，直到现在，哪怕我写了一章有关于转置的几何意义，我还是没有办法完全理解它，我后面可能会写一篇专门讲转置的文章。
- 二次型。
在我看来，二次型是矩阵论中，将几何与代数连接起来的东西，是一个桥梁，但是怎么连接的，我却难以说出个所以然来。这次就来探讨一下。
本文首先只讨论正定二次型，因为它最容易通过几何理解。
从圆与椭圆开始……
Takeaway:
二次型指定了一种距离的衡量方式。
二次型是什么？其定义很简单，是关于一些变量的二次齐次多项式，比如：
$$ Q_1(x,y)=4x^2+3xy+2y^2 $$
就是一个二次型。很显然，对于两个变量而言，一个最基础的二次型是：
$$ Q_2(x,y)=x^2+y^2 $$
我们都知道——这是一个圆。如果给这个二次型设定一个值，比如$Q_2(x,y)=1$，那么它在标准直角坐标系xOy上花了一条线，这条线上的点就是所有从原点出发，长度/距离为1的点所形成的一条线。为什么它是一个圆？这个问题听起来很蠢，但是却和我们后面要讲的东西息息相关，其原因是——这个二次型指定了一种距离的衡量方式，它在所有方向上的尺度都一致。
我们改一下这个二次型：
$$ Q_3(x,y)=4x^2+y^2 $$
这是一个什么形状？当$Q_3(x,y)=1$时，我们很容易发现——这是一个椭圆，而且是一个y轴长，x轴短的一个椭圆，为什么？这里我们指定了另一种距离的衡量方式——x轴移动的代价变高了。
……到交叉项的迷思……
Takeaway:
交叉项不一定表示二次型本身很复杂，而很可能表示我们的观察方向不是最自然的方向。
当然，二次型不仅仅只有上面的形式，还有这样的形式，比如一个二次型：
$$ Q_4(x,y)=5x^2+4xy+2y^2 $$
这是个什么形状？我们画一下：
这是一个倾斜的椭圆。为什么？因为我们没有找到观察这个形状最自然的坐标轴，比如我们的这个椭圆，依靠椭圆的长轴和短轴方向观察最为自然，但是我们现在的观察方向并不是这两个轴，这造成了一定程度的偏移。对于一个圆而言，没有最自然方向这一说，因为每个方向行走，代价都是一样的。而椭圆则不一样，改变了一个方向的代价，那么最好以这个方向为观察方向，沿着其他方向移动，不仅会引入修改方向的分量，也会引入其他方向的分量，这就是交叉项的成因。为什么？我们从代数上解释一下。假设在它自己的主轴坐标 $(u,v)$ 中，二次型很简单：
$$ Q=\lambda_1u^2+\lambda_2v^2. $$
这里没有交叉项，因为 $u,v$ 正好沿着椭圆的长轴和短轴。现在假设主轴相对于 $x,y$ 坐标轴旋转了角度 $\theta$。那么：
$$ u=x\cos\theta+y\sin\theta, $$
注意，$u$ 已经不只是 $x$，而是 $x,y$ 的混合；$v$ 也是如此。代回二次型：
$$ Q= \lambda_1(x\cos\theta+y\sin\theta)^2 +\lambda_2(-x\sin\theta+y\cos\theta)^2. $$
展开第一项：
$$ (x\cos\theta+y\sin\theta)^2 = x^2\cos^2\theta +2xy\sin\theta\cos\theta +y^2\sin^2\theta. $$
展开第二项：
$$ (-x\sin\theta+y\cos\theta)^2 = x^2\sin^2\theta -2xy\sin\theta\cos\theta +y^2\cos^2\theta. $$
合起来：
$$ Q= (\lambda_1\cos^2\theta+\lambda_2\sin^2\theta)x^2 $$
所以交叉项的系数是：
$$ 2(\lambda_1-\lambda_2)\sin\theta\cos\theta = (\lambda_1-\lambda_2)\sin 2\theta. $$
……再到矩阵这家伙的登场……
Takeaway:
二次型矩阵的目的就是告诉你，每两个方向之间应该如何做测量。
二次型所对应矩阵的特征向量方向，就是最自然的观测方向。
「嘿，你这家伙，我明白了，矩阵这个东西不就是在一定程度上，形容方向的吗？」没错！我们发现，对一个二次型所示形状的观察，需要找到最自然的方向，那么我们可以先把观测方向变一下，然后再观察，岂不自然很多。这听起来就很像矩阵要干的事情！
我们通过之前的论述知道，二次型其实指定了一种距离的测量方式，那么我们先来考虑，一个向量的距离该怎么衡量？是范数。而且我们最常用的范数是2-范数：
$$ ||x||_2=\sqrt{x_1^2+x_2^2+\cdots+x_n^2} $$
两边都给个平方：
$$ ||x||^2_2=x_1^2+x_2^2+\cdots+x_n^2 $$
这就变成了向量每一项的平方和的形式，这很显然就是：
$$ ||x||_2^2=\langle x,x\rangle=x^Tx=x^TIx $$
那么，改变不同的测量方式，就变成了：
$$ Q(x)=x^TAx $$
其中，$A$是一个正定对称矩阵。
「你先慢点，凭什么把单位阵变成对称阵就能表示二次型了？」没错，让我们来解释一下。我们来看一下普通的内积是：
$$ \langle x,y\rangle=x^TIy=x^Ty. $$
单位矩阵
$$ I= \begin{pmatrix} 1&0\\ 0&1 \end{pmatrix} $$
表达了三件事：
$$ \|e_1\|^2=1,\qquad \|e_2\|^2=1,\qquad \langle e_1,e_2\rangle=0. $$
也就是说：不仅横轴单位向量长度为1，纵轴单位向量长度为1，而且横纵两轴互相垂直。因此，$I$ 代表的是“两个方向尺度相同、彼此正交”的普通欧氏测量规则。对于一个复杂点的二次型，比如：
$$ A= \begin{pmatrix} 4&0\\ 0&1 \end{pmatrix}. $$
定义：
$$ \langle x,y\rangle_A=x^TAy. $$
那么两个标准基向量的长度变成：
$$ \|e_1\|_A^2=e_1^TAe_1=4, $$
所以：
$$ \|e_1\|_A=2. $$
而：
$$ \|e_2\|_A^2=e_2^TAe_2=1, $$
所以：
$$ \|e_2\|_A=1. $$
这意味着在这个二次型的测量标准下，横向走一个坐标单位，被认为走了长度2；纵向走一个坐标单位，仍然被认为走了长度1。这就是为什么这个形状对应着一个椭圆。实际上，这个椭圆是另一个空间中的圆。
okok，到这里读者应该理解这个矩阵的基本作用了——这个矩阵的目的就是告诉你，每两个方向之间应该如何做测量。所以这个矩阵必须是对称的，因为在我们一般的空间中，两个方向之间的测量，必须需要满足交换律。到这里，我们可以拉开这个矩阵脸上，蒙着的最后一层面纱了，这个矩阵就是Gram矩阵，其元素就是：
$$ G= \begin{pmatrix} \langle e_1,e_1\rangle&\cdots&\langle e_1,e_n\rangle\\ \vdots&&\vdots\\ \langle e_n,e_1\rangle&\cdots&\langle e_n,e_n\rangle \end{pmatrix} $$
有了矩阵，就很好找到最自然的观测方向了——那就是矩阵的特征向量方向，如果$x$为$A$的特征向量，那么：
$$ Q(x)=x^TAx=x^T\lambda x=\lambda x^Tx $$
就能把交叉项全部去掉了。换一个角度，特征向量满足：
$$ Ax=\lambda x $$
也就是在这个方向运动，不会产生其他方向的分量。
……但二次型不都衡量距离
Takeaway:
二次型实际上描述沿着不同方向移动的代价的组合方式。
特征值体现了这种组合方式的性格。
到目前为止，我们讨论的二次型都是正定的，这种二次型被称为正定二次型。它之所以能够被解释为一种距离，是因为任何非零向量在这套测量规则下，都具有严格大于零的长度。这是因为，在不同方向走，都对距离有着正向的贡献。
那么我们来看一个稍微奇怪一些的二次型：
$$ Q(x,y)=x^2 $$
如果令$Q(x,y)=1$，就能解出，$x=\pm 1$，这是两条平行于y轴的平行线。很难说这是一种空间上的距离测量方式，因为它只考虑了二维向量的一个维度的信息。
我们甚至可以构造更加奇怪的二次型，比如：
$$ Q(x,y)=x^2-y^2 $$
如果取一个定值，比如$Q(x,y)=1$，很显然是一个双曲线的形式。这是因为，在x轴上运动，对距离的贡献是正向的，但是在y轴上运动，就是负向作用。此时，二次型不再描述一种通常意义上的距离，而是在区分空间中不同性质的方向。也就是说，二次型并不是描述了距离，而是一种通用层面的……呃……沿着不同方向移动的代价的组合方式。
那么，根据之前的论述，不难明白，判断一个二次型属于哪一类，本质上只需要观察特征值的符号：
- 如果所有特征值都大于零，二次型正定；
- 如果所有特征值都大于等于零，但至少一个等于零，二次型半正定；
- 如果既有正特征值，又有负特征值，二次型不定。
特征值不只是某些抽象的代数参数。它告诉我们，沿着相应特征向量方向移动时，二次型如何评价这一方向，为正？那就是正向的影响；为零？那就不考虑这个方向；为负？那就是负向影响。