线性代数脉络
- 约 31 分钟读完 - 全文 12288 字线性代数脉络
目标读者:完全没有学过线性代数,或者学过但感觉"全是零散公式、串不起来"的同学。
阅读目标:读完这篇,你应该能回答三个问题——线性代数到底在研究什么?六大章节(行列式、矩阵、方程组、向量组、特征值、二次型)之间是什么关系?每个核心公式"是干什么用的、什么时候用"?
全文尽量用白话,每个公式都配一句"人话解释",例题只用小数字,保证你能动手验证。
一、先看全局:线性代数知识地图
很多新人学线性代数最大的痛苦是:每章都会算,但不知道章节之间有什么关系。其实整门课可以串成一条线:
flowchart TD
A[行列式<br/>一个数] --> B[矩阵<br/>一张表格]
B --> C[线性方程组<br/>Ax = b]
B --> D[向量组<br/>线性相关/无关]
C --> E[秩 rank<br/>贯穿全课的核心概念]
D --> E
E --> F[特征值与特征向量<br/>Av = λv]
F --> G[相似对角化<br/>P⁻¹AP = Λ]
G --> H[二次型<br/>xᵀAx 与正定性]
style A fill:#e1f5ff
style E fill:#ffe1e1
style H fill:#e8ffe1
一句话概括这条主线:
- 行列式是"算出一个数"的工具,用来判断矩阵是否可逆、方程组是否有唯一解;
- 矩阵是全课的主角,后面所有内容都是围绕矩阵展开的;
- 线性方程组引出了秩,秩又把方程组和向量组统一了起来;
- 特征值与特征向量研究"矩阵作用在某个方向上只相当于伸缩",是相似对角化的基础;
- 二次型是特征值理论的直接应用,判断正定性靠的还是特征值(或顺序主子式)。
记住一个核心观点:秩(rank)是贯穿线性代数全课的灵魂概念。学到后面你会发现,方程组解的判定、向量组的相关性、可对角化的条件,全都落脚在"秩"或"线性无关"上。
再用一张图把知识和现实世界挂钩——这门课的每个核心工具,都有拿得出手的实际应用:
flowchart TD
A["线性代数核心工具"] --> B["矩阵与变换"]
A --> C["方程组求解"]
A --> D["特征值与特征向量"]
A --> E["二次型与正定性"]
B --> F["计算机图形学:旋转 缩放 投影"]
B --> G["马尔可夫链:状态转移"]
B --> H["神经网络:每层都是矩阵乘法"]
C --> I["最小二乘拟合"]
C --> J["线性回归:正规方程"]
D --> K["PageRank:网页排序"]
D --> L["PCA 降维与数据科学"]
D --> M["SVD:图像压缩"]
E --> N["优化问题:Hessian 正定判极小值"]
后面每章结尾会配一小节"应用场景",把这些连线展开讲清楚。
二、行列式:把一张数表算成一个数
2.1 行列式是什么
矩阵是一张 $m \times n$ 的数表,而行列式是给方阵($n \times n$)定义的一个数。这是新人最容易混淆的第一点:行列式不是表格,是一个数值。
二阶行列式:
$$ \begin{vmatrix} a & b \\ c & d \end{vmatrix} = ad - bc $$
白话解释:主对角线(左上到右下)相乘,减去副对角线相乘。二阶、三阶都可以用这种"对角线法则"快速算,考试最常考。
三阶行列式(对角线法则):
$$ \begin{vmatrix} a & b & c \\ d & e & f \\ g & h & i \end{vmatrix} = aei + bfg + cdh - ceg - bdi - afh $$
白话解释:三条"主对角线方向"的乘积取正号,三条"副对角线方向"的乘积取负号。注意:对角线法则只对二阶、三阶有效,四阶以上不能这么算(详见避坑技巧)。
$n$ 阶行列式的一般定义(了解即可):
$$ \det(A) = \sum_{(j_1 j_2 \cdots j_n)} (-1)^{\tau(j_1 j_2 \cdots j_n)} a_{1j_1} a_{2j_2} \cdots a_{nj_n} $$
白话解释:每行各取一个元素、且列互不重复,乘起来再按列排列的逆序数 $\tau$ 决定正负号,把所有这样的项加起来。这个定义考试很少直接用来算题,但它能帮你理解行列式性质为什么成立。
2.2 行列式的常用性质
算高阶行列式几乎不靠定义,而是靠性质化简。最常用的几条:
| 性质 | 内容 | 记忆口诀 |
|---|---|---|
| 转置不变 | $\lvert A^T \rvert = \lvert A \rvert$ | 行列地位平等 |
| 换行(列)变号 | 交换两行,行列式变号 | 换一次,翻一次号 |
| 提公因子 | 某行乘以 $k$,行列式乘以 $k$ | 一行提一个 $k$ |
| 倍加不变 | 某行的 $k$ 倍加到另一行,值不变 | 化简主力 |
| 零行得零 | 某行全为 0,行列式为 0 | — |
| 两行成比例 | 两行成比例,行列式为 0 | 含"两行相同" |
还有两个和矩阵运算相关的公式,选择题常考:
$$ |AB| = |A|\cdot|B|, \qquad |kA| = k^n |A| \quad (A \text{ 为 } n \text{ 阶方阵}) $$
白话解释:行列式对乘法"分配";但数乘矩阵时,$k$ 乘的是每一行,$n$ 行每行提一个 $k$,所以是 $k^n$ 而不是 $k$。第二个公式是选择题高频陷阱。
特别注意:$|A + B| \neq |A| + |B|$,行列式对加法没有分配律。
2.3 按行(列)展开
定义代数余子式:去掉第 $i$ 行第 $j$ 列后剩下的 $n-1$ 阶行列式记为 $M_{ij}$(余子式),再乘上符号:
$$ A_{ij} = (-1)^{i+j} M_{ij} $$
白话解释:代数余子式就是"划掉一行一列后的小行列式",再按位置贴上正负号,符号呈棋盘格分布,左上角为正。
按第 $i$ 行展开定理:
$$ \det(A) = a_{i1}A_{i1} + a_{i2}A_{i2} + \cdots + a_{in}A_{in} $$
白话解释:一个 $n$ 阶行列式可以拆成 $n$ 个 $n-1$ 阶行列式来算。实战技巧:选零元素最多的那一行(列)展开,或者先用"倍加不变"把某一行造出多个零再展开——这是手算四阶以上行列式的标准套路。
2.4 应用场景:行列式在现实中干什么
| 场景 | 用到什么 | 解决什么问题 |
|---|---|---|
| 判断系统是否有唯一解 | $\lvert A \rvert \neq 0$ 等价于 $A$ 可逆、$Ax=b$ 唯一解 | 结构力学里刚度矩阵可逆,桥梁/建筑的形变才有确定解;电路方程组同理 |
| 计算机图形学与几何 | 二阶行列式 = 平行四边形有向面积,三阶 = 平行六面体有向体积 | 判断三角形朝向(正面/背面剔除)、求多边形面积 |
| 数值计算与物理 | 行列式 = 线性变换对面积/体积的缩放比 | 积分换元的雅可比行列式、有限元分析中单元是否退化 |
| 数据分析 | $\lvert A \rvert = 0$ 说明各列线性相关 | 快速发现特征冗余:某列指标能由其他列算出,删掉不损失信息 |
一句话记住:行列式是"可逆性"的检测仪,也是"体积缩放比"的度量。后面求逆矩阵、求特征值,都要靠它把"矩阵问题"降级成"一个数是不是零"的问题。
三、矩阵:全课的主角
3.1 矩阵运算
- 加减:同型矩阵对应元素相加减;
- 数乘:$k$ 乘每个元素;
- 乘法:$A$ 是 $m \times s$,$B$ 是 $s \times n$,则 $AB$ 是 $m \times n$,且
$$ (AB)_{ij} = \sum_{k=1}^{s} a_{ik} b_{kj} $$
白话解释:$AB$ 的第 $i$ 行第 $j$ 列元素,等于 $A$ 的第 $i$ 行和 $B$ 的第 $j$ 列"对应相乘再相加"。能乘的前提是左边的列数 = 右边的行数。
矩阵乘法有三个和数的乘法不一样的"脾气",务必牢记:
| 数的乘法 | 矩阵乘法 |
|---|---|
| $ab = ba$ | 一般 $AB \neq BA$(不满足交换律) |
| $ab = 0 \Rightarrow a=0$ 或 $b=0$ | $AB = O$ 推不出 $A=O$ 或 $B=O$ |
| $ab = ac, a \neq 0 \Rightarrow b = c$ | 消去律一般不成立 |
转置运算的常用公式:
$$ (A^T)^T = A, \quad (AB)^T = B^T A^T $$
白话解释:乘积的转置要倒序,这个"倒序"规律和下面逆矩阵的公式长得一样,一起记。
3.2 逆矩阵
定义:若 $AB = BA = E$(单位矩阵),则称 $A$ 可逆,$B$ 记为 $A^{-1}$。
可逆的充要条件:
$$ A \text{ 可逆} \iff |A| \neq 0 $$
白话解释:行列式不为零是矩阵可逆的"通行证"。这也是为什么第一章要学行列式——它就是为这里准备的判别工具。
伴随矩阵求逆公式:
$$ A^{-1} = \frac{1}{|A|} A^{*} $$
其中 $A^{*}$ 是伴随矩阵,由代数余子式转置排列而成:第 $i$ 行第 $j$ 列放的是 $A_{ji}$。
白话解释:这个公式理论证明和抽象题里常用(比如问 $A^{*}$ 的性质),但手算具体矩阵的逆一般不用它,而用下面的初等行变换法。
常用性质(都带"倒序"特征):
$$ (A^{-1})^{-1} = A, \quad (AB)^{-1} = B^{-1}A^{-1}, \quad (A^T)^{-1} = (A^{-1})^T $$
白话解释:这组公式是解"矩阵方程"(如 $AXB = C$,求 $X = A^{-1}CB^{-1}$)的标配工具,也是证明题里的常客。记住口诀:穿脱鞋袜要倒序——先穿袜子后穿鞋,脱的时候就得先脱鞋后脱袜,矩阵的逆和转置同理。
3.3 初等变换:线性代数的"瑞士军刀"
三种初等行变换:
- 交换两行(记 $r_i \leftrightarrow r_j$);
- 某行乘以非零数 $k$(记 $k r_i$);
- 某行的 $k$ 倍加到另一行(记 $r_i + k r_j$)。
白话解释:这三种操作对应解方程组时"换方程顺序、方程两边同乘一个数、两个方程相加减",所以它们不改变方程组的解。
初等行变换法求逆:
$$ (A \mid E) \xrightarrow{\text{初等行变换}} (E \mid A^{-1}) $$
白话解释:把 $A$ 和单位矩阵左右拼起来,只对整个"大矩阵"做行变换;当左边变成 $E$ 时,右边自动就是 $A^{-1}$。这是求逆矩阵的首选方法,比伴随矩阵法快得多,也不容易错。
历史故事:“矩阵"这个词是人造出来的。 1850 年,英国数学家西尔维斯特(James Joseph Sylvester)为了描述"行列式中各阶子式所来自的那张数表”,首次使用了 matrix 一词——它在拉丁语中原意是"母体",取的就是"行列式由它孕育而生"的意思。八年后的 1858 年,他的挚友兼长期合作者凯莱(Arthur Cayley)发表《矩阵论研究报告》(A Memoir on the Theory of Matrices),第一次系统地定义了矩阵的加法、乘法与逆运算,矩阵从此从"行列式的附属记号"升格为独立的研究对象。凯莱当时主要把它当作整理代数方程组的速记法,大概想不到一百多年后,矩阵会成为整个计算科学的通用语言。
3.4 应用场景:矩阵乘法就是"批量变换"
| 场景 | 用到什么 | 解决什么问题 |
|---|---|---|
| 计算机图形学 | 旋转、缩放、投影矩阵;齐次坐标把平移也并入矩阵乘法 | 游戏和动画里每个物体每个姿态都是一次矩阵乘法;GPU 每秒执行数十亿次矩阵乘法,3D 画面就是这么来的 |
| 马尔可夫链 | 状态转移矩阵 $P$,$p_{t+1} = P^{T} p_t$ | 预测市场份额、天气变化、网页浏览路径的演化;$P$ 的幂 $P^n$ 给出 $n$ 步之后的状态分布(这里就用上了对角化算幂) |
| 神经网络 | 每一层都是 $y = Wx + b$ | 深度学习本质是"海量矩阵乘法 + 非线性激活",训练框架和 GPU 硬件都围绕矩阵乘法优化 |
| 密码学 | 可逆矩阵 $A$ 与 $A^{-1}$ | 古典希尔密码(Hill Cipher)用矩阵乘法加密、用逆矩阵解密,是"可逆"概念最直观的应用 |
可以看到:矩阵乘法是"对一大批数据同时施加同一个变换"的记号。这也是为什么工程界离不开它——现实中的变换从来不是一个数一个数地处理,而是一整个向量、一整个图像地批量处理。
四、线性方程组与秩:解的判定
4.1 高斯消元法
解方程组 $Ax = b$ 的标准流程:把增广矩阵 $\bar{A} = (A \mid b)$ 用初等行变换化成阶梯形(最好化成行最简形),然后回代求解。
flowchart TD
A["写出增广矩阵 Ā = (A∣b)"] --> B["初等行变换化为阶梯形"]
B --> C{"比较 r(A) 与 r(Ā)"}
C -->|"r(A) ≠ r(Ā)"| D["无解"]
C -->|"r(A) = r(Ā) = n"| E["唯一解<br/>回代求出"]
C -->|"r(A) = r(Ā) < n"| F["无穷多解<br/>设自由未知量<br/>写通解"]
历史故事:消元法,中国人早用了近两千年。 成书于汉代的《九章算术》第八章"方程",记载了用算筹摆出线性方程组的系数、逐列消元求解的"直除法",本质上就是今天的高斯消元;魏晋时期的刘徽在公元 263 年为它作注时,还给出了更快捷的"互乘相消法"。同一章还首次系统引入了负数及其运算法则(“正负术”)。直到 19 世纪初,高斯在天文观测的最小二乘计算中系统地使用消元法,西方学界才以他的名字命名了这套算法——按时间算,《九章算术》的"方程术"早了约两千年。所以学这一节时,你其实是在复习一门非常古老的计算手艺。
4.2 秩:有效方程的个数
矩阵的秩 $r(A)$:$A$ 中非零子式的最高阶数,也等于阶梯形矩阵中非零行的个数。
白话解释:秩就是"真正起作用的方程(或向量)有几个"。表面上 3 个方程,如果有一个能被另外两个推出来,它就是"废话方程",秩只有 2。
4.3 解的判定定理(必背)
设 $A$ 是 $m \times n$ 矩阵,方程组 $Ax = b$:
| 条件 | 结论 |
|---|---|
| $r(A) \neq r(\bar{A})$ | 无解 |
| $r(A) = r(\bar{A}) = n$ | 唯一解 |
| $r(A) = r(\bar{A}) < n$ | 无穷多解,通解含 $n - r(A)$ 个自由未知量 |
白话解释:增广矩阵的秩比系数矩阵多 1,说明出现了"$0 = 1$“这种矛盾方程,所以无解;秩等于未知数个数 $n$,每个未知数都被"锁死”,解唯一;秩小于 $n$,就有 $n - r(A)$ 个未知数可以随便取,解自然无穷多。
齐次方程组 $Ax = 0$ 的特例(永远有零解,所以只关心有没有非零解):
$$ Ax = 0 \text{ 有非零解} \iff r(A) < n $$
白话解释:$n$ 个未知数、有效方程少于 $n$ 个,“锁不住"所有未知数,就有非零解。特别地,方程个数少于未知数个数($m < n$)的齐次方程组必有非零解。
4.4 应用场景:方程组是"从约束反推答案"的机器
| 场景 | 用到什么 | 解决什么问题 |
|---|---|---|
| 最小二乘拟合 | 数据点比未知数多时 $Ax=b$ 无解,改解正规方程 $A^TAx = A^Tb$ | 给一堆带噪声的测量数据配一条"误差平方和最小"的直线/曲线——实验数据处理的标配 |
| 机器学习线性回归 | 正规方程 $\hat{x} = (A^TA)^{-1}A^Tb$ | 由房价、面积、地段等特征直接解出最优权重,是很多人学的第一个机器学习模型 |
| 电路分析 | 基尔霍夫定律列出节点电流、回路电压方程组 | 求复杂电路中每条支路的电流,电路仿真软件每天都在做 |
| 经济与社会科学 | 投入产出模型(列昂惕夫模型)就是大型线性方程组 | 分析各行业之间的供需依赖:钢铁增产会拉动多少煤炭、电力需求 |
注意一个反差:现实中更常见的不是"恰好有唯一解”,而是"方程太多、无解"(数据有噪声)。这时候"无解"不是终点,而是改用最小二乘找"最接近的解"的起点——秩的理论依然负责告诉你这个替代问题有没有唯一答案。
五、向量组:线性相关与无关
5.1 核心定义
线性组合:$\beta = k_1\alpha_1 + k_2\alpha_2 + \cdots + k_s\alpha_s$,称 $\beta$ 可由向量组 $\alpha_1, \dots, \alpha_s$ 线性表示。
白话解释:能不能用这组向量"调配"出目标向量,等价于一个线性方程组有没有解——向量问题背后还是方程组。
线性相关与线性无关:
$$ \text{存在不全为零的 } k_1, \dots, k_s \text{ 使 } k_1\alpha_1 + \cdots + k_s\alpha_s = 0 \iff \{\alpha_i\} \text{ 线性相关} $$
白话解释:
- 线性相关:这组向量里有"多余的",至少有一个能被其他向量表示出来;
- 线性无关:只有全取零系数才能凑出零向量,说明每个向量都"不可替代",谁也表示不了谁。
判定方法:把向量按列拼成矩阵 $A = (\alpha_1, \dots, \alpha_s)$,则
$$ \{\alpha_1, \dots, \alpha_s\} \text{ 线性无关} \iff r(A) = s \iff Ax = 0 \text{ 只有零解} $$
白话解释:向量个数 $s$ 个、秩也是 $s$ 个,说明没有一个是多余的。又一次回到了秩——这就是"向量组"这章的本质。
5.2 极大无关组与向量组的秩
极大线性无关组:从向量组里挑出的"最精简代表团"——它们彼此线性无关,且组里任何向量都能由它们表示。代表团中向量的个数就是这个向量组的秩。
一个重要结论:
$$ \text{矩阵的秩} = \text{行向量组的秩(行秩)} = \text{列向量组的秩(列秩)} $$
白话解释:三种秩其实是一回事。所以求向量组的秩、找极大无关组,都可以统一用"拼成矩阵做行变换、数非零行"这一招搞定。
flowchart TD
A[向量组问题] --> B[按列拼成矩阵 A]
B --> C[初等行变换<br/>化为阶梯形]
C --> D[非零行数 = 秩]
C --> E[主元所在列对应的原向量<br/>构成极大无关组]
D --> F{秩 = 向量个数?}
F -->|是| G[线性无关]
F -->|否| H[线性相关]
白话解释:注意"主元所在列"要对应回原矩阵的列向量,因为行变换会改变列向量本身,但不改变列向量之间的线性关系——这是初等行变换最妙的性质。
5.3 应用场景:线性无关就是"信息不重复"
| 场景 | 用到什么 | 解决什么问题 |
|---|---|---|
| 特征工程与数据清洗 | 列向量线性相关 ⟺ 特征冗余 | 某列数据能由其他列算出(如"总价 = 单价 × 数量"同时入模),删掉它既不损失信息,还能避免多重共线性导致的回归系数不稳定 |
| 主成分分析(PCA)的思想 | 极大无关组 | 从一堆相关变量里挑出"最精简代表团",用少数几个新变量代表原始信息的绝大部分——第六章会正式遇到它 |
| 坐标系与基 | $n$ 个线性无关向量可张成 $n$ 维空间 | 机器人学、3D 视觉里在不同坐标系间转换,本质就是换一组基重新表示同一个向量 |
| 信号处理 | 一组"基信号"(如不同频率的正弦波)线性无关 | 傅里叶分析的核心思想:任何信号都能唯一地分解为基信号的线性组合 |
一句话记住:“线性无关”= 每个向量都带来新信息,“线性相关”= 有人说了废话。这门课里找极大无关组的功夫,到了数据科学里就变身成特征选择和降维。
六、特征值与特征向量:矩阵的"伸缩方向"
6.1 定义与求法
定义:设 $A$ 为 $n$ 阶方阵,若存在数 $\lambda$ 和非零向量 $\alpha$,使得
$$ A\alpha = \lambda\alpha $$
则称 $\lambda$ 为 $A$ 的特征值,$\alpha$ 为对应的特征向量。
白话解释:矩阵作用在一般向量上会"又转又缩",但作用在特征向量方向上只伸缩不转向,伸缩倍数就是特征值。这是整个特征值理论的几何直觉。
求解两步走:
第一步,解特征方程求特征值:
$$ |\lambda E - A| = 0 $$
白话解释:由 $A\alpha = \lambda\alpha$ 移项得 $(\lambda E - A)\alpha = 0$,$\alpha \neq 0$ 意味着这个齐次方程组有非零解,所以系数行列式必须为零——又一次用上了第四章的结论。
第二步,对每个 $\lambda_i$,解齐次方程组 $(\lambda_i E - A)x = 0$,其非零解就是对应特征向量。
两个常用结论(选择和证明题常客):
$$ \lambda_1 + \lambda_2 + \cdots + \lambda_n = \operatorname{tr}(A), \qquad \lambda_1 \lambda_2 \cdots \lambda_n = |A| $$
白话解释:特征值之和等于对角线元素之和(迹),特征值之积等于行列式。可用来快速验算求出的特征值对不对。
6.2 相似对角化
若存在可逆矩阵 $P$,使
$$ P^{-1}AP = \Lambda = \operatorname{diag}(\lambda_1, \lambda_2, \dots, \lambda_n) $$
则称 $A$ 可相似对角化。
白话解释:换个"坐标系"(由特征向量拼成的 $P$),矩阵的作用就变成了纯粹的沿各坐标轴伸缩。对角化最大的用处是快速算幂:$A^n = P\Lambda^n P^{-1}$,对角矩阵的 $n$ 次幂就是对角线元素各取 $n$ 次幂。
可对角化的充要条件:
$$ A \text{ 可对角化} \iff A \text{ 有 } n \text{ 个线性无关的特征向量} $$
白话解释:关键是特征向量要"够用、且互不冗余"。$n$ 个互不相同的特征值一定对应 $n$ 个线性无关的特征向量(充分条件);但特征值有重根时,要看每个 $k$ 重特征值能不能找出 $k$ 个线性无关的特征向量(几何重数 = 代数重数)。
重要结论:实对称矩阵必可相似对角化,而且不同特征值的特征向量相互正交,可以用正交矩阵 $Q$ 实现 $Q^{-1}AQ = Q^TAQ = \Lambda$。这个结论直接通向下一章的二次型。
历史故事:特征值是从仰望星空开始的。 18 世纪,拉格朗日和拉普拉斯研究行星轨道的长期摄动——木星和土星的引力会不会让彼此的轨道慢慢漂移、太阳系长期是否稳定?这类问题被化成线性微分方程组后,系数矩阵导出的那个代数方程被拉普拉斯称为"长期方程"(équation séculaire)。这个方程的根,正是今天所说的特征值,根的符号决定轨道是长期稳定还是逐渐发散。后来柯西等人把这套思想抽象成一般的矩阵特征值理论,“eigenvalue"一词里的 eigen 来自德语"固有的、特征的”——矩阵与生俱来的那些伸缩方向。
历史故事:凯莱-哈密顿定理。 1858 年,凯莱在那篇矩阵论奠基论文中提出:每个方阵都"满足自己的特征方程"——把 $|\lambda E - A| = 0$ 展开得到的代数方程里,将 $\lambda$ 换成矩阵 $A$ 本身,等式依然成立。凯莱只动手验证了二阶、三阶的情形并断言一般结论成立,完整的一般性证明到 1878 年才由弗罗贝尼乌斯给出。这个定理很实用的一个推论:$A^{-1}$ 可以写成 $A$ 的多项式,求逆矩阵因此多了一条代数路径。
6.3 应用场景:特征值是"矩阵的身份证"
| 场景 | 用到什么 | 解决什么问题 |
|---|---|---|
| 搜索引擎 PageRank | 网页链接矩阵的特征向量 | 1998 年谷歌创始人佩奇(Larry Page)和布林提出:把全网链接关系看成巨型矩阵,其主特征向量(特征值 1 对应的特征向量)的每个分量就是对应网页的重要性得分。这是谷歌的起家技术,也是"特征向量改变世界的"最著名的例子 |
| PCA 降维与数据科学 | 协方差矩阵的特征值分解 | 特征向量 = 数据方差最大的方向(主成分),特征值 = 该方向上的方差大小;只保留最大的几个特征值对应的方向,就能用少数维度保留绝大部分信息——人脸识别、数据压缩的常用手段 |
| 图像压缩与 SVD | 奇异值分解 $A = U\Sigma V^T$(特征值分解的推广) | 把图像看成矩阵,只保留前 $k$ 个最大的奇异值及对应向量,就能用远小于原图的数据量还原出人眼几乎看不出差别的图像 |
| 振动与稳定性分析 | $A^n = P\Lambda^n P^{-1}$,特征值的大小 | 机械振动频率、桥梁共振分析、动力系统是否稳定,都看特征值:模大于 1 的会发散,小于 1 的会衰减 |
为什么特征值这么万能?因为它回答的是一个最本质的问题:这个变换反复作用下去,哪些方向会留下来、放大还是衰减。推荐算法、物理稳定性、数据压缩,问的都是同一件事。
七、二次型:特征值理论的应用
7.1 二次型与矩阵表示
$n$ 元二次型都可以写成矩阵形式:
$$ f(x_1, \dots, x_n) = x^T A x, \quad A = A^T $$
白话解释:交叉项 $2a_{ij}x_ix_j$ 的系数拆成两半,对称地放进矩阵的 $(i,j)$ 和 $(j,i)$ 位置,所以二次型的矩阵一定是对称矩阵。这就接上了"实对称矩阵必可对角化"的结论。
7.2 化标准形
通过可逆线性变换 $x = Cy$(特别是正交变换 $x = Qy$),可以把二次型化为只含平方项的标准形:
$$ f = \lambda_1 y_1^2 + \lambda_2 y_2^2 + \cdots + \lambda_n y_n^2 $$
白话解释:用正交变换化标准形时,平方项的系数恰好就是矩阵 $A$ 的特征值。所以"二次型化标准形"的本质就是"求对称矩阵的特征值并构造特征向量拼成正交矩阵"——第六章的活儿换个马甲又出现一次。
7.3 正定性判定
定义:若对任意 $x \neq 0$ 都有 $x^TAx > 0$,称二次型(及矩阵 $A$)正定。
常用判别法(实对称矩阵 $A$):
| 判别法 | 内容 |
|---|---|
| 定义法 | 任意 $x \neq 0$,$x^TAx > 0$ |
| 特征值法 | $A$ 的全部特征值 $> 0$ |
| 顺序主子式法(Sylvester 准则) | 各阶顺序主子式全 $> 0$ |
顺序主子式即左上角 $1$ 阶、$2$ 阶、$\dots$、$n$ 阶的子行列式:
$$ D_1 = a_{11} > 0, \quad D_2 = \begin{vmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{vmatrix} > 0, \quad \dots, \quad D_n = |A| > 0 $$
白话解释:手算具体矩阵的正定性,首选 Sylvester 准则——从左上角开始逐阶算行列式,全部严格大于零即正定。注意必须是严格大于,全"非负"只能得到半正定。
7.4 应用场景:正定性是"谷底还是山顶"的判据
| 场景 | 用到什么 | 解决什么问题 |
|---|---|---|
| 多元函数优化 | Hessian 矩阵(二阶导数矩阵)的正定性 | 判断极值点性质:Hessian 正定 → 严格极小值,负定 → 严格极大值,不定 → 鞍点。机器学习里分析损失函数形状、牛顿法优化全靠它 |
| 机器学习 | 最小二乘/线性回归的损失是二次型 | 损失函数 $L(w) = \lVert Xw - y \rVert^2$ 是正定二次型,所以它是碗状的、有唯一最小值——这保证了正规方程解的最优性 |
| 物理学 | 动能、势能常写成二次型 | 势能二次型正定 ⟺ 平衡位置稳定(系统在"碗底"),振动理论中的简正模分析 |
| 统计学 | 多元正态分布密度含 $(x-\mu)^T\Sigma^{-1}(x-\mu)$ | 协方差矩阵正定保证分布形态是"椭球形等高线",马氏距离、置信椭球的理论基础 |
一句话记住:二次型研究的是"碗的形状"——正定的二次型就是一个标准的碗,有唯一的底。凡是涉及"最小值"的问题(优化、拟合、能量),最后几乎都要回到这个判断。
八、避坑技巧:新人最容易犯的 9 个错误
坑 1:把行列式和矩阵当成一回事
- 错误说法:“行列式就是方矩阵,两者差不多。”
- 正确理解:矩阵是一张数表,行列式是方阵对应的一个数。两者连符号都不同:矩阵用方括号/圆括号,行列式用竖线。
- 例子:$\begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix}$ 是一张表;$\begin{vmatrix} 1 & 2 \\ 3 & 4 \end{vmatrix} = -2$ 是一个数。
坑 2:以为矩阵乘法可以交换
- 错误说法:"$AB = BA$,反正乘法都能交换。"
- 正确理解:矩阵乘法一般不满足交换律,甚至 $AB$ 能算时 $BA$ 可能根本没有定义(维数对不上)。
- 例子:$A = \begin{pmatrix} 1 & 1 \\ 0 & 1 \end{pmatrix}$,$B = \begin{pmatrix} 1 & 0 \\ 1 & 1 \end{pmatrix}$,算一下:$AB = \begin{pmatrix} 2 & 1 \\ 1 & 1 \end{pmatrix}$,而 $BA = \begin{pmatrix} 1 & 1 \\ 1 & 2 \end{pmatrix}$,并不相等。
坑 3:由 $AB = O$ 推出 $A = O$ 或 $B = O$
- 错误说法:“乘积是零矩阵,那至少有一个是零矩阵。”
- 正确理解:矩阵乘法里"零因子"大量存在,$AB = O$ 推不出任何一方为零。只有当 $A$ 可逆时,才能两边左乘 $A^{-1}$ 推出 $B = O$。
- 例子:$A = \begin{pmatrix} 1 & 0 \\ 0 & 0 \end{pmatrix}$,$B = \begin{pmatrix} 0 & 0 \\ 0 & 1 \end{pmatrix}$,两者都非零,但 $AB = O$。
坑 4:对四阶以上行列式用"对角线法则"
- 错误说法:“主对角线乘积减副对角线乘积,几阶都这么算。”
- 正确理解:对角线法则只适用于二阶和三阶。四阶行列式按定义有 $4! = 24$ 项,对角线法则只给出 8 项,必然漏项。
- 例子:四阶行列式应先用"倍加不变"造零,再按行展开;直接画对角线必错。
坑 5:把行列式的变换规则套到方程组/矩阵等价上
- 错误说法:“解方程组时对增广矩阵做列变换也没关系。”
- 正确理解:解方程组只允许初等行变换(列变换会打乱未知数的对应关系);而化简行列式时行、列变换都可以用,但换行要变号、倍乘要提因子——两套规则不能混用。
- 例子:求逆矩阵 $(A \mid E) \to (E \mid A^{-1})$ 全程只能行变换,做了列变换结果就错了。
坑 6:以为 $|kA| = k|A|$、$|A + B| = |A| + |B|$
- 错误说法:"$2A$ 的行列式就是 $|A|$ 的 2 倍","$|A+B| = |A| + |B|$"。
- 正确理解:数乘矩阵是乘到每一行,$n$ 阶时 $|kA| = k^n |A|$;行列式对加法没有分配律,$|A + B|$ 一般没法拆。
- 例子:$A = E_2$(二阶单位阵),$|2A| = 4$,但 $2|A| = 2$;$|E + E| = 4 \neq |E| + |E| = 2$。
坑 7:把"线性相关"理解成"每个向量都能被其余表示"
- 错误说法:“线性相关就是组里每个向量都能由其他向量线性表示。”
- 正确理解:只需要存在某一个向量能被其余表示即可,不要求每个都行。
- 例子:$\alpha_1 = (1, 0)$,$\alpha_2 = (2, 0)$,$\alpha_3 = (0, 1)$ 线性相关($\alpha_2 = 2\alpha_1$),但 $\alpha_3$ 并不能由 $\alpha_1, \alpha_2$ 表示。
坑 8:以为"有 $n$ 个特征值就一定能对角化"
- 错误说法:"$n$ 阶矩阵求出 $n$ 个特征值(含重根),就能对角化。"
- 正确理解:可对角化的充要条件是有 $n$ 个线性无关的特征向量。特征值互不相同是充分条件;有重根时必须检查每个重根对应的线性无关特征向量个数是否等于其重数。
- 例子:$A = \begin{pmatrix} 1 & 1 \\ 0 & 1 \end{pmatrix}$ 有二重特征值 $1$,但 $(E - A)x = 0$ 的解空间只有一维,凑不齐 2 个线性无关特征向量,故不可对角化。
坑 9:用"顺序主子式非负"判断正定
- 错误说法:“各阶顺序主子式都 $\geq 0$,所以矩阵正定。”
- 正确理解:正定要求各阶顺序主子式严格大于 0;“全部 $\geq 0$“连半正定都不能保证(半正定要求的是所有主子式非负,不只是顺序主子式)。
- 例子:$A = \begin{pmatrix} 1 & 0 \\ 0 & 0 \end{pmatrix}$ 的顺序主子式为 $1 \geq 0$、$0 \geq 0$,但取 $x = (0, 1)^T$ 时 $x^TAx = 0$,它只是半正定,不是正定。
九、学习建议与资源
- 学习顺序:严格按"行列式 → 矩阵 → 方程组 → 向量组 → 特征值 → 二次型"的顺序走,不要跳章。每一章的工具都是为下一章准备的:行列式服务于可逆判定和特征方程,秩服务于解的判定和向量组,特征值服务于对角化和二次型。
- 建立几何直觉:强烈推荐 3Blue1Brown 的《线性代数的本质》系列视频(B 站有中文字幕),把矩阵看成"空间变换”、行列式看成"面积/体积的缩放比”、特征向量看成"变换中保持方向不变的轴",很多抽象定理会一下子变得直观。
- 教材与习题:国内考研/期末主流是同济版《线性代数》,例题难度适中;想做难题和证明题可以看李尚志或丘维声的教材。每章至少亲手算 10 道题,尤其要把"初等行变换"练到不出错——它是求逆、求秩、解方程组、找极大无关组、求特征向量的共同基本功。
- 检验自己的三个问题:学到一半时自问——秩到底是什么?为什么 $|A| \neq 0$ 等价于可逆、唯一解、列满秩、特征值全非零这一串结论?二次型化标准形为什么又回到了特征值?能把这条逻辑链讲清楚,这门课就算真正入门了。
历史故事:把线性代数"讲活"的人。 MIT 教授吉尔伯特·斯特朗(Gilbert Strang)从教六十余年,他主讲的线性代数课程 18.06 是 MIT OpenCourseWare 在 2002 年首批上线的课程之一,全球观看量以千万计。他主张"先讲四个基本子空间和几何图像,再讲行列式计算",这个教学顺序重塑了全世界线性代数课的讲法;他写的《线性代数导论》(Introduction to Linear Algebra)也成为全球使用最广的教材之一。前面推荐的 3Blue1Brown 那种"几何直觉优先"的风格,正是这一教学理念的延续。如果觉得同济教材太"干",斯特朗的公开课录像是最值得补课的资源。
线性代数是大学数学里"越往后越有用"的一门课:图形学、机器学习、搜索引擎、数据分析,处处都是矩阵。入门时觉得抽象是正常的——坚持把几何图像和代数计算对照起来看,第二次回头复习时会豁然开朗。