syntax.garden

23 规范正交基

23 规范正交基

规范正交基

这讲讲什么:把「基」再收紧成「两两垂直、长度都是 1」,代价是多写几步计算,回报是求坐标、算范数、算内积三件事全部退化成「做几次内积再加起来」
前置:22 讲(内积与范数、正交与勾股定理)、04 讲(线性无关)、05 讲(基与张成)、06 讲(维数)、19 讲(上三角矩阵)
一句话:规范正交基就是「带刻度的直角坐标系」的一般版本——在这样的基下,求坐标不用解方程,只要做内积。


一、为什么需要它

先把一个非常具体的不爽摆出来。

设 v1,…,vnv_1,\dots,v_n 是 VV 的一个基,v∈Vv\in V。要把 vv 写成

v=a1v1+⋯+anvnv=a_1v_1+\cdots+a_nv_n

你需要求出系数 a1,…,ana_1,\dots,a_n。对任意的基,这是一个 nn 元线性方程组:把每个 vjv_j 在某组坐标下摊开,解一个 n×nn\times n 的方程组。高斯消元的代价大约是 n3n^3 量级的运算。n=3n=3 时无所谓,n=300n=300 时就要命了。

而标准基 e1,…,ene_1,\dots,e_n(Fn\mathbb{F}^n 里那些只有一个位置是 11、其余是 00 的向量)下,求坐标是免费的:

v=(x1,…,xn)⟹aj=xjv=(x_1,\dots,x_n)\quad\Longrightarrow\quad a_j=x_j

不需要算,看一眼就写出来。为什么标准基这么便宜?因为它有两个性质:

  1. 每个向量的长度都是 11;
  2. 任意两个不同向量互相垂直。

问题是:这两个性质是不是标准基的专利? 换句话说,除了标准基,还有没有别的基也这么便宜?

答案是:有,而且多得是。凡是满足上面两条的基,都同样便宜——甚至更便宜,因为求坐标连「看第几个位置」都不需要,只要和每个基向量做一次内积:

ak=⟨v,ek⟩a_k=\langle v,e_k\rangle

这就是本讲的主题。规范正交基(orthonormal basis)是「既正交、每个又长度为一的基」。一旦基是规范正交的:

  • 求坐标:nn 次内积,n2n^2 量级,不用解方程;
  • 求范数:∥v∥2\|v\|^2 等于各坐标绝对值的平方和,和 Fn\mathbb{F}^n 里一模一样;
  • 求内积:⟨u,v⟩\langle u,v\rangle 等于对应坐标乘积之和,也和 Fn\mathbb{F}^n 里一模一样。

第三条尤其值得强调:它说明一个抽象的 nn 维内积空间,一旦选定了规范正交基,就和 Fn\mathbb{F}^n 在计算上无法区分了。凡是在 Fn\mathbb{F}^n 里能做的运算,搬过来一个字符都不用改。

但接下来有三个必须回答的问题,缺一个这套理论就不成立:

存在吗? 任意有限维内积空间都有规范正交基吗?
够用吗? 只给一个规范正交组(未必张满全空间),它能撑起多少结论?
怎么造? 给定一个普通的基,有没有一套机械流程把它改造成规范正交基?

第三个问题的答案是本讲的主角——格拉姆–施密特过程(Gram–Schmidt procedure)。它不只是「一种算法」,它的正确性证明同时给出了前两个问题一半的答案。

先把期待放对

规范正交基的价值不在于「好看」,而在于把线性代数里的运算换成求和。
凡是出现「解方程组」「求逆矩阵」的地方,只要基是规范正交的,通常都能换成「做内积」。
你在后面 24 讲(正交投影)、26 讲(谱定理)、29 讲(奇异值分解)里反复看到的,都是这一条的变体。


二、定义与最小例子

2.1 定义

设 e1,…,eme_1,\dots,e_m 是内积空间 VV 中的一个向量组。称它是规范正交组(orthonormal list),如果对所有 j,k∈{1,…,m}j,k\in\{1,\dots,m\} 都有

⟨ej,ek⟩={1,j=k0,j≠k\langle e_j,e_k\rangle=\begin{cases}1,& j=k\\ 0,& j\neq k\end{cases}

用克罗内克记号 δjk\delta_{jk} 写就是 ⟨ej,ek⟩=δjk\langle e_j,e_k\rangle=\delta_{jk},一行写完。

若这个组同时还是 VV 的基,就称它是 VV 的规范正交基。

复情形下这个定义自动是实的

定义里出现 ⟨ej,ej⟩=1\langle e_j,e_j\rangle=1。按内积的公理,⟨ej,ej⟩\langle e_j,e_j\rangle 总是实数且非负,
所以「等于 11」这句话在 R\mathbb{R} 上和 C\mathbb{C} 上都说得通,不用分两种定义。
但涉及两个不同向量时,⟨ej,ek⟩\langle e_j,e_k\rangle 在复情形下可能是复数,那时要求它等于 00 仍然是「等于 00」。

定义是两句话叠起来的,务必拆开记:

条件 名字 缺了它会怎样
两两内积为 00 正交(orthogonal) 只剩「长度都是 1」,坐标公式立刻失效
每个范数为 11 规范(normal) 只剩「两两垂直」,坐标公式要多除一个 ∥ej∥2\|e_j\|^2

「规范正交」四个字就是把这两个词焊在一起,缺一不可。中文里也有人说「标准正交」「幺正」(后者多用于算子),指的是同一件事。

2.2 最小的非平凡例子

R2\mathbb{R}^2 里除了标准基,最省事的一组是

e1=(12,12),e2=(12,−12)e_1=\left(\tfrac{1}{\sqrt2},\tfrac{1}{\sqrt2}\right),\qquad e_2=\left(\tfrac{1}{\sqrt2},-\tfrac{1}{\sqrt2}\right)

验一遍:∥e1∥2=12+12=1\|e_1\|^2=\tfrac12+\tfrac12=1,∥e2∥2=12+12=1\|e_2\|^2=\tfrac12+\tfrac12=1,⟨e1,e2⟩=12−12=0\langle e_1,e_2\rangle=\tfrac12-\tfrac12=0。两条都过。

这组向量就是把标准基整体转了 45∘45^\circ。转一下仍然是规范正交基——这个观察在第四节会变成一个很有用的记忆钩子。

再看一个三维的。以下三个向量构成 R3\mathbb{R}^3 的规范正交基:

e1=(13,13,13),e2=(−12,12,0),e3=(16,16,−26)e_1=\left(\tfrac{1}{\sqrt3},\tfrac{1}{\sqrt3},\tfrac{1}{\sqrt3}\right),\quad e_2=\left(-\tfrac{1}{\sqrt2},\tfrac{1}{\sqrt2},0\right),\quad e_3=\left(\tfrac{1}{\sqrt6},\tfrac{1}{\sqrt6},-\tfrac{2}{\sqrt6}\right)

抽查两个内积:

⟨e1,e2⟩=−16+16+0=0,⟨e1,e3⟩=118+118−218=0\langle e_1,e_2\rangle=-\tfrac{1}{\sqrt6}+\tfrac{1}{\sqrt6}+0=0,\qquad \langle e_1,e_3\rangle=\tfrac{1}{\sqrt{18}}+\tfrac{1}{\sqrt{18}}-\tfrac{2}{\sqrt{18}}=0

范数也确实都是 11(比如 ∥e3∥2=16+16+46=1\|e_3\|^2=\tfrac16+\tfrac16+\tfrac46=1)。剩下一对 ⟨e2,e3⟩=−112+112+0=0\langle e_2,e_3\rangle=-\tfrac{1}{\sqrt{12}}+\tfrac{1}{\sqrt{12}}+0=0。所以它确实是规范正交组;三个向量在 R3\mathbb{R}^3 里,长度等于维数,由 3.2 的推论它自动是基。

2.3 一个必须看的反例:逐个归一化不等于规范正交

这一条是本讲最容易翻车的地方,先把它钉死。

在 P2(R)P_2(\mathbb{R})(次数不超过 22 的实系数多项式)上定义内积

⟨p,q⟩=∫−11p(t)q(t) dt\langle p,q\rangle=\int_{-1}^{1}p(t)q(t)\,\mathrm{d}t

标准基 1,x,x21,x,x^2 显然不是规范正交组,因为它们的内积(也就是各自的平方积分)不是 11:

∥1∥2=2,∥x∥2=∫−11t2 dt=23,∥x2∥2=∫−11t4 dt=25\|1\|^2=2,\qquad \|x\|^2=\int_{-1}^{1}t^2\,\mathrm{d}t=\tfrac23,\qquad \|x^2\|^2=\int_{-1}^{1}t^4\,\mathrm{d}t=\tfrac25

很自然地,你会想把每个都除以自己的范数,得到

12,32 x,52 x2\frac{1}{\sqrt2},\qquad \sqrt{\tfrac32}\,x,\qquad \sqrt{\tfrac52}\,x^2

现在每个向量的范数都是 11 了。但这不是规范正交组,因为第一个和第三个的内积不是零:

⟨12, 52 x2⟩=1252∫−11t2 dt=52⋅23=53≠0\left\langle \frac{1}{\sqrt2},\ \sqrt{\tfrac52}\,x^2\right\rangle=\frac{1}{\sqrt2}\sqrt{\tfrac52}\int_{-1}^{1}t^2\,\mathrm{d}t=\frac{\sqrt5}{2}\cdot\frac23=\frac{\sqrt5}{3}\neq 0

顺带一提,第二个向量确实和第一、第三个都正交,因为 xx 是奇函数而 11、x2x^2 是偶函数,乘积在对称区间上积分为 00。

这个反例的意义

「把每个向量除以自己的范数」只能解决规范,解决不了正交。
归一化之前它们本来就不正交(⟨1,x2⟩=2/3≠0\langle 1,x^2\rangle=2/3\neq 0),归一化之后依然不正交。
要让它们同时达标,必须改动向量本身的方向——这正是格拉姆–施密特过程要做的事(见 3.8 的手算例)。


三、几个必须自己算一遍的结论

这一节是本讲的主干。顺序是有讲究的:先建立「规范正交组上算范数很便宜」(3.1),由此推出「必线性无关」(3.2),再把这个便宜用到「只张成一部分空间」的一般情形(3.3 贝塞尔不等式),最后升级到「张满全空间」的规范正交基(3.4–3.5)。从 3.6 起解决「怎么造」的问题。

3.1 规范正交组上,范数的平方等于系数平方和

结论。 设 e1,…,eme_1,\dots,e_m 是 VV 中的规范正交组,a1,…,am∈Fa_1,\dots,a_m\in\mathbb{F}。则

∥a1e1+⋯+amem∥2=∣a1∣2+⋯+∣am∣2(3.1)\|a_1e_1+\cdots+a_me_m\|^2=|a_1|^2+\cdots+|a_m|^2 \tag{3.1}

直接算一遍。 按内积对第一个位置线性、对第二个位置共轭线性:

∥∑j=1majej∥2=⟨∑j=1majej, ∑k=1makek⟩=∑j=1m∑k=1majak‾ ⟨ej,ek⟩=∑j=1majaj‾=∑j=1m∣aj∣2\begin{aligned}\left\|\sum_{j=1}^{m}a_je_j\right\|^2&=\left\langle\sum_{j=1}^{m}a_je_j,\ \sum_{k=1}^{m}a_ke_k\right\rangle\\&=\sum_{j=1}^{m}\sum_{k=1}^{m}a_j\overline{a_k}\,\langle e_j,e_k\rangle\\&=\sum_{j=1}^{m}a_j\overline{a_j}=\sum_{j=1}^{m}|a_j|^2\end{aligned}

中间那步是整个证明的关键:双重和里有 m2m^2 项,但 ⟨ej,ek⟩\langle e_j,e_k\rangle 只在 j=kj=k 时非零,于是 m2−mm^2-m 项被一次性清成零,只剩 mm 项。范数公式之所以便宜,本质是「正交把交叉项全部干掉」。

几何版本。 若不看代数只看图:a1e1a_1e_1 与 a2e2a_2e_2 垂直,由勾股定理

∥a1e1+a2e2∥2=∥a1e1∥2+∥a2e2∥2=∣a1∣2+∣a2∣2\|a_1e_1+a_2e_2\|^2=\|a_1e_1\|^2+\|a_2e_2\|^2=|a_1|^2+|a_2|^2

再多几项就反复用勾股——每加一个新向量,它都与前面所有向量垂直,因此与它们的和也垂直,可以再套一次勾股。这个结论就是勾股定理的 mm 维版本。

反过来也成立

(3.1) 对所有系数成立,能否反推出「e1,…,eme_1,\dots,e_m 是规范正交组」?可以。
取 aj=ak=1a_j=a_k=1、其余系数为 00,得 ∥ej+ek∥2=2\|e_j+e_k\|^2=2;直接展开得
∥ej∥2+∥ek∥2+2Re⁡⟨ej,ek⟩=2\|e_j\|^2+\|e_k\|^2+2\operatorname{Re}\langle e_j,e_k\rangle=2,
又取单个系数得 ∥ej∥2=∥ek∥2=1\|e_j\|^2=\|e_k\|^2=1,于是 Re⁡⟨ej,ek⟩=0\operatorname{Re}\langle e_j,e_k\rangle=0(实情形已够用;复情形再把 ak=ia_k=i 代一次可清掉虚部)。
所以 (3.1) 是规范正交性的等价刻画,不只是推论。这条等价性在数值计算里很实用:想验证一组向量是否规范正交,不必逐个配对,只需抽查几个组合的范数。

3.2 规范正交组一定是线性无关的

结论。 每个规范正交组都线性无关。

证明。 设 a1e1+⋯+amem=0a_1e_1+\cdots+a_me_m=0。对两边取范数平方,由 (3.1):

0=∥0∥2=∥a1e1+⋯+amem∥2=∣a1∣2+⋯+∣am∣20=\|0\|^2=\|a_1e_1+\cdots+a_me_m\|^2=|a_1|^2+\cdots+|a_m|^2

右边是 mm 个非负实数之和,等于 00 只能每一项都是 00,即 a1=⋯=am=0a_1=\cdots=a_m=0。按定义,这组向量线性无关。■\blacksquare

这个证明短得有点可疑,但没有任何漏洞:它只用了一条信息——范数公式。请注意它顺便说明了一件事:一个规范正交组里绝不可能出现零向量(∥0∥=0≠1\|0\|=0\neq1),也绝不可能有重复向量。

一个立刻能用的推论(本讲的「长度恰好」判据)。 设 VV 有限维。则 VV 中长度为 dim⁡V\dim V 的规范正交组必是 VV 的规范正交基。

理由是两步:由 3.2 它线性无关;VV 中长度为 dim⁡V\dim V 的线性无关组必是基(这是 05 讲的结论)。两步都是现成的,合起来就是一个极好用的判据:

在 nn 维空间里,凑够 nn 个规范正交向量,收工,不用再验证张成。

3.3 贝塞尔不等式:只张成一部分时能说什么

规范正交组不一定是基。如果只有 m<dim⁡Vm<\dim V 个向量,它张成一个 mm 维子空间,剩下的方向没被覆盖。这时还能得出什么?

先看一个自然的分解。设 e1,…,eme_1,\dots,e_m 是规范正交组,v∈Vv\in V。把 vv 拆成两部分:

v=∑j=1m⟨v,ej⟩ej⏟u+(v−∑j=1m⟨v,ej⟩ej)⏟w(3.2)v=\underbrace{\sum_{j=1}^{m}\langle v,e_j\rangle e_j}_{u}+\underbrace{\left(v-\sum_{j=1}^{m}\langle v,e_j\rangle e_j\right)}_{w} \tag{3.2}

第一部分 uu 是「vv 在 span⁡(e1,…,em)\operatorname{span}(e_1,\dots,e_m) 上的影子」,第二部分 ww 是「剩下的、没被解释的部分」。算一下 ww 与每个 eke_k 的内积:

⟨w,ek⟩=⟨v,ek⟩−∑j=1m⟨v,ej⟩⟨ej,ek⟩=⟨v,ek⟩−⟨v,ek⟩=0\langle w,e_k\rangle=\langle v,e_k\rangle-\sum_{j=1}^{m}\langle v,e_j\rangle\langle e_j,e_k\rangle=\langle v,e_k\rangle-\langle v,e_k\rangle=0

(第二个等号用了 eje_j 之间的正交性:求和里只有 j=kj=k 那项活下来。)所以 ww 与每个 eke_k 都垂直,因而与它们的任意线性组合 uu 也垂直。

于是 u⊥wu\perp w,可以套勾股定理:

∥v∥2=∥u+w∥2=∥u∥2+∥w∥2 ≥ ∥u∥2=∑j=1m∣⟨v,ej⟩∣2(3.3)\|v\|^2=\|u+w\|^2=\|u\|^2+\|w\|^2\ \ge\ \|u\|^2=\sum_{j=1}^{m}|\langle v,e_j\rangle|^2 \tag{3.3}

最后那个等号是 (3.1)。把两头的式子抄下来,就是:

贝塞尔不等式(Bessel's inequality)。 设 e1,…,eme_1,\dots,e_m 是规范正交组,v∈Vv\in V。则

∣⟨v,e1⟩∣2+⋯+∣⟨v,em⟩∣2 ≤ ∥v∥2|\langle v,e_1\rangle|^2+\cdots+|\langle v,e_m\rangle|^2\ \le\ \|v\|^2

用文字说:vv 在任何规范正交方向上的投影长度平方之和,永远不超过 vv 自身长度平方。 多出来的那部分 ∥w∥2\|w\|^2 就是「这些方向没解释掉的那一块」。

两个边界情形值得记住:

  • 若 v∈span⁡(e1,…,em)v\in\operatorname{span}(e_1,\dots,e_m),则 w=0w=0,(3.3) 取等号;
  • 若 vv 与所有 eje_j 都正交,则左边是 00,不提供任何信息——这种 vv 就是「完全落在这些方向之外」的向量。
取等号的完整判据

由 (3.3),取等号等价于 ∥w∥2=0\|w\|^2=0,等价于 w=0w=0,等价于 v∈span⁡(e1,…,em)v\in\operatorname{span}(e_1,\dots,e_m)。
这给出一个漂亮的双向结论:贝塞尔不等式取等   ⟺  \iff vv 落在该规范正交组张成的子空间里。
把它和 3.4 的帕塞瓦尔恒等式对照,你会发现「规范正交组」与「规范正交基」的差别,完全浓缩在这一句话里。

3.4 在规范正交基下,坐标就是内积

现在让 e1,…,ene_1,\dots,e_n 真正成为基(n=dim⁡Vn=\dim V),看看能得到什么。

结论(三条,一次给全)。 设 e1,…,ene_1,\dots,e_n 是 VV 的规范正交基,u,v∈Vu,v\in V。则

(a)v=∑j=1n⟨v,ej⟩ej\text{(a)}\quad v=\sum_{j=1}^{n}\langle v,e_j\rangle e_j

(b)∥v∥2=∑j=1n∣⟨v,ej⟩∣2\text{(b)}\quad \|v\|^2=\sum_{j=1}^{n}|\langle v,e_j\rangle|^2

(c)⟨u,v⟩=∑j=1n⟨u,ej⟩⟨v,ej⟩‾\text{(c)}\quad \langle u,v\rangle=\sum_{j=1}^{n}\langle u,e_j\rangle\overline{\langle v,e_j\rangle}

证明。 因为 e1,…,ene_1,\dots,e_n 是基,存在 a1,…,ana_1,\dots,a_n 使 v=∑jajejv=\sum_j a_je_j。两边与 eke_k 作内积,并用内积对第一个位置的线性:

⟨v,ek⟩=∑j=1naj⟨ej,ek⟩=ak\langle v,e_k\rangle=\sum_{j=1}^{n}a_j\langle e_j,e_k\rangle=a_k

求和里只有 j=kj=k 一项活下来。于是 ak=⟨v,ek⟩a_k=\langle v,e_k\rangle,(a) 成立。

(b) 把 (a) 代进 (3.1) 即可。(c) 把 (a) 代进内积,再用第二个位置的共轭线性。■\blacksquare

这三条要当作同一个事实的三个侧面来记:

式子 说的是 在 Fn\mathbb{F}^n 里的样子
(a) 坐标 = 内积 xk=⟨x,ek⟩x_k=\langle x,e_k\rangle
(b) 范数² = 坐标平方和 ∥x∥2=∑∣xk∣2\|x\|^2=\sum\lvert x_k\rvert^2
(c) 内积 = 坐标乘积和 ⟨x,y⟩=∑xkyk‾\langle x,y\rangle=\sum x_k\overline{y_k}

(b) 有个历史名字:帕塞瓦尔恒等式(Parseval's identity)。它 1799 年出现在研究傅里叶级数的文章里,那时还没有「内积空间」这个概念,人们是在函数系上发现它的。

(a) 省掉的到底是什么

(a) 的意义是:求坐标这件事,从「解线性方程组」降级成「做内积」。
一般基下要解 n×nn\times n 方程组;规范正交基下,aka_k 直接等于 ⟨v,ek⟩\langle v,e_k\rangle,各算各的,互不干扰。
这种「互不干扰」在数值上有额外好处:算第 kk 个坐标时算错了,不会污染其他坐标。

3.5 手算一次 (a):R4\mathbb{R}^4 里的坐标

看一组具体的:R4\mathbb{R}^4 中四个向量

e1=(12,12,12,12), e2=(12,12,−12,−12), e3=(12,−12,−12,12), e4=(−12,12,−12,12)e_1=\left(\tfrac12,\tfrac12,\tfrac12,\tfrac12\right),\ e_2=\left(\tfrac12,\tfrac12,-\tfrac12,-\tfrac12\right),\ e_3=\left(\tfrac12,-\tfrac12,-\tfrac12,\tfrac12\right),\ e_4=\left(-\tfrac12,\tfrac12,-\tfrac12,\tfrac12\right)

每个分量的绝对值都是 12\tfrac12,所以每个范数平方都是 4⋅14=14\cdot\tfrac14=1。两两正交也在意料之中,例如

⟨e2,e3⟩=14−14+14−14=0,⟨e3,e4⟩=−14−14+14+14=0\langle e_2,e_3\rangle=\tfrac14-\tfrac14+\tfrac14-\tfrac14=0,\qquad \langle e_3,e_4\rangle=-\tfrac14-\tfrac14+\tfrac14+\tfrac14=0

四个都验证过(其余几对同理),于是它是 R4\mathbb{R}^4 的规范正交组;长度 4=dim⁡R44=\dim\mathbb{R}^4,由 3.2 的推论它是规范正交基。

现在把 v=(1,2,4,7)v=(1,2,4,7) 写成它们的线性组合。按 (a),只需算四个内积:

⟨v,e1⟩=12+1+2+72=7,⟨v,e2⟩=12+1−2−72=−4\langle v,e_1\rangle=\tfrac12+1+2+\tfrac72=7,\qquad \langle v,e_2\rangle=\tfrac12+1-2-\tfrac72=-4

⟨v,e3⟩=12−1−2+72=1,⟨v,e4⟩=−12+1−2+72=2\langle v,e_3\rangle=\tfrac12-1-2+\tfrac72=1,\qquad \langle v,e_4\rangle=-\tfrac12+1-2+\tfrac72=2

所以

(1,2,4,7)=7e1−4e2+e3+2e4(1,2,4,7)=7e_1-4e_2+e_3+2e_4

整个过程是四次点积。若换成一组普通基,就要解一个 4×44\times4 方程组。

顺手验一下 (b):72+(−4)2+12+22=49+16+1+4=707^2+(-4)^2+1^2+2^2=49+16+1+4=70,而 ∥v∥2=1+4+16+49=70\|v\|^2=1+4+16+49=70。对上了。

3.6 格拉姆–施密特过程:公式是从哪来的

现在回答第三个问题:给定一个线性无关组,怎么把它改造成规范正交组,而且保持张成空间不变?

先别急着看公式,自己推一遍,你会发现公式是唯一的选择。

设 v1,…,vmv_1,\dots,v_m 线性无关,我们要造 e1,…,eme_1,\dots,e_m,要求:

  1. 每个 ∥ek∥=1\|e_k\|=1;
  2. 两两正交;
  3. 对每个 kk,span⁡(e1,…,ek)=span⁡(v1,…,vk)\operatorname{span}(e_1,\dots,e_k)=\operatorname{span}(v_1,\dots,v_k)。

第 3 条是硬约束。它意味着 e1e_1 必须在 span⁡(v1)\operatorname{span}(v_1) 里,而一维空间里的单位向量只有 ±v1/∥v1∥\pm v_1/\|v_1\| 两个。取正号:

f1=v1,e1=f1∥f1∥f_1=v_1,\qquad e_1=\frac{f_1}{\|f_1\|}

k=2k=2。 e2e_2 要在 span⁡(v1,v2)\operatorname{span}(v_1,v_2) 里且与 e1e_1 垂直。既然 span⁡(v1)=span⁡(f1)\operatorname{span}(v_1)=\operatorname{span}(f_1),可以先把 v2v_2 减去它在 f1f_1 方向上的分量:

f2=v2−λf1f_2=v_2-\lambda f_1

λ\lambda 待定。要求 ⟨f2,f1⟩=0\langle f_2,f_1\rangle=0:

0=⟨v2−λf1,f1⟩=⟨v2,f1⟩−λ∥f1∥2⟹λ=⟨v2,f1⟩∥f1∥20=\langle v_2-\lambda f_1,f_1\rangle=\langle v_2,f_1\rangle-\lambda\|f_1\|^2\quad\Longrightarrow\quad\lambda=\frac{\langle v_2,f_1\rangle}{\|f_1\|^2}

k=3k=3。 同样的思路,但这次要同时垂直两个:

f3=v3−λ1f1−λ2f2f_3=v_3-\lambda_1f_1-\lambda_2f_2

要求 ⟨f3,f1⟩=⟨f3,f2⟩=0\langle f_3,f_1\rangle=\langle f_3,f_2\rangle=0。仍用 f1⊥f2f_1\perp f_2:

⟨f3,f1⟩=⟨v3,f1⟩−λ1∥f1∥2−λ2⟨f2,f1⟩⏟0=0 ⟹ λ1=⟨v3,f1⟩∥f1∥2\langle f_3,f_1\rangle=\langle v_3,f_1\rangle-\lambda_1\|f_1\|^2-\lambda_2\underbrace{\langle f_2,f_1\rangle}_{0}=0\ \Longrightarrow\ \lambda_1=\frac{\langle v_3,f_1\rangle}{\|f_1\|^2}

⟨f3,f2⟩=⟨v3,f2⟩−λ2∥f2∥2=0 ⟹ λ2=⟨v3,f2⟩∥f2∥2\langle f_3,f_2\rangle=\langle v_3,f_2\rangle-\lambda_2\|f_2\|^2=0\ \Longrightarrow\ \lambda_2=\frac{\langle v_3,f_2\rangle}{\|f_2\|^2}

注意这里发生了什么:因为 f1,f2f_1,f_2 已经互相垂直,两个方程解耦了,各解各的。 这正是正交性的价值——它让「同时垂直于多个方向」这件事不必解方程组,而是逐个方向扣掉分量即可。

一般地,第 kk 步是

fk=vk−⟨vk,f1⟩∥f1∥2f1−⋯−⟨vk,fk−1⟩∥fk−1∥2fk−1(3.4)f_k=v_k-\frac{\langle v_k,f_1\rangle}{\|f_1\|^2}f_1-\cdots-\frac{\langle v_k,f_{k-1}\rangle}{\|f_{k-1}\|^2}f_{k-1} \tag{3.4}

最后归一化

ek=fk∥fk∥(3.5)e_k=\frac{f_k}{\|f_k\|} \tag{3.5}

几何说法:把 vkv_k 减去它在已有所有方向上的投影,剩下的就是新方向。 一句话概括:扣掉已被解释的部分,剩下的自然就正交了。

一个不该忘的细节

分母是 ∥fj∥2\|f_j\|^2 而不是 ∥fj∥\|f_j\|,因为投影系数是 ⟨vk,fj⟩/∥fj∥2\langle v_k,f_j\rangle/\|f_j\|^2(这是 22 讲正交投影公式的直接应用)。
有人写成除以 ∥fj∥\|f_j\|,那是把「投影到单位向量上」和「投影到未归一化向量上」搞混了。
一个自查办法:量纲。⟨vk,fj⟩\langle v_k,f_j\rangle 与 ∥fj∥2\|f_j\|^2 是同量纲的,比值无量纲;若除以 ∥fj∥\|f_j\| 就多出一个长度量纲,单位不对。

3.7 格拉姆–施密特过程:正确性证明

公式有了,还要证明它真的管用。需要证四件事:fk≠0f_k\neq 0(否则 (3.5) 除以零)、每个 ∥ek∥=1\|e_k\|=1、两两正交、张成空间逐层相等。

定理(格拉姆–施密特过程)。 设 v1,…,vmv_1,\dots,v_m 是 VV 中的线性无关组,按 (3.4)(3.5) 定义 fk,ekf_k,e_k。则 e1,…,eme_1,\dots,e_m 是规范正交组,且对每个 kk 有

span⁡(v1,…,vk)=span⁡(e1,…,ek)(3.6)\operatorname{span}(v_1,\dots,v_k)=\operatorname{span}(e_1,\dots,e_k) \tag{3.6}

证明(对 kk 归纳)。

k=1k=1: f1=v1≠0f_1=v_1\neq 0(线性无关组里没有零向量),所以 ∥e1∥=1\|e_1\|=1。又 e1e_1 是 v1v_1 的非零标量倍,故 span⁡(v1)=span⁡(e1)\operatorname{span}(v_1)=\operatorname{span}(e_1)。

归纳假设: 设结论对 k−1k-1 成立,即 e1,…,ek−1e_1,\dots,e_{k-1} 是规范正交组,且 (3.6) 在 k−1k-1 处成立。

先证 fk≠0f_k\neq 0。 因为 v1,…,vmv_1,\dots,v_m 线性无关,vkv_k 不在 span⁡(v1,…,vk−1)\operatorname{span}(v_1,\dots,v_{k-1}) 里(否则这个组相关)。而由归纳假设 span⁡(v1,…,vk−1)=span⁡(e1,…,ek−1)=span⁡(f1,…,fk−1)\operatorname{span}(v_1,\dots,v_{k-1})=\operatorname{span}(e_1,\dots,e_{k-1})=\operatorname{span}(f_1,\dots,f_{k-1})。所以

vk∉span⁡(f1,…,fk−1)v_k\notin\operatorname{span}(f_1,\dots,f_{k-1})

另一方面,(3.4) 说明 fkf_k 等于 vkv_k 减去 span⁡(f1,…,fk−1)\operatorname{span}(f_1,\dots,f_{k-1}) 里的某个向量。假如 fk=0f_k=0,就有 vk∈span⁡(f1,…,fk−1)v_k\in\operatorname{span}(f_1,\dots,f_{k-1}),矛盾。所以 fk≠0f_k\neq 0,(3.5) 合法,且 ∥ek∥=1\|e_k\|=1。

再证正交。 取 j∈{1,…,k−1}j\in\{1,\dots,k-1\}。由 (3.4):

⟨fk,fj⟩=⟨vk−∑i=1k−1⟨vk,fi⟩∥fi∥2fi, fj⟩=⟨vk,fj⟩−∑i=1k−1⟨vk,fi⟩∥fi∥2⟨fi,fj⟩=⟨vk,fj⟩−⟨vk,fj⟩∥fj∥2∥fj∥2=0\begin{aligned}\langle f_k,f_j\rangle&=\left\langle v_k-\sum_{i=1}^{k-1}\frac{\langle v_k,f_i\rangle}{\|f_i\|^2}f_i,\ f_j\right\rangle\\&=\langle v_k,f_j\rangle-\sum_{i=1}^{k-1}\frac{\langle v_k,f_i\rangle}{\|f_i\|^2}\langle f_i,f_j\rangle\\&=\langle v_k,f_j\rangle-\frac{\langle v_k,f_j\rangle}{\|f_j\|^2}\|f_j\|^2=0\end{aligned}

第三个等号又是「正交让求和只剩一项」:由归纳假设,f1,…,fk−1f_1,\dots,f_{k-1} 两两正交,求和里只有 i=ji=j 那项非零。于是 ⟨ek,ej⟩=⟨fk,fj⟩/(∥fk∥∥fj∥)=0\langle e_k,e_j\rangle=\langle f_k,f_j\rangle/(\|f_k\|\|f_j\|)=0,正交性得证。

最后证 (3.6)。 由 (3.4),vk=fk+∑i<k(⋯ )fiv_k=f_k+\sum_{i<k}(\cdots)f_i,而 fkf_k 是 eke_k 的倍数,所以 vk∈span⁡(e1,…,ek)v_k\in\operatorname{span}(e_1,\dots,e_k)。连同归纳假设,得

span⁡(v1,…,vk)⊆span⁡(e1,…,ek)\operatorname{span}(v_1,\dots,v_k)\subseteq\operatorname{span}(e_1,\dots,e_k)

这两个子空间维数相同:左边由 v1,…,vkv_1,\dots,v_k 张成,它们线性无关,维数是 kk;右边由 e1,…,eke_1,\dots,e_k 张成,它们也线性无关(3.2),维数也是 kk。kk 维子空间包含同维子空间,只能相等。归纳完成。■\blacksquare

最后那一步为什么要用维数

「A⊆BA\subseteq B 且 dim⁡A=dim⁡B\dim A=\dim B ⇒\Rightarrow A=BA=B」是有限维的标准手法,在这里比逐个验证「eke_k 能被 v1,…,vkv_1,\dots,v_k 线性表示」省事得多。
这也解释了为什么定理要求 v1,…,vmv_1,\dots,v_m 线性无关:一旦相关,某一步 vkv_k 会落进前面张成的空间,fk=0f_k=0,归一化就崩了。

3.8 手算第二个例子:R3\mathbb{R}^3 走一遍全流程

拿 v1=(1,1,0)v_1=(1,1,0),v2=(1,0,1)v_2=(1,0,1),v3=(0,1,1)v_3=(0,1,1) 做一遍。它们线性无关(行列式 det⁡=−2≠0\det=-2\neq0),可以用。

第一步。 f1=v1=(1,1,0)f_1=v_1=(1,1,0),∥f1∥2=2\|f_1\|^2=2,

e1=12(1,1,0)=(12,12,0)e_1=\frac{1}{\sqrt2}(1,1,0)=\left(\tfrac{1}{\sqrt2},\tfrac{1}{\sqrt2},0\right)

第二步。 ⟨v2,f1⟩=1⋅1+0⋅1+1⋅0=1\langle v_2,f_1\rangle=1\cdot1+0\cdot1+1\cdot0=1,所以

f2=v2−12f1=(1,0,1)−(12,12,0)=(12,−12,1)f_2=v_2-\frac{1}{2}f_1=(1,0,1)-\left(\tfrac12,\tfrac12,0\right)=\left(\tfrac12,-\tfrac12,1\right)

∥f2∥2=14+14+1=32,e2=23(12,−12,1)=(16,−16,23)\|f_2\|^2=\tfrac14+\tfrac14+1=\tfrac32,\qquad e_2=\sqrt{\tfrac23}\left(\tfrac12,-\tfrac12,1\right)=\left(\tfrac{1}{\sqrt6},-\tfrac{1}{\sqrt6},\sqrt{\tfrac23}\right)

第三步。 两个内积:⟨v3,f1⟩=0+1+0=1\langle v_3,f_1\rangle=0+1+0=1,⟨v3,f2⟩=0⋅12+1⋅(−12)+1⋅1=12\langle v_3,f_2\rangle=0\cdot\tfrac12+1\cdot(-\tfrac12)+1\cdot1=\tfrac12。代入 (3.4):

f3=v3−12f1−1/23/2f2=(0,1,1)−(12,12,0)−13(12,−12,1)=(−23, 23, 23)\begin{aligned}f_3&=v_3-\frac{1}{2}f_1-\frac{1/2}{3/2}f_2\\&=(0,1,1)-\left(\tfrac12,\tfrac12,0\right)-\tfrac13\left(\tfrac12,-\tfrac12,1\right)\\&=\left(-\tfrac23,\ \tfrac23,\ \tfrac23\right)\end{aligned}

∥f3∥2=49+49+49=43\|f_3\|^2=\tfrac49+\tfrac49+\tfrac49=\tfrac43,于是

e3=32(−23,23,23)=(−13,13,13)e_3=\frac{\sqrt3}{2}\left(-\tfrac23,\tfrac23,\tfrac23\right)=\left(-\tfrac{1}{\sqrt3},\tfrac{1}{\sqrt3},\tfrac{1}{\sqrt3}\right)

验算(这一步别省)。 正交性:⟨e1,e3⟩=−16+16+0=0\langle e_1,e_3\rangle=-\tfrac{1}{\sqrt6}+\tfrac{1}{\sqrt6}+0=0;⟨e2,e3⟩=−118−118+23⋅13=−232+23=0\langle e_2,e_3\rangle=-\tfrac{1}{\sqrt{18}}-\tfrac{1}{\sqrt{18}}+\sqrt{\tfrac23}\cdot\tfrac{1}{\sqrt3}=-\tfrac{2}{3\sqrt2}+\tfrac{\sqrt2}{3}=0。

再用 (a) 反查:应把 v3v_3 还原出来。三个坐标是 ⟨v3,e1⟩=12\langle v_3,e_1\rangle=\tfrac{1}{\sqrt2},⟨v3,e2⟩=−16+23=16\langle v_3,e_2\rangle=-\tfrac{1}{\sqrt6}+\sqrt{\tfrac23}=\tfrac{1}{\sqrt6},⟨v3,e3⟩=23\langle v_3,e_3\rangle=\tfrac{2}{\sqrt3}。于是

12e1+16e2+23e3=(12+16−23, 12−16+23, 0+13+23)=(0,1,1)\tfrac{1}{\sqrt2}e_1+\tfrac{1}{\sqrt6}e_2+\tfrac{2}{\sqrt3}e_3=\left(\tfrac12+\tfrac16-\tfrac23,\ \tfrac12-\tfrac16+\tfrac23,\ 0+\tfrac13+\tfrac23\right)=(0,1,1)

正是 v3v_3。再用 (b) 查范数:12+16+43=2\tfrac12+\tfrac16+\tfrac43=2,而 ∥v3∥2=0+1+1=2\|v_3\|^2=0+1+1=2。全对。

观察结果

三个输入向量 (1,1,0),(1,0,1),(0,1,1)(1,1,0),(1,0,1),(0,1,1) 是完全对称的,但输出的 e1,e2,e3e_1,e_2,e_3 并不对称(第一个几乎没有分母 3\sqrt3 的味道)。
这不是算错,而是格拉姆–施密特过程的本性:它逐个处理向量,先来的占主导,后面的要被硬掰直。
这也是为什么它对数值误差敏感——第三节末尾会提到,实际计算里人们用改进版。

3.9 存在性与扩充

有了 3.7 的定理,存在性几乎是免费的。

定理(规范正交基的存在性)。 每个有限维内积空间都有规范正交基。

证明。 取 VV 的一个基 v1,…,vnv_1,\dots,v_n(05 讲保证存在)。基是线性无关组,对它跑格拉姆–施密特过程,得到一个长 n=dim⁡Vn=\dim V 的规范正交组。由 3.2 的推论,它就是 VV 的规范正交基。■\blacksquare

一句话版本:「随便取个基,掰直它」。

再进一步,如果手上已经有一个规范正交组,还能往里面加向量吗?能,而且不会破坏已有部分。

推论(扩充)。 设 VV 有限维,则 VV 中每个规范正交组都能扩充成规范正交基。

证明思路。 规范正交组线性无关(3.2),所以能扩充成基 e1,…,em,v1,…,vre_1,\dots,e_m,v_1,\dots,v_r(05 讲的扩充定理)。对这个基跑格拉姆–施密特过程。关键观察:过程对已经规范正交的前 mm 个向量不做任何改动——因为 ⟨ek,fj⟩=0\langle e_k,f_j\rangle=0(k≠jk\neq j)让 (3.4) 里所有修正项都是零,而 fk=ekf_k=e_k 的范数已经是 11,归一化也不改变它。于是只得到「新加的几个方向」,拼起来就是规范正交基。■\blacksquare

这个推论在实践里很常用:你已经有一条正交的轴,要凑齐整个坐标系,只需在剩下的子空间里再造几条即可,不必推倒重来。

3.10 舒尔定理:上三角与规范正交可以兼得

这里接上 19 讲。19 讲证明了:TT 关于某个基有上三角矩阵,当且仅当 TT 的极小多项式能分解成一次因式之积(在复数域上永远做得到)。

但 19 讲给的那组基是任取的,通常又长又丑。现在有了内积,自然会问:

能不能挑一组既让矩阵是上三角、又是规范正交的基?

结论。 设 VV 有限维,T∈L(V)T\in\mathcal{L}(V)。则 TT 关于 VV 的某个规范正交基有上三角矩阵,当且仅当 TT 的极小多项式等于 (z−λ1)⋯(z−λm)(z-\lambda_1)\cdots(z-\lambda_m),其中各 λj∈F\lambda_j\in\mathbb{F}。

证明思路(关键一步)。 设 TT 关于某组基 v1,…,vnv_1,\dots,v_n 有上三角矩阵。「上三角」有一个用子空间表述的等价说法(19 讲):对每个 kk,span⁡(v1,…,vk)\operatorname{span}(v_1,\dots,v_k) 在 TT 下不变,即 TT 把它映回自身。

现在对 v1,…,vnv_1,\dots,v_n 跑格拉姆–施密特过程,得到规范正交基 e1,…,ene_1,\dots,e_n。由定理 3.7,

span⁡(e1,…,ek)=span⁡(v1,…,vk)\operatorname{span}(e_1,\dots,e_k)=\operatorname{span}(v_1,\dots,v_k)

对每个 kk 都成立。于是左边这些子空间也逐个在 TT 下不变——「不变」这个性质只依赖子空间本身,与选哪个基无关。再把这句反过来用一次:TT 保持每个 span⁡(e1,…,ek)\operatorname{span}(e_1,\dots,e_k) 不变,等价于 TT 关于 e1,…,ene_1,\dots,e_n 的矩阵是上三角。■\blacksquare

一句话:格拉姆–施密特过程逐个保留张成空间,所以它把「逐层不变」这个结构原封不动搬到了新基上。

把复数域代进去:

舒尔定理(Schur's theorem,1909)。 有限维复内积空间上的每个算子,都关于某个规范正交基有上三角矩阵。

证明。 复系数多项式的极小多项式必定分解成一次因式之积(15 讲,代数基本定理),套上一条结论即得。■\blacksquare

舒尔定理的分量

它说的是:复数域上的算子,同时获得两件好事——矩阵最简单(上三角)、基最好算(规范正交)。
而 19 讲只保证了前一件。舒尔定理补上了后一件,代价为零。
后面 26 讲的谱定理会再往前走一步:对正规算子,上三角还能收紧成对角,基仍然是规范正交的。
那时你会发现,舒尔定理正是通往谱定理的跳板——先上三角,再证明上三角的非对角元也被迫为零。


四、几何直观 / 记忆钩子

钩子 1:直角坐标系的三个层次。

层次 要求 求坐标的代价
一般基 线性无关、张满 解 nn 元方程组,约 n3n^3
正交基 再加两两垂直 除以 ∥ej∥2\|e_j\|^2,n2n^2
规范正交基 再加每个长度为一 直接 ⟨v,ek⟩\langle v,e_k\rangle,n2n^2 且无除法

每加一条约束,计算就便宜一档。规范正交基是这条链的终点:再加约束也不会有新东西可省了。

钩子 2:影子。

⟨v,ek⟩\langle v,e_k\rangle 就是 vv 在 eke_k 这根轴上的影子长度(连带正负号)。v=∑⟨v,ek⟩ekv=\sum\langle v,e_k\rangle e_k 这句话的意思是:

一个向量 = 它在各根轴上的影子 + 各自沿轴的缩放,全加起来。

如果轴是斜的(不正交),影子会互相重叠,各自算出来的分量加起来就不是原来的向量了;正因为正交,影子互不干扰,加回去刚好还原。这是「正交」二字最值钱的地方。

钩子 3:格拉姆–施密特就是「剥洋葱」。

造 eke_k 时做的事:先从 vkv_k 里剥掉它在 e1e_1 方向的分量,再剥掉在 e2e_2 方向的分量……剥到没有旧方向为止,剩下的核心不就是新的垂直方向吗?

fk=(原来的 vk)−(在所有旧方向上的影子)f_k=(\text{原来的 }v_k)-(\text{在所有旧方向上的影子})

写成口诀:「减旧影,得新轴」。

钩子 4:勾股定理的高维版本。

v=a1e1+⋯+anen ⟹ ∥v∥2=∣a1∣2+⋯+∣an∣2v=a_1e_1+\cdots+a_ne_n\ \Longrightarrow\ \|v\|^2=|a_1|^2+\cdots+|a_n|^2

平面上的勾股定理是它的 n=2n=2 特例。反过来说,凡是看到「平方和」的地方,背后多半藏着一组正交分解。

钩子 5:转一下还是规范正交基。

在 R2\mathbb{R}^2 里,规范正交基就是把标准基整体旋转一个角度(再加上可能的一次翻折)。所以 R2\mathbb{R}^2 的规范正交基都可以写成

(cos⁡θ,sin⁡θ), (−sin⁡θ,cos⁡θ)或(cos⁡θ,sin⁡θ), (sin⁡θ,−cos⁡θ)(\cos\theta,\sin\theta),\ (-\sin\theta,\cos\theta)\quad\text{或}\quad(\cos\theta,\sin\theta),\ (\sin\theta,-\cos\theta)

前一种是旋转,后一种带翻折(行列式为 −1-1)。这个观察在高维也成立:Rn\mathbb{R}^n 的规范正交基就是「正交矩阵的各列」,全体这样的基由正交群 O(n)O(n) 参数化。旋转不改变长度和角度——这正是「规范正交」这一组条件几何上唯一确定的自由度。

本讲没有配图。若想画:把 e1,e2e_1,e_2 画成两根互相垂直的单位箭头,再把 vv 画成从原点出发的斜箭头,把 vv 沿两根轴分解出的两个分量画成虚线——两个虚分量与 vv 组成一个直角三角形,斜边是 vv。这就是勾股公式 (3.1) 的图。


五、常见误区

误区 1:把「正交」当成「规范正交」

只正交不归一,是最常见的混淆。{(2,0),(0,3)}\{(2,0),(0,3)\} 在 R2\mathbb{R}^2 里正交,但范数是 22 和 33,不是规范正交组。
后果很实际:对它用 ak=⟨v,ek⟩a_k=\langle v,e_k\rangle 会算错,正确公式是 ak=⟨v,ek⟩/∥ek∥2a_k=\langle v,e_k\rangle/\|e_k\|^2。
判据:看 ⟨ek,ek⟩\langle e_k,e_k\rangle 是不是 11。是 11 才算「规范」。

误区 2:以为「逐个归一化」就能得到规范正交组

这个误区的危害最大,因为它看起来很自然。反例在 2.3 已经给过:P2(R)P_2(\mathbb{R}) 上的 1,x,x21,x,x^2 各自除以范数后,
12\tfrac{1}{\sqrt2} 与 5/2 x2\sqrt{5/2}\,x^2 的内积是 5/3≠0\sqrt5/3\neq0,仍然不正交。
归一化只能改长度,改不了方向。要改方向,必须做格拉姆–施密特。
顺带记住:正交性是「成对」的性质,归一化是「逐个」的操作——逐个操作救不了成对性质。

误区 3:以为线性无关就够了,随便一组无关向量都能直接当规范正交基用

规范正交组必线性无关(3.2),反过来不成立。R2\mathbb{R}^2 里的 (1,0)(1,0) 与 (1,1)(1,1) 线性无关,但内积是 1≠01\neq0,
于是 v=⟨v,e1⟩e1+⟨v,e2⟩e2v=\langle v,e_1\rangle e_1+\langle v,e_2\rangle e_2 这条公式不成立。
反例:取 v=(0,1)v=(0,1),则 ⟨v,e1⟩=0\langle v,e_1\rangle=0、⟨v,e2⟩=1\langle v,e_2\rangle=1,右边算出 (1,1)≠(0,1)(1,1)\neq(0,1)。
「长度等于 dim⁡V\dim V 的规范正交组自动是基」这句话没问题;但「线性无关组自动是规范正交组」是彻底的错误方向。

误区 4:对线性相关的组跑格拉姆–施密特

过程第 kk 步要求 fk≠0f_k\neq 0。若 vkv_k 落在前面向量的张成空间里,fkf_k 会被剥成 00,然后 (3.5) 就变成除以零。
这不是算法缺陷,而是信息:fk=0f_k=0 恰好说明 v1,…,vkv_1,\dots,v_k 线性相关。
所以格拉姆–施密特可以反过来当判相关的工具:跑到第 kk 步归零,就说明这个组相关。
在数值上这比高斯消元更直观,但代价是开平方带来的误差累积。

误区 5:以为格拉姆–施密特给出的规范正交基是唯一的

不是。每一步归一化时都可以选 ±\pm(复情形是任意模为 11 的复数),所以一个长 mm 的实线性无关组能造出 2m2^m 个满足
「span⁡\operatorname{span} 逐层相等」的规范正交组。要让答案唯一,必须额外要求 ⟨vk,ek⟩>0\langle v_k,e_k\rangle>0(即「每一步都朝原向量那一侧」)。
格拉姆–施密特过程选的就是这一支,所以它给出的是满足该符号条件的唯一答案。
「规范正交基」整体上也从不唯一:任何正交变换作用在它上面还是规范正交基。


六、拓展(可选,可跳过)

① QR 分解。 把格拉姆–施密特写成矩阵语言,就是本科数值线性代数里最常用的分解之一。设 AA 的列是线性无关的 a1,…,ana_1,\dots,a_n,对它们跑格拉姆–施密特得到 q1,…,qnq_1,\dots,q_n,则 A=QRA=QR,其中 QQ 的列是 qjq_j(规范正交),RR 是上三角,且 Rjk=⟨ak,qj⟩R_{jk}=\langle a_k,q_j\rangle(j≤kj\le k)、对角元 Rkk=∥fk∥>0R_{kk}=\|f_k\|>0。上三角的来历正是 (3.6):ak∈span⁡(q1,…,qk)a_k\in\operatorname{span}(q_1,\dots,q_k)。

② 傅里叶级数就是从这儿长出来的。 在 C[−π,π]C[-\pi,\pi](区间上连续实值函数,内积为 ∫−ππfg\int_{-\pi}^{\pi}fg)里,函数组

12π,cos⁡xπ, cos⁡2xπ, …,sin⁡xπ, sin⁡2xπ, …\frac{1}{\sqrt{2\pi}},\quad \frac{\cos x}{\sqrt{\pi}},\ \frac{\cos 2x}{\sqrt{\pi}},\ \dots,\quad \frac{\sin x}{\sqrt{\pi}},\ \frac{\sin 2x}{\sqrt{\pi}},\ \dots

是规范正交组(验证靠积化和差公式:sin⁡mxsin⁡nx\sin mx\sin nx、cos⁡mxcos⁡nx\cos mx\cos nx 在一个整周期上积分为零)。有了它,傅里叶系数就只是内积 ⟨f,ek⟩\langle f,e_k\rangle,傅里叶级数就只是 (3.4) 的无穷版本。而贝塞尔不等式 (3.3) 在这里变成

a022+∑k=1∞(ak2+bk2) ≤ ∫−ππf2\frac{a_0^2}{2}+\sum_{k=1}^{\infty}\left(a_k^2+b_k^2\right)\ \le\ \int_{-\pi}^{\pi}f^2

对连续函数它其实取等号,但那要用傅里叶级数的收敛理论,超出了线性代数的范围。

③ 数值上没那么美好。 教科书里的格拉姆–施密特(现在叫「经典格拉姆–施密特」)当向量接近线性相关时会严重丢失正交性,原因是要反复做减法,而减法会放大舍入误差。实际计算用的是改进格拉姆–施密特(每一步都重新投影到最新算出的 qjq_j 上)或 Householder 变换,后者最稳定。理解结构用经典版,落地计算用 Householder。

④ 里斯表示定理。 有了规范正交基,有一类结论会变得几乎不用证:VV 上每个线性泛函 φ\varphi 都能写成 φ(u)=⟨u,v⟩\varphi(u)=\langle u,v\rangle 的形式,其中 v=∑φ(ej)ejv=\sum\varphi(e_j)e_j(eje_j 是规范正交基)。因为

φ(∑⟨u,ej⟩ej)=∑⟨u,ej⟩φ(ej)=⟨u, ∑φ(ej)ej⟩\varphi\Big(\sum\langle u,e_j\rangle e_j\Big)=\sum\langle u,e_j\rangle\varphi(e_j)=\Big\langle u,\ \sum\varphi(e_j)e_j\Big\rangle

这就是 12 讲对偶空间那一套在内积空间里的具体化。注意这个论证只在有限维成立,无限维时会失效。

⑤ 无限维的坑。 有限维里「规范正交基一定存在」是定理;无限维里这句话要重新定义「基」(不能只允许有限线性组合),而且即使定义好了,也存在没有规范正交基的希尔伯特空间。本讲的所有结论请默认在有限维下使用。


七、自测(先做,再看答案)

1. 判断:R3\mathbb{R}^3 中

u1=(12,12,0),u2=(13,13,13)u_1=\left(\tfrac{1}{\sqrt2},\tfrac{1}{\sqrt2},0\right),\qquad u_2=\left(\tfrac{1}{\sqrt3},\tfrac{1}{\sqrt3},\tfrac{1}{\sqrt3}\right)

是否构成规范正交组?

2. 对 R2\mathbb{R}^2 中的 v1=(3,4)v_1=(3,4)、v2=(1,1)v_2=(1,1) 跑格拉姆–施密特过程,写出 e1,e2e_1,e_2。

3. 设 e1,e2e_1,e_2 是 R2\mathbb{R}^2 的规范正交基,v∈R2v\in\mathbb{R}^2 满足 ⟨v,e1⟩=3\langle v,e_1\rangle=3、⟨v,e2⟩=−4\langle v,e_2\rangle=-4。求 ∥v∥\|v\|,并说明用了哪条结论。

4. 求 P1(R)P_1(\mathbb{R})(一次以下多项式,内积 ⟨p,q⟩=∫−11pq\langle p,q\rangle=\int_{-1}^{1}pq)的一组规范正交基。它唯一吗?

5. 设 e1,…,eme_1,\dots,e_m 是 VV 中的规范正交组,v∈Vv\in V。证明:

∥v∥2=∑j=1m∣⟨v,ej⟩∣2⟺v∈span⁡(e1,…,em)\|v\|^2=\sum_{j=1}^{m}|\langle v,e_j\rangle|^2\quad\Longleftrightarrow\quad v\in\operatorname{span}(e_1,\dots,e_m)

答案(点开)

1. 不构成。 两个范数都是 11,但内积不为零:

⟨u1,u2⟩=16+16+0=26=23≠0\langle u_1,u_2\rangle=\frac{1}{\sqrt6}+\frac{1}{\sqrt6}+0=\frac{2}{\sqrt6}=\sqrt{\tfrac23}\neq0

两个向量夹角约 35.26∘35.26^\circ。「都是单位向量」绝不足以推出正交。

2. f1=v1=(3,4)f_1=v_1=(3,4),∥f1∥2=9+16=25\|f_1\|^2=9+16=25,所以 e1=15(3,4)=(35,45)e_1=\tfrac15(3,4)=\left(\tfrac35,\tfrac45\right)。
⟨v2,f1⟩=3+4=7\langle v_2,f_1\rangle=3+4=7,故

f2=(1,1)−725(3,4)=(1−2125, 1−2825)=(425,−325)f_2=(1,1)-\frac{7}{25}(3,4)=\left(1-\tfrac{21}{25},\ 1-\tfrac{28}{25}\right)=\left(\tfrac{4}{25},-\tfrac{3}{25}\right)

∥f2∥2=16625+9625=25625=125\|f_2\|^2=\tfrac{16}{625}+\tfrac{9}{625}=\tfrac{25}{625}=\tfrac1{25},∥f2∥=15\|f_2\|=\tfrac15,于是

e2=(45,−35)e_2=\left(\tfrac45,-\tfrac35\right)

验证:⟨e1,e2⟩=1225−1225=0\langle e_1,e_2\rangle=\tfrac{12}{25}-\tfrac{12}{25}=0。注意 f2f_2 可以被缩放而 e2e_2 不会——这正是「先造正交、再归一化」这顺序的好处。

3. ∥v∥=32+(−4)2=5\|v\|=\sqrt{3^2+(-4)^2}=5。
用的是帕塞瓦尔恒等式:因为 e1,e2e_1,e_2 是 R2\mathbb{R}^2 的基(长度 22 等于维数,由 3.2 的推论自动是基),
所以 ∥v∥2=∑∣⟨v,ej⟩∣2\|v\|^2=\sum|\langle v,e_j\rangle|^2 成立。若这组只是规范正交组而没张满,就只能用贝塞尔不等式得 ∥v∥≥5\|v\|\ge5。

4. 从基 1,x1,x 出发。f1=1f_1=1,∥f1∥2=∫−111 dt=2\|f_1\|^2=\int_{-1}^{1}1\,\mathrm{d}t=2,e1=12e_1=\tfrac{1}{\sqrt2}。
⟨x,1⟩=∫−11t dt=0\langle x,1\rangle=\int_{-1}^{1}t\,\mathrm{d}t=0(奇函数在对称区间上积分为零),所以 f2=xf_2=x,∥f2∥2=∫−11t2 dt=23\|f_2\|^2=\int_{-1}^{1}t^2\,\mathrm{d}t=\tfrac23,

e2=32 xe_2=\sqrt{\tfrac32}\,x

答案:{12, 32 x}\left\{\tfrac{1}{\sqrt2},\ \sqrt{\tfrac32}\,x\right\}。
不唯一:把 e1e_1 换成 −e1-e_1、或把 e2e_2 换成 −e2-e_2,仍是规范正交基(共 44 组)。
若再要求 ⟨1,e1⟩>0\langle 1,e_1\rangle>0 且 ⟨x,e2⟩>0\langle x,e_2\rangle>0,答案才唯一——这就是格拉姆–施密特选的那一支。
(这组在数值分析里叫「归一化的勒让德多项式」的前两个。)

5. 记 u=∑j=1m⟨v,ej⟩eju=\sum_{j=1}^{m}\langle v,e_j\rangle e_j,w=v−uw=v-u。
由 3.3 的计算,⟨w,ej⟩=0\langle w,e_j\rangle=0 对所有 jj 成立,因此 w⊥uw\perp u(因为 uu 是各 eje_j 的线性组合)。
套勾股定理:∥v∥2=∥u∥2+∥w∥2=∑j∣⟨v,ej⟩∣2+∥w∥2\|v\|^2=\|u\|^2+\|w\|^2=\sum_j|\langle v,e_j\rangle|^2+\|w\|^2。
于是「==」成立   ⟺  \iff ∥w∥2=0\|w\|^2=0   ⟺  \iff w=0w=0   ⟺  \iff v=u∈span⁡(e1,…,em)v=u\in\operatorname{span}(e_1,\dots,e_m)。
■\blacksquare
这个结论把「规范正交组」与「规范正交基」的差别说得很干净:贝塞尔恒取等号,那这组相对于 vv 就够用了。


八、复习卡

项 内容
规范正交组 ⟨ej,ek⟩=δjk\langle e_j,e_k\rangle=\delta_{jk}:两两正交 且 每个范数为 11
规范正交基 既是规范正交组又是基
两个条件 正交改不了尺度、规范改不了方向,缺一不可
范数公式 ∥a1e1+⋯+amem∥2=∑∣aj∣2\|a_1e_1+\cdots+a_me_m\|^2=\sum\lvert a_j\rvert^2(勾股的高维版)
必线性无关 规范正交组一定线性无关;反之不成立
长度判据 有限维里,长 dim⁡V\dim V 的规范正交组自动是基
贝塞尔不等式 ∑∣⟨v,ej⟩∣2≤∥v∥2\sum\lvert\langle v,e_j\rangle\rvert^2\le\|v\|^2,省下的 ∥w∥2\|w\|^2 是没被解释的部分
取等条件   ⟺  v∈span⁡(e1,…,em)\iff v\in\operatorname{span}(e_1,\dots,e_m)
坐标公式 v=∑⟨v,ej⟩ejv=\sum\langle v,e_j\rangle e_j:坐标就是内积
帕塞瓦尔 ∥v∥2=∑∣⟨v,ej⟩∣2\|v\|^2=\sum\lvert\langle v,e_j\rangle\rvert^2(规范正交基下取等)
内积公式 ⟨u,v⟩=∑⟨u,ej⟩⟨v,ej⟩‾\langle u,v\rangle=\sum\langle u,e_j\rangle\overline{\langle v,e_j\rangle}
格拉姆–施密特 fk=vk−∑j<k⟨vk,fj⟩∥fj∥2fjf_k=v_k-\sum_{j<k}\frac{\langle v_k,f_j\rangle}{\|f_j\|^2}f_j,ek=fk/∥fk∥e_k=f_k/\|f_k\|
几何解释 扣掉在所有旧方向上的投影,剩下的自然正交
分母 是 ∥fj∥2\|f_j\|^2 不是 ∥fj∥\|f_j\|
保张成 span⁡(v1,…,vk)=span⁡(e1,…,ek)\operatorname{span}(v_1,\dots,v_k)=\operatorname{span}(e_1,\dots,e_k)
存在的理由 任取一个基,掰直它 ⇒\Rightarrow 每个有限维内积空间都有规范正交基
扩充 每个规范正交组都能扩充成规范正交基(GS 不动已有部分)
fk=0f_k=0 的含义 原组线性相关(GS 可当判相关工具)
舒尔定理 复内积空间上每个算子都关于某个规范正交基有上三角矩阵
舒尔的关键 GS 保持嵌套张成空间,所以「逐层不变」被搬到新基上
不唯一 符号可差 ±\pm;加 ⟨vk,ek⟩>0\langle v_k,e_k\rangle>0 才唯一
代价对比 一般基 O(n3)O(n^3) 解方程;规范正交基 O(n2)O(n^2) 做内积

九、出处与延伸(可选,不影响阅读)

  • 主线出处:定义与核心结论系统对应《线性代数应该这样学》(第 4 版)第 6B 节「规范正交基」,印刷页码 p165–172。原文编号:6.22(规范正交的定义)、6.23(例:规范正交组)、6.24(范数公式)、6.25(必线性无关)、6.26(贝塞尔不等式)、6.27(规范正交基的定义)、6.28(长度恰好的规范正交组)、6.29(F4\mathbb{F}^4 的例子)、6.30(写成规范正交基的线性组合)、6.31(求系数的例子)、6.32(格拉姆–施密特过程)、6.34(P2(R)P_2(\mathbb{R}) 的例子)、6.35(存在性)、6.36(扩充)、6.37(关于某规范正交基有上三角矩阵)、6.38(舒尔定理)。
  • 本讲的取舍:原文 6.32 直接给出格拉姆–施密特公式再证正确性;本讲把顺序反过来,先在第 3.6 小节由「要垂直、要保张成」两条要求推出公式,再在 3.7 给证明。这样读者不必先背公式。逻辑内容与原文一致。
  • 3.1 末尾「反过来也成立」(由范数公式反推规范正交性)对应第 6B 节习题 1,原文只留作习题,本讲提前给出,因为它让 (3.1) 从「推论」升级成「等价刻画」。
  • 本讲未展开的两处:原文 6.39–6.44 的「线性泛函与里斯表示定理」放在 6B 节末尾,但与规范正交基只是「用得上」的关系,主题上更接近对偶空间,本讲只在拓展 ⑥ 里提了一句,完整处理见 12 讲。原文 6.33 的式子在本讲对应 (3.6)。
  • 原文 p173 后的习题 6B:第 1 题是 (3.1) 的逆命题;第 2 题刻画 R2\mathbb{R}^2 全部规范正交基(本讲第四节的钩子 5);第 3 题是自测第 5 题;第 4 题验证三角函数组的规范正交性(拓展 ②);第 6 题讲「扰动后仍是基」,1/n1/\sqrt n 是最好的常数;第 8、11、12 题是 P2(R)P_2(\mathbb{R}) 上的连续练习;第 13 题是「GS 某步归零   ⟺  \iff 原组相关」(误区 4);第 14 题是「恰好 2m2^m 个」(误区 5);第 20 题把舒尔定理推广到一族可交换算子。
  • 历史注记:约恩·格拉姆(Jørgen Gram,1850–1916)与埃哈德·施密特(Erhard Schmidt,1876–1959)推广了这个构造规范正交组的算法;帕塞瓦尔恒等式之名来自 1799 年关于傅里叶级数的文章;舒尔定理由伊赛·舒尔(Issai Schur)于 1909 年证明。注意史实顺序:正交化思想在傅里叶级数的语境里先出现,被抽象成「内积空间上的算法」是很久以后的事。
  • 想深挖时:QR 分解与 Householder 变换的数值细节见 Golub & Van Loan《Matrix Computations》第 5 章;勒让德多项式与正交多项式的一般理论见任何一本数值分析或特殊函数教材;舒尔定理在算子理论里的版本(含无限维)见 Conway《A Course in Functional Analysis》。
  • 术语别名:规范正交 = 标准正交 = 幺正(unitary,多用于算子)= orthonormal;规范正交基 = 标准正交基 = ONB;格拉姆–施密特过程 = 施密特正交化 = Gram–Schmidt orthogonalization;贝塞尔不等式 = Bessel inequality;帕塞瓦尔恒等式 = Parseval identity。译名差异不影响内容。
一句话收尾

本讲真正学到的不是「怎么算那串根号」,而是:正交把交叉项清零,而交叉项正是所有昂贵运算的来源。
一旦基是规范正交的,求坐标、算范数、算内积三件难事变三件易事;而格拉姆–施密特过程向你保证,这样的基总是造得出来——代价只是几个平方根。
下一站(24 讲)要把「投影」这件事从「在规范正交组上扣分量」推广到任意子空间,那时贝塞尔不等式会以「最佳逼近」的面貌再次出现。