3-4ÕÂ0517.docx) · 2020. 5. 18. · 5 行空间与零空间是“正交补充”: 的每个x...
TRANSCRIPT
194
网址:linear.neocities.org 邮箱:[email protected]
第四章
正交性质
4.1 四个子空间的正交性质
1 正交向量有 vTw = 0,则 || v ||
2 + || w ||
2 = || v + w ||
2 = || v w ||
2。
2 若子空间 V 中的每个 v 与子空间 W 中的每个 w 都存在 vTw = 0,则子空间 V
与子空间 W 正交。
3 A 的行空间与零空间正交,列空间与 N(AT)正交。
4 一组维度配对相加得到 r + (n r) = n,另一组相加是 r + (m r) = m。
5 行空间与零空间是“正交补充”:��的每个 x 分成 xrow + xnull。
6 假设空间 S 的维度是 d,则 S 的每组基底包含 d 个向量。
7 若空间 S 的 d 个向量无关,这些向量生成 S。若 d 个向量生成 S,则这些向量
无关。
两个向量的点积为零,则两个向量正交:v w = vTw = 0。本章转移到正交子
空间与正交基底以及正交矩阵。在两个子空间中的向量,在一组基底的向量以及
Q 中的列向量,前述所有的向量配对都是正交。想起直角三角形有 a2 + b
2 = c
2,
其中三角形的边是 v 与 w。
正交向量 vTw = 0 且 || v ||
2 + || w ||
2 = || v + w ||
2
当 vTw = w
Tv = 0,直角边(v + w)
T(v + w)等于 v
Tv + w
Tw。
第三章的子空间在阐述 Ax = b,现在我们需要列空间与零空间,聚光转到 AT,
揭开另外两个子空间,这 4 个子空间显示了矩阵实际在做什么。
矩阵乘向量:A 乘 x。第一层次只有数字,第二层次 Ax 是列向量的组合,第
三层次展示了子空间。但是我不认为你已经看到全貌,直到你研读了图 4.2。
195
请尊重版权与译者的劳动成果,侵权必究!
子空间适配在一起显示 A 乘 x 的潜在真实性,两个子空间之间的 90角是新
的主题我们现在可以说直角代表什么意义。
行空间与零空间垂直,A 的每个行与 Ax = 0 的每个解垂直,得到图形左侧的
90角。这个子空间的垂直性是线性代数基础定理的第二部分。
列空间与 AT 的零空间垂直,当 b 在列空间之外当我们想要求解 Ax = b 却
做不到时此时 AT 的零空间就会显示出独特的优势,它包含“最小平方”解的
误差 e = b Ax,最小平方是线性代数在本章中的关键应用。
基础定理的第一部分给定子空间的维度,行与列空间有相同的维度 r (他们吸
取相同大小),两个零空间有剩下的维度 n r 与 m r。现在我们证明行空间与零
空间是 nR 中的正交子空间。
定义 向量空间的两个子空间 V 与 W,如果 V 中的每个向量 v 都与 W 中的每个
向量 w 垂直,则 V 与 W 正交:
正交子空间 V 中的所有 v 与 W 中的所有 w 都有 vTw = 0。
范例 1 你房间的地板(延申至无限)是一个子空间 V,两面墙的交线是子空间W (1
维),这两个子空间正交。墙与墙的交线上的向量与地板的每个向量垂直。
范例 2 两面墙看起来是垂直,但是这两个子空间没有正交!交线同时在 V 与
W这条直线与本身并没有垂直。两个平面(在��中,维度是 2 与 2)不可能是正
交子空间。
当一个向量同时在两个正交子空间中,它必须是零,它垂直于本身。它是 v
也是 w,所以 vTv = 0,这个只能是零向量。
正交平面 V 与直线 W 非正交平面
图 4.1:当 dim V + dim W > dim (整个空间),不可能正交。
线性代数重要的范例来自 4 个基础子空间,零是零空间与行空间唯一的交点,此
外,A 的零空间与行空间是 90交会。关键的事实直接来自 Ax = 0:
196
网址:linear.neocities.org 邮箱:[email protected]
Ax = 0,A 的零空间中的每个向量 x 与 A 的每一行垂直。零空间 N(A)与
行空间 C(AT)是Rn中的正交子空间。
要了解为什么 x 与这些行正交,检视 Ax = 0,每个行乘 x:
(1)
方程式 1 说明行 1 与 x 垂直,最后方程式说明行 m 与 x 垂直。每一行与 x 的点积
都是零,x 也与行的每个组合垂直。整个行空间 C(AT)与零空间 N(A)是正交。
此处提供喜欢矩阵缩写的读者第二种证明,行空间的向量是行的组合 ATy,
计算 ATy 与零空间的 x 的点积,这些向量互相垂直:
零空间与行空间正交 xT (AT
y) = (Ax)T y = 0Ty = 0 (2)
我们喜欢第一个证明,你可以从方程式(1)看到 A 的这些行乘 x 得到零,第二个证
明展示了为什么 A 与 AT都在基础定理中。
范例 3 矩阵 A 的行与零空间中的 x = (1, 1, 1)垂直:
0
0
1
1
1
725431
Ax 得到点积 0725
0431
现在回到另外两个子空间。在本例中,列空间是全部的��,A
T的零空间只有零向
量(与所有向量正交),A 的列空间与 AT的零空间永远是正交子空间。
AT的零空间中的每个向量 y 与 A 的每一列垂直,左零空间 N(A
T)与
列空间 C(A)在Rm中正交。
对 AT应用原始的证明,A
T的零空间与 AT的行空间正交A
T的行空间就是 A 的列
空间。证明完毕。
视觉化的证明:检视 ATy = 0,A 的每一列乘 y 得到 0:
C(A)N(AT) A
Ty =
m
0
0
)(
)1(
T
T
y
列
列
⋯ (3)
y 与 A 的每一列的点积是零,则左零空间中的 y 与 A 的每一列垂直也就是与整
个列空间垂直。
(1
是零行
是零行
行
行
m
m
A
x
x
xx
)(
)( 1
0
01
⋮⋮
197
请尊重版权与译者的劳动成果,侵权必究!
图 4.2:两对(pairs)正交子空间,维度总和是 n与m。这是大图两个子空间在Rn中,
两个子空间在Rm中。
正交补充
重要 基础子空间不止是正交(成对)而已,他们的维度也是恰当的。R3中的两条
直线可能垂直,但是这些直线不可能是 33 矩阵的行空间与零空间。两条直线的
维度是 1 与 1,加起来是 2,但是正确的维度 r 与 n r 加起来必须等于 3。
33 矩阵的基础子空间的维度有 2 与 1,或是 3 与 0。这些子空间配对不只是
正交,他们还是正交补充。
定义 子空间 V 的正交补充包含每个与 V 垂直的向量,这个正交子空间写
成 V (读成 V perp)。
基于这个定义,零空间是行空间的正交补充,每个垂直行的 x 满足 Ax = 0,
并且落在零空间中。
反向也是成立的,如果 v 与零空间正交,它必须在行空间中,否则我们可以
把 v 加入矩阵作为一个额外的行,而没有改变它的零空间。行空间会变大,破坏
r + (n r) = n 的法则。我们的结论是零空间补充 N(AT) 确切是行空间 C(A
T)。
同样的方式,左零空间与列空间在Rm中正交,他们是正交补充,他们的维度
r 与 m r 相加得到满维度 m。
维度
维度
维度 维度
A 的行
空间
A 的列
空间
A 的零
空间
AT 的零
空间
198
网址:linear.neocities.org 邮箱:[email protected]
线性代数基础定理,第二部分
N(A)是行空间 C(AT)的正交补充(在R)
N(AT)是列空间 C(A)的正交补充(在Rm)
第一部分给定子空间的维度,第二部分给定他们之间的 90角。“补充”的重
点在于每一个 x 可以分成一个行空间分量 xr 与一个零空间分量 xn。图 4.3 显示 Ax
= Axr + Axn 发生了什么:
零空间分量走到零:Axn = 0。
行空间分量走到列空间:Axr = Ax。
每个向量都走到列空间!左乘 A 不能做其他事情,除此之外:列空间中的每个向
量 b 来自行空间中的一个而且是唯一的向量 xr。证明:若 Axr = Axr,两者的差
xr xr 会在零空间中,它也会在行空间中,因为 xr 与 xr都来自行空间。两者的
差必须为零向量,这是因为零空间与行空间互相垂直,因此 xr = xr。
如果我们抛开两个零空间,在 A 中隐藏一个 rr 的可逆矩阵。从行空间到列
空间,A 是可逆。“伪逆反(pseudoinverse)”会逆反段落 7.4 中 A 的那部分。
范例 4 每个秩 r 的矩阵有一个 rr 的可逆子矩阵:
50
03
000000005000003
A 包含子矩阵
其他 11 个 0 负责零空间。B 的秩也是 r = 2:
41
31
654216542154321
B 包含 在枢轴行与列
当我们选择了正确的Rn与Rm的基底,每个矩阵都可以对角化,这个“奇异值分解
(singular value decomposition)”在应用上已经变得非常重要。
让我重复一个清晰的事实,A 的行不可能在 A 的零空间中 (除了零行之外),
两个正交子空间中都存在的向量只有零向量。
如果一个向量 v 与本身正交,则 v 一定是零向量。
199
请尊重版权与译者的劳动成果,侵权必究!
图 4.3:这是图 4.2 的更新图,显示 A 对于 x = xr + xn 的真实作用。行空间向量 xr
到列空间,零空间向量 xn 到零。
画出大图
我不知道画出在图 4.2 与 4.3 的 4 个子空间的最佳方法,这张大图必须显示这些
子空间的正交性质。我能够看到一个可能的方法去做这件事情,就是一条线与一
个平面的交会可能图 4.4 也显示了这些空间是无限的,比图 4.3 的矩形要更清
晰。但是我该如何在R4画出一对 2 维的子空间,去展示他们彼此之间是正交? 欢
迎提供好点子。
图 4.4:A 的行空间 = 平面,零空间 = 正交直线,维度 2 + 1= 3。
与行正交
A 的零空间
方向
行的
所有组合 列的
所有组合
所有与列
正交的向量 所有与行
正交的向量
200
网址:linear.neocities.org 邮箱:[email protected]
从子空间组合基底
接下来是一些关于基底的有价值事实,他们一直储存到现在当我准备好使用他
们。一个星期以后你对于基底是什么(线性无关的向量生成空间),就会有一个清
晰的观念。正常情形下要检验两个性质,当计数是正确的,一个性质就可以推论
至另一个性质:
Rn中任何 n 个无关向量必然生成Rn,所以他们是一组基底。
生成Rn的任何 n 个向量必然无关,所以他们是一组基底。
从向量的正确个数开始,基底的一个性质产生另一个性质。对于任意的向量
空间来说这是真实的,但是我们会关注Rn更多。当这些向量进入 nn 方形矩阵 A
的列时,有两个相同的事实:
若 A 的 n 个列是无关,他们生成Rn,所以 Ax = b 有解。
若这 n 个列生成Rn,他们是无关,所以 Ax = b 有唯一解。
唯一性推论到存在性而且存在性也推论到唯一性,则 A 是可逆的。如果不存在自
由变数,解 x 是唯一,此时必须有 n 个枢轴,然后利用反向代入法求解 Ax = b (存
在解)。
从反向开始,假设对于每个 b,Ax = b 都有解(存在解),消元法不会得到零行,
有 n 个枢轴,没有自由变数,零空间只包含 x = 0 (唯一性)。
对于行空间与零空间的基底来说,我们有 r + (n r) = n 个向量,这是正确的
数字,这 n 个向量是无关 2,因此他们生成Rn。
每个 x 是 xr + xn 的总和,其中 xr 來自行空间,xn 來自零空间。
范例 5 A =
63
21
把 x =
3
4分成 xr + xn =
4
2+
1
2。
向量(2, 4)在行空间中,正交向量(2, 1)在零空间中。下个段落会计算对于任意 A
与 x 的分割,使用投影法(projection)。 【原文没有 footnote 1】
2若全部 n 个向量的组合得到 xr + xn = 0,则 xr = xn同时在两个空间,所以 xr = xn =
0。行空间与零空间的基底的所有系数必须为零,证明了这 n 个向量在一起是无关。
201
请尊重版权与译者的劳动成果,侵权必究!
主要观念的复习
1. 如果 V 中的每个 v 都与 W 中的每个 w 正交,则子空间 V 与 W 正交。
2. 如果 W 包含所有与 V 垂直的向量(反之亦然),则 V 与 W 是“正交补充”。
3. 零空间 N(A)与行空间 C(AT)是正交补充,维度是 (n r) + r = n。相似的,
N(AT)与 C(A)是正交补充,维度是 (m r) + r = m。
4. Rn中任何 n 个无关向量生成Rn,任何 n 个生成向量必然无关。
已解范例
4.1A 假设 S 是 9 维空间R9中的 6 维子空间。
(a) 与 S 正交的子空间的可能维度是多少?
(b) S 的正交补充 S 的可能维度是多少?
(c) 矩阵 A 的行空间是 S,则 A 可能的最小大小(smallest size)为何?
(d) 矩阵 B 的零空间是 S,则 B 可能的最小大小为何?
解
(a) 若 S 是R9的 6 维子空间,与 S 正交的子空间的可能维度是 0, 1, 2, 3。
(b) 正交补充 S是最大的正交子空间,维度是 3。
(c) 最小的矩阵 A 是 69 (它的 6 个行是 S 的一组基底) 。
(d) 答案与(c)相同。
如果 B 的新行 7 是 A 的 6 个行的组合,则 B 与 A 有相同的行空间,也有相同
的零空间。Ax = 0 的特殊解 s1, s2, s3 与 Bx = 0 的特殊解相同。消元法会把 B 的第
7 行变成全部是零。
4.1B 方程式 x 3y 4z = 0 描述了R3的一个平面 P (实际是个子空间)。
(a) 平面 P 是哪个 13 矩阵 A 的零空间 N(A)?答案:A = [1 3 4]。
(b) 找出 x 3y 4z = 0的特殊解的基底 s1与 s2。(这些是零空间矩阵N的列)。
答案:s1 = (3, 1, 0)与 s2 = (4, 0, 1)。
(c) 找出垂直 P 的直线 P的一组基底。答案:(1, 3, 4)。
202
网址:linear.neocities.org 邮箱:[email protected]
问题集 4.1
问题 1-12 图 4.2 与 4.3 的四个子空间的发展。
1 写出任意 23 的秩 1 矩阵,复制图 4.2,在每个子空间中放置一个向量(零空
间中放两个。) 哪些向量是正交?
2 对 32 秩 r = 2 的矩阵重画图 4.3,哪个子空间是 Z(只有零向量)? R2中任意向
量 x 的零空间部分 xn = ________。
3 写出一个满足要求的矩阵,或是说明为何不可能?
(a) 列空间包含
5
3
2
3
2
1
与 ,零空间包含
1
1
1
(b) 行空间包含
5
3
2
3
2
1
与 ,零空间包含
1
1
1
(c) Ax =
1
1
1
有一个解且 AT
0
0
0
001
。
(d) 每一行与每一列正交 (A 不是零矩阵)
(e) 全部列相加得到一列的零,全部行相加得到一行的 1’s。
4 若 AB = 0,则 B 的列在 A 的______中,A 的行在 B 的______中。AB = 0,为
什么 A 与 B 不可能是秩 2 的 33 矩阵。
5 (a) 若 Ax = b 有一个解且 ATy = 0,则(y
T x = 0)或是(y
T b = 0)?
(b) 若 ATy = (1, 1, 1)有一个解且 Ax = 0,则_____________。
6 方程式系统 Ax = b 无解(他们得到 0 = 1):
9543
5322
522
zyx
zyx
zyx
求出数字 y1, y2, y3 分别乘方程式相加后得到 0 = 1,你会发现向量 y 在哪个子
空间?它的点积 yT
b 是 1,所以 x 无解。
7 每个无解的系统就像问题 6 一样,存在数字 y1, ..., ym 分别乘 m 个方程式,相
加后得到 0 = 1。这个称为“Fredholm’s 替代(alternative)”:
下列问题中恰好只有一个问题有一个解
Ax = b 或 ATy = 0 且 y
T b 是 1
若 b 不在 A 的列空间中,它与 AT的零空间就不正交。分别用数字 y1, y2, y3 乘
方程式 x1 x2 = 1 与 x2 x3 = 1 与 x1 x3 = 1,选取适当的 y’s 使得方程式相加
得到 0 = 1。
203
请尊重版权与译者的劳动成果,侵权必究!
8 在图 4.3 中,我们如何知道 Axr等于 Ax?我们如何知道这个向量在列空间中?
若 A =
11
11
与 x =
0
1,求 xr。
9 若 ATAx = 0 则 Ax = 0。理由:Ax 在 A
T的零空间中,也在 A 的_______中且
这些空间是______。结论:ATA 与 A 有相同的零空间。下个段落会重复这个
关键事实。
10 假设 A 是对称矩阵(AT = A)。
(a) 为什么它的列空间与它的零空间垂直?
(b) 若 Ax = 0 与 Az = 5z,哪个子空间包含“固有向量”x 与 z ?
对称矩阵有垂直的固有向量 xT z = 0。
11 (推荐) 画出图 4.2,正确的展示每个子空间:
A =
0301
6321
B 与
12 找出片段 xr 与 xn 并且正确画出图 4.3,如果
A =
0
2
000011
x 与
问题 13-23 有关正交子空间。
13 把子空间 V 与 W 的基底放进矩阵 V 与 W 的列,说明为什么正交子空间的测
试可以写成 VTW = 0 矩阵? 这也符合正交向量的 v
Tw = 0。
14 地板 V 与墙 W 不是正交子空间,因为他们共享一个相同的非零向量(沿着交
线的向量),没有R3中的平面 V 与平面 W 可以正交!找出下列两个矩阵的列
空间的一个向量:
A =
153645
213121
B 与
这会是一个向量 Ax 以及 B x̂。想象 34 的矩阵[A B]。
15 延申问题 14 至Rn的一个 p 维的子空间 V 与一个 q 维的子空间 W,什么样的 p
+ q 的不等式确保 V 与 W 的交集是非零向量? 这些子空间不可能正交。
16 利用方程式(2)的矩阵缩写,证明 N(AT)中每一个 y 与列空间中每一个 Ax 垂直。
从 ATy = 0 开始。
204
网址:linear.neocities.org 邮箱:[email protected]
17 若R3的子空间 S 只包含零向量,S为何?若 S 由(1, 1, 1)生成,S
为何?若 S
由(1, 1, 1)与(1, 1, 1)生成,S的一组基底为何?
18 假设 S只包含两个向量(1, 5, 1)与(2, 2, 2) (不是子空间),则 S是矩阵A = _____
的零空间。尽管 S 不是子空间,但是 S是子空间。
19 假设 L 是R3的一维子空间(一条直线),它的正交补充 L是垂直 L 的_______。
则(L)是垂直 L
的_______。事实上(L)与_______相同。
20 假设 V 是整个空间R4,V只包含_____向量,则(V
)是_______,所以(V
)
与_______相同。
21 假设 S 由向量(1, 2, 2, 3)与(1, 3, 3, 2)生成,找出两个向量生成 S,这相当于求
解 Ax = 0,求 A?
22 假设R4的平面 P 满足 x1 + x2 + x3 + x4 = 0,写出 P的一组基底,写出把 P 作
为零空间的矩阵。
23 假设子空间 V 包含子空间 S,证明 S包含 V
。
问题 24-30 有关垂直列与行。
24 假设一个 nn 矩阵可逆:A A1
= I,则 A1 的第一列与 A 的哪些行生成的空间
正交?
25 假设 A 的列是单位向量且全部互相垂直,求 ATA。
26 建立 33 矩阵 A,其中 A 没有 0 单元且它的列互相垂直,计算 ATA。为什么
它是对角矩阵?
27 直线 3x + y = b1 与 6x + 2y = b2 是_______。如果______,他们是同一条线,这
个情况下(b1, b2)与向量_____垂直。矩阵的零空间是直线 3x + y = ____,这个
零空间中的一个特定向量是______。
28 为什么下列的叙述是错误的?
(a) (1, 1, 1)与(1, 1, 2)垂直,所以 x + y + z = 0与 x + y 2z = 0是正交子空间。
(b) (1, 1, 0, 0, 0)与(0, 0, 0, 1, 1)生成的子空间,是(1, 1, 0, 0, 0)与(2, 2, 3, 4,
4)生成的子空间的正交补充。
(c) 交集只有零向量的两个子空间正交。
29 求出一个矩阵使得 v (1, 2, 3)同时在矩阵的行空间与列空间中。找出另一个矩
阵使得 v 同时在零空间与列空间中。v 不能同时在哪些子空间的配对?
205
请尊重版权与译者的劳动成果,侵权必究!
挑战问题
30 假设 A 是 34 与 B 是 45 且 AB = 0,所以 N(A)包含 C(B)。由 N(A)与 C(B)的
维度证明 rank(A) + rank (B) 4。
31 指令 N = null(A) 会得到 A 的零空间的一组基底。则指令 B = null(N)会得到 A
的______的一组基底。
32 假设我给你 4 个R2的非零向量 r, n, c, l :
(a) 要想成为 22 矩阵的 4 个基础子空间 C(AT), N(A), C(A), N(A
T)的基底,这些
向量要有什么条件?
(b) 可能的的矩阵 A 为何?
33 假设我给你 8 个R4的向量 r1, r2, n1, n2, c1, c2, l 1, l 2 :
(a) 要想成为 44 矩阵的 4 个基础子空间的基底,这些向量要有什么条件?
(b) 可能的矩阵 A 为何?