第十六讲投影矩阵(Ax=b)和最小二乘法

上一讲中，我们知道了投影矩阵 $P=A(A^TA)^{-1}A^T P=A(ATA)−1AT， P b Pb Pb将会把向量投影在 A A A的列空间中。即只要知道矩阵 A A A的列空间，就能得到投影矩阵 P P P的导出式。 ##1.投影矩阵（Ax=b无解的情形）$

1.1两个极端的例子：

如果 $b\\in C(A) b∈C(A)，则 P b = b Pb=b Pb=b；$

如果 $b\\bot C(A) b⊥C(A)，则 P b = 0 Pb=0 Pb=0。$

证明1：

(

)

−

(

)

−

(

−

)

Pb = A(A^TA)^{-1}A^Tb\\\\ = A(A^TA)^{-1}A^TAx\\\\ =A((A^TA^{-1})A^TA)x =Ax=b

$P b = A (A^{T} A)^{- 1} A^{T} b = A (A^{T} A)^{- 1} A^{T} A x = A ((A^{T} A^{- 1}) A^{T} A) x = A x = b$
证明2：

(

)

−

(

−

)

(

)

(

−

)

Pb = A(A^TA)^{-1}A^Tb\\\\ = A(A^TA^{-1})(A^Tb)\\\\ =A((A^TA^{-1})0=0

$P b = A (A^{T} A)^{- 1} A^{T} b = A (A^{T} A^{- 1}) (A^{T} b) = A ((A^{T} A^{- 1}) 0 = 0$
一般情况下，

$b$ 将会有一个垂直于

$A$ 的分量，有一个在

$A$ 列空间中的分量，投影的作用就是去掉垂直分量而保留列空间中的分量。

1.2一般情形

一般情况下，

$b$ 将会有一个垂直于

$A$ 的分量，有一个在

$A$ 列空间中的分量，投影的作用就是去掉垂直分量而保留列空间中的分量。如图：

向量

投

影

后

，

有

(

−

)

，

这

里

的

是

在

(

)

中

的

分

量

，

而

是

在

(

)

中

的

分

量

。

b投影后，有b=e+p, p=Pb, e=(I-P)b，这里的p是b在C(A)中的分量，而e是b在N(A^T)中的分量。

$b 投影后，有 b = e + p, p = P b, e = (I - P) b ，这里的 p 是 b 在 C (A) 中的分量，而 e 是 b 在 N (A^{T}) 中的分量。$
可以理解为：向量

$b$ 的投影在

$A$ 的column space，error vector的投影在left null space上，我们知道

$P$ ，可以将

$b$ 投影到

$p$ ，那么一个什么样的投影矩阵把

$b$ 投影到了

$e$ ？因为column space与left null space正交补，所以他们共同组成了整个空间，

$I$ 的column space就是整个空间，

−

I−P

$I - P$ 就是把

$b$ 投影到

$e$ 的矩阵，它和

$P$ 有意义的性质。

2. 最小二乘法（Ax=b）

回到上一讲最后提到的例题：
我们需要找到距离图中三个点

(

)

(

)

(

)

(1, 1), (2, 2), (3, 2)

$(1, 1), (2, 2), (3, 2)$ 偏差最小的直线：

y=C+Dt

$y = C + D t$ 。

根据条件可以得到方程组

{

\\begin{cases} C+D&=1 \\\\ C+2D&=2 \\\\ C+3D&=2 \\\\ \\end{cases}

$⎩ ⎪ ⎨ ⎪ ⎧ C + D C + 2 D C + 3 D = 1 = 2 = 2$
，写作矩阵形式

[

]

[

]

[

]

\\begin{bmatrix}1 &1 \\\\1 &2 \\\\1&3\\\\\\end{bmatrix}\\begin{bmatrix}C\\\\D\\\\\\end{bmatrix}=\\begin{bmatrix}1\\\\2\\\\2\\\\\\end{bmatrix}

$⎣ ⎡ 111123 ⎦ ⎤ [C D] = ⎣ ⎡ 122 ⎦ ⎤$ ，也就是我们的

Ax=b

$A x = b$ ，很明显方程组无解。
此时我们要找到最接近的解"最优解"，我们要使得解最优即误差最小，定义误差为

−

Ax−b=e

$A x - b = e$ 的模长的平方即

∥

−

∥

∥Ax−b∥_2=∥e∥_2=e_{21}+e_{22}+e_{23}

$∥ A x - b ∥_{2} = ∥ e ∥_{2} = e_{21} + e_{22} + e_{23}$ 。此处使用平方的原因一是排除开根号带来的非线性运算，一是方便利用偏导数求解最小值。

1.利用偏导求解

这里如果使用偏导数我们也能得到关于最优解的方程，展开结果为:

{

∥

(

−

)

(

−

)

(

−

)

−

\\begin{cases} ∥e∥_2&=e_1^2+e_2^2+e_2^2\\\\ &=(C+D-1)^2+(C+2D-2)^2+(C+3D-2)^2\\\\ &=3C^2+14D^2+9−10C−22D+12CD\\\\ \\end{cases}

$⎩ ⎪ ⎨ ⎪ ⎧ ∥ e ∥_{2} = e_{12} + e_{22} + e_{22} = (C + D - 1)^{2} + (C + 2 D - 2)^{2} + (C + 3 D - 2)^{2} = 3 C^{2} + 14 D^{2} + 9 - 10 C - 22 D + 12 C D$
然后对

$C$ 求偏导为

−

6C-10+12D=0

$6 C - 10 + 12 D = 0$ ；对

$D$ 求偏导为

−

28D-22+12C=0

$28 D - 22 + 12 C = 0$ 。
解方程得

\\hat C=\\frac{2}{3}, \\hat D=\\frac{1}{2}

$C^= \frac{2}{3}, D^= \frac{1}{2}$ ，则“最佳直线”为

y=\\frac{2}{3}+\\frac{1}{2}t

$y = \frac{2}{3} + \frac{1}{2} t$ ，带回原方程组解得

p_1=\\frac{7}{6}, p_2=\\frac{5}{3}, p_3=\\frac{13}{6}

$p_{1} = \frac{7}{6}, p_{2} = \frac{5}{3}, p_{3} = \frac{1 3}{6}$ ，即

−

e_1=-\\frac{1}{6}, e_2=\\frac{1}{3}, e_3=-\\frac{1}{6}

$e_{1} = - \frac{1}{6}, e_{2} = \frac{1}{3}, e_{3} = - \frac{1}{6}$ 。
于是我们得到

[

]

[

−

]

p=\\begin{bmatrix}\\frac{7}{6}\\\\\\frac{5}{3}\\\\\\frac{13}{6}\\end{bmatrix}, e=\\begin{bmatrix}-\\frac{1}{6}\\\\\\frac{1}{3}\\\\-\\frac{1}{6}\\end{bmatrix}

$p = ⎣ ⎡ \frac{7}{6} \frac{5}{3} \frac{1 3}{6} ⎦ ⎤, e = ⎣ ⎡ - \frac{1}{6} \frac{1}{3} - \frac{1}{6} ⎦ ⎤$ ，易看出

b=p+e

$b = p + e$ ，同时我们发现

⋅

p\\cdot e=0

$p \cdot e = 0$ 即

⊥

p\\bot e

$p ⊥ e$ 。

可以验证，向量p 与e 正交，并且e 与矩阵A 的列空间正交。

∗

(

−

)

∗

(

−

)

∗

(

−

)

∗

(

−

)

∗

(

−

)

∗

(

−

)

p^Te=7/6*(-1/6)+5/3*1/3+13/6*(-1/6)=0\\\\ e^Ta_1=1*(-1/6)+1*1/3+1*(-1/6)=0\\\\ e^Ta_2=1*(-1/6)+2*1/3+3*(-1/6)=0

$p^{T} e = 7 / 6 * (- 1 / 6) + 5 / 3 * 1 / 3 + 13 / 6 * (- 1 / 6) = 0 e^{T} a_{1} = 1 * (- 1 / 6) + 1 * 1 / 3 + 1 * (- 1 / 6) = 0 e^{T} a_{2} = 1 * (- 1 / 6) + 2 * 1 / 3 + 3 * (- 1 / 6) = 0$

误差向量

$e$ 不仅垂直于投影向量

$p$ ，它同时垂直于列空间，如

[

]

[

]

\\begin{bmatrix}1\\\\1\\\\1\\end{bmatrix}, \\begin{bmatrix}1\\\\2\\\\3\\end{bmatrix}

$⎣ ⎡ 111 ⎦ ⎤, ⎣ ⎡ 123 ⎦ ⎤$ 。

2.利用矩阵求解

用矩阵的方法求解

A\\hat x=Pb

$A x^= P b$ 得到的方程是一样的，现在我们尝试解出

[

]

\\hat x=\\begin{bmatrix}\\hat C\\\\ \\hat D\\end{bmatrix}

$x^= [C^D^]$ 与

[

]

。

p=\\begin{bmatrix}p_1\\\\p_2\\\\p_3\\end{bmatrix}。

$p = ⎣ ⎡ p_{1} p_{2} p_{3} ⎦ ⎤ 。$

[

]

[

]

[

]

[

]

[

]

A^TA\\hat x=A^Tb\\\\ A^TA= \\begin{bmatrix}3&6\\\\6&14\\end{bmatrix}\\qquad A^Tb= \\begin{bmatrix}5\\\\11\\end{bmatrix}\\\\ \\begin{bmatrix}3&6\\\\6&14\\end{bmatrix} \\begin{bmatrix}\\hat C\\\\\\hat D\\end{bmatrix}= \\begin{bmatrix}5\\\\11\\end{bmatrix}\\\\

$A^{T} A x^= A^{T} b A^{T} A = [36614] A^{T} b = [511] [36614] [C^D^] = [511]$

写成方程形式为

{

\\begin{cases}3\\hat C+16\\hat D&=5\\\\6\\hat C+14\\hat D&=11\\\\\\end{cases}

${3C^+16D^6C^+14D^=5=11$ ，也称作

正

规

方

程

组

（

）

\\color{red}{正规方程组（normal equations）}

$正规方程组（ n o r m a l e q u a t i o n s ）$ 。
求的的结果是一样的。

我们现在做的运算也称作

线

性

回

归

（

）

\\color{red}{线性回归（linear regression）}

$线性回归（ l i n e a r r e g r e s s i o n ）$ ，使用误差的平方和作为

测

量

总

误

差

的

标

准

\\color{red}{测量总误差的标准}

$测量总误差的标准$ 。

注：
如果有另一个点，如 $\\color{red}{通常使用最小二乘时会去掉明显离群的点} 通常使用最小二乘时会去掉明显离群的点。$

3.证明 $A^TA ATA可逆$

###3.1 证明可逆
接下来我们观察

A^TA

$A^{T} A$ ，

如

果

的

各

列

线

性

无

关

，

求

证

是

可

逆

矩

阵

\\color{red}{如果A的各列线性无关，求证A^TA是可逆矩阵}

$如果 A 的各列线性无关，求证 A^{T} A 是可逆矩阵$ 。
先假设

A^TAx=0

$A^{T} A x = 0$ ，两边同时乘以

x^T

$x^{T}$ 有

x^TA^TAx=0

$x^{T} A^{T} A x = 0$ ，即

(

)

(

)

(Ax)^T(Ax)=0

$(A x)^{T} (A x) = 0$ 。一个矩阵乘其转置结果为零，则这个矩阵也必须为零（

(

)

(

)

(Ax)^T(Ax)

$(A x)^{T} (A x)$ 相当于

$A x$ 长度的平方）。则

Ax=0

$A x = 0$ ，结合题设中的“

$A$ 的各列线性无关”，可知

x=0

$x = 0$ ，也就是

A^TA

$A^{T} A$ 的零空间中有且只有零向量，得证。

###3.2互相垂直线性无关
我们再来看一种线性无关的特殊情况：

互

相

垂

直

的

单

位

向

量

一

定

是

线

性

无

关

的

\\color{red}{互相垂直的单位向量一定是线性无关的}

$互相垂直的单位向量一定是线性无关的$ 。
比如：

[

]

[

]

[

]

\\begin{bmatrix}1\\\\0\\\\0\\end{bmatrix}\\begin{bmatrix}0\\\\1\\\\0\\end{bmatrix}\\begin{bmatrix}0\\\\0\\\\1\\end{bmatrix}

$⎣ ⎡ 100 ⎦ ⎤ ⎣ ⎡ 010 ⎦ ⎤ ⎣ ⎡ 001 ⎦ ⎤$ ，这三个正交单位向量也称作标准正交向量组（orthonormal vectors）。
另一个例子

[

cos

⁡

sin

⁡

]

[

−

sin

⁡

cos

⁡

]

\\begin{bmatrix}\\cos\\theta\\\\\\sin\\theta\\end{bmatrix}\\begin{bmatrix}-\\sin\\theta\\\\\\cos\\theta\\end{bmatrix}

$[cos θ sin θ] [- sin θ cos θ]$
下一讲研究标准正交向量组。

4.总结

1.记住图的意义：
这里写图片描述
2.最小二乘法求解的意义。
3.

A^TA

$A^{T} A$ 可逆的条件和正交向量组。

#第十七讲：正交矩阵和Gram-Schmidt正交化法

这是关于正交性最后一讲，已经知道正交空间，比如行空间和零空间，今天主要看正交基和正交矩阵

1.标准正交基与正交矩阵

###1.1 标准正交基

定义** $\\color{red}{标准正交向量} 标准正交向量（orthonormal）： q i T q j = { 0 i ≠ j 1 i = j q_i^Tq_j=\\begin{cases}0\\quad i\\neq j\\\\1\\quad i=j\\end{cases} qiTqj={0i=j1i=j; 2.将标准正交向量放入矩阵中，有 Q = [ q 1 q 2 ⋯ q n ] Q=\\Bigg[q_1 q_2 \\cdots q_n\\Bigg] Q=[q1q2⋯qn],计算 Q T Q Q^TQ QTQ Q T Q = [ 1 0 ⋯ 0 0 1 ⋯ 0 ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ 1 ] = I Q^TQ=\\begin{bmatrix}1& 0& \\cdots& 0\\\\0& 1& \\cdots& 0\\\\\\vdots& \\vdots& \\ddots& \\vdots\\\\0& 0& \\cdots& 1\\end{bmatrix}=I QTQ=⎣⎢⎢⎢⎡10⋮001⋮0⋯⋯⋱⋯00⋮1⎦⎥⎥⎥⎤=I 我们也把 Q Q Q成为标准正交矩阵 \\color{red}{标准正交矩阵} 标准正交矩阵**（orthonormal matrix）。$

标准正交基：

举个置换矩阵的例子： $Q=\\begin{bmatrix}0& 1& 0\\\\1& 0& 0\\\\0& 0& 1\\end{bmatrix} Q=⎣⎡010100001⎦⎤，则 Q T = [ 0 1 0 0 0 1 1 0 0 ] Q^T=\\begin{bmatrix}0& 1& 0\\\\0& 0& 1\\\\1& 0& 0\\end{bmatrix} QT=⎣⎡001100010⎦⎤，易得 Q T Q = I Q^TQ=I QTQ=I。$
使用上一讲的例子 $Q=\\begin{bmatrix}\\cos\\theta& -\\sin\\theta\\\\\\sin\\theta& \\cos\\theta\\end{bmatrix} Q=[cosθsinθ−sinθcosθ]，列向量长度为 1 1 1，且列向量相互正交。$
其他例子 $Q=\\frac{1}{\\sqrt 2}\\begin{bmatrix}1& 1\\\\1& -1\\end{bmatrix} Q=2 1[111−1]，列向量长度为 1 1 1，且列向量相互正交。$
使用上一个例子的矩阵，令 $Q'=c\\begin{bmatrix}Q& Q\\\\Q& -Q\\end{bmatrix} Q′=c[QQQ−Q]，取合适的 c c c另列向量长度为 1 1 1也可以构造标准正交矩阵： Q = 1 2 [ 1 1 1 1 1 − 1 1 − 1 1 1 − 1 − 1 1 − 1 − 1 1 ] Q=\\frac{1}{2}\\begin{bmatrix}1& 1& 1& 1\\\\1& -1& 1& -1\\\\1& 1& -1& -1\\\\1& -1& -1& 1\\end{bmatrix} Q=21⎣⎢⎢⎡11111−11−111−1−11−1−11⎦⎥⎥⎤，这种构造方法以阿德玛（Adhemar）命名，对 2 , 4 , 16 , 64 , ⋯ 2, 4, 16, 64, \\cdots 2,4,16,64,⋯阶矩阵有效。$
再来看一个例子， $Q=\\frac{1}{3}\\begin{bmatrix}1& -2& 2\\\\2& -1& -2\\\\2& 2& 1\\end{bmatrix} Q=31⎣⎡122−2−122−21⎦⎤，列向量长度为 1 1 1，且列向量相互正交。格拉姆-施密特正交化法的缺点在于，由于要求得单位向量，所以我们总是除以向量的长度，这导致标准正交矩阵中总是带有根号，而上面几个例子很少有根号。$

**标准正交矩阵 **

Q^TQ

$Q^{T} Q$ 对任意的

$Q$ 都成立，但我们更关注

$Q$ 为方阵时的情况，因为其有逆且由

⇒

−

Q^TQ=I⇒Q^{−1}=Q^T

$Q^{T} Q = I \Rightarrow Q^{- 1} = Q^{T}$ ，我们叫这种column vector为标准正交向量组成且为方阵的矩阵为正交矩阵 orthogonal matrix。

注意：标准正交矩阵 orthogonormal matrix不一定是方阵，当它是方阵的时候，我们叫它正交矩阵 orthogonal matrix。

1.2正交矩阵

为什么我们如此关注标准正交矩阵 orthogonormal matrix为方阵的情形？

上一讲我们研究了

A^TA

$A^{T} A$ 的特性，联系我们之前学习的投影矩阵projection matrix，将向量

$b$ 投影在标准正交矩阵

$Q$ 的列空间中，根据上一讲的公式得

(

)

−

P=Q(Q^TQ)^{-1}Q^T

$P = Q (Q^{T} Q)^{- 1} Q^{T}$ ，由于标准正交矩阵

$Q$ 的性质，易得

P=QQ^T

$P = Q Q^{T}$ 。

我们断言，当列向量为标准正交基时，

QQ^T

$Q Q^{T}$ 是投影矩阵。极端情况，假设矩阵是方阵，而其列向量是标准正交的，则其列空间就是整个向量空间，而投影整个空间的投影矩阵就是单位矩阵，此时

QQ^T=I

$Q Q^{T} = I$ 。

投影矩阵的两个性质：

$(QQ^T)^T=QQ^T (QQT)T=QQT，证明： ( Q Q T ) T = ( Q T ) T Q T = Q Q T (QQ^T)^T=(Q^T)^TQ^T=QQ^T (QQT)T=(QT)TQT=QQT$

2.

(

Q

Q

T

)

2

=

Q

Q

T

(QQ^T)^2=QQ^T

$(Q Q^{T})^{2} = Q Q^{T}$
证明：

(

Q

Q

T

)

2

=

Q

Q

T

Q

Q

T

=

Q

(

Q

T

Q

)

Q

T

=

Q

Q

T

(QQ^T)^2=QQ^TQQ^T=Q(Q^TQ)Q^T=QQ^T

$(Q Q^{T})^{2} = Q Q^{T} Q Q^{T} = Q (Q^{T} Q) Q^{T} = Q Q^{T}$

我

们

计

算

的

\\color{red}{我们计算的A^TA\\hat x=A^Tb}

$我们计算的 A^{T} A x^= A^{T} b$ ，现在变为

Q^TQ\\hat x=Q^Tb

$Q^{T} Q x^= Q^{T} b$ ，也就是

\\hat x=Q^Tb

$x^= Q^{T} b$ ，分解开来看就是

‾

\\underline{\\hat x_i=q_i^Tb}

$x^_{i} = q_{i T} b$ ，这个式子在很多数学领域都有重要作用。当我们知道标准正交基，则解向量第

$i$ 个分量为基的第

$i$ 个分量乘以b，在第

$i$ 个基方向上的投影就等于q_i^Tb。}$

##2. Gram-Schmidt正交化法

这是一种将矩阵转化为标准正交向量orthogonormal matrix的方法。按老师的说法Schmidt教我们如何将一个向量标准化normalized，而Graham教我们如何使得各个向量正交orthogonal。

总思路：
已知相互无关的向量

a

a

$a$ ,

b

b

$b$ ，目标要将

a

a

$a$ ,

b

b

$b$ 变成相互正交且长度为$1

的

的

$的$ q_1

,

,

$,$ q_2

，

可

将

向

量

，可将向量

$，可将向量$ a$ 固定，然后

b

b

$b$ 投影到$a

上

，

误

差

上，误差

$上，误差$ e=B$.

我们有两个线性无关的向量

a, b

$a, b$ ，先把它们化为单位正交向量

A, B

$A, B$ ：

我们取定
接下来将 $B=b-\\frac{A^Tb}{A^TA}A B=b−ATAATbA。检验一下 A ⊥ B A\\bot B A⊥B， A T B = A T b − A T A T b A T A A = A T b − A T A A T A A T b = 0 A^TB=A^Tb-A^T\\frac{A^Tb}{A^TA}A=A^Tb-\\frac{A^TA}{A^TA}A^Tb=0 ATB=ATb−ATATAATbA=ATb−ATAATAATb=0。（ A T b A T A A \\frac{A^Tb}{A^TA}A ATAATbA就是 A x ^ = p A\\hat x=p Ax^=p）；$
再将它们单位化，变为单位正交向量 $q_1=\\frac{A}{\\left\\|A\\right\\|}, q_2=\\frac{B}{\\left\\|B\\right\\|} q1=∥A∥A,q2=∥B∥B。$

如果我们有三个线性无关的向量

a, b, c

$a, b, c$ ，则我们现需要求它们变换成单位正交向量

A, B, C

$A, B, C$ ：

前两个向量我们已经得到了，我们现在需要求第三个向量同时正交于
我们依然沿用上面的方法，从 $C=c-\\frac{A^Tc}{A^TA}A-\\frac{B^Tc}{B^TB}B C=c−ATAATcA−BTBBTcB；$
再将它们单位化，变为单位正交向量 $q_1=\\frac{A}{\\left\\|A\\right\\|}, q_2=\\frac{B}{\\left\\|B\\right\\|}, q_3=\\frac{C}{\\left\\|C\\right\\|} q1=∥A∥A,q2=∥B∥B,q3=∥C∥C。$

这里写图片描述

例子：
现在我们试验一下推导出来的公式，

[

]

[

]

a=\\begin{bmatrix}1\\\\1\\\\1\\end{bmatrix}, b=\\begin{bmatrix}1\\\\0\\\\2\\end{bmatrix}

$a = ⎣ ⎡ 111 ⎦ ⎤, b = ⎣ ⎡ 102 ⎦ ⎤$ ：
则

[

]

A=a=\\begin{bmatrix}1\\\\1\\\\1\\end{bmatrix}

$A = a = ⎣ ⎡ 111 ⎦ ⎤$ ；
根据公式有

−

B=a-hA

$B = a - h A$ ，

$h$ 是比值

\\frac{A^Tb}{A^TA}=\\frac{3}{3}

$\frac{A ^{T} b}{A ^{T} A} = \frac{3}{3}$ ，则

[

]

−

[

]

[

−

]

B=\\begin{bmatrix}1\\\\1\\\\1\\end{bmatrix}-\\frac{3}{3}\\begin{bmatrix}1\\\\0\\\\2\\end{bmatrix}=\\begin{bmatrix}0\\\\-1\\\\1\\end{bmatrix}

$B = ⎣ ⎡ 111 ⎦ ⎤ - \frac{3}{3} ⎣ ⎡ 102 ⎦ ⎤ = ⎣ ⎡ 0 - 1 1 ⎦ ⎤$ 。验证一下正交性有

⋅

A\\cdot B=0

$A \cdot B = 0$ 。
单位化，

[

]

[

]

q_1=\\frac{1}{\\sqrt 3}\\begin{bmatrix}1\\\\1\\\\1\\end{bmatrix},\\quad q_2=\\frac{1}{\\sqrt 2}\\begin{bmatrix}1\\\\0\\\\2\\end{bmatrix}

$q_{1} = 3$

1⎣⎡111⎦⎤,q2=2

1⎣⎡102⎦⎤，则标准正交矩阵为

[

−

]

Q=\\begin{bmatrix}\\frac{1}{\\sqrt 3}& 0\\\\\\frac{1}{\\sqrt 3}& -\\frac{1}{\\sqrt 2}\\\\\\frac{1}{\\sqrt 3}& \\frac{1}{\\sqrt 2}\\end{bmatrix}

$Q = ⎣ ⎢ ⎡ 3$

10−2

1⎦⎥⎤，对比原来的矩阵

[

]

D=\\begin{bmatrix}1& 1\\\\1& 0\\\\1& 2\\end{bmatrix}

$D = ⎣ ⎡ 111102 ⎦ ⎤$ ，有

D, Q

$D, Q$ 的列空间是相同的，我们只是将原来的基标准正交化了。

##3.QR分解

我们曾经用矩阵的眼光审视消元法，有

A=LU

$A = L U$ 。同样的，我们也用矩阵表达标准正交化，

A=QR

$A = Q R$ ，这里的

$R$ 是一个上三角矩阵upper triangular matrix 。

设矩阵

$A$ 有两个列向量

[

]

\\Bigg[a_1 a_2\\Bigg]

$[a_{1} a_{2}]$ ，则标准正交化后有

[

]

[

]

[

]

\\Bigg[a_1 a_2\\Bigg]=\\Bigg[q_1 q_2\\Bigg]\\begin{bmatrix}a_1^Tq_1& a_2^Tq_1\\\\a_1^Tq_2& a_2^Tq_2\\end{bmatrix}

$[a_{1} a_{2}] = [q_{1} q_{2}] [a_{1 T} q_{1} a_{1 T} q_{2} a_{2 T} q_{1} a_{2 T} q_{2}]$ ，而左下角的

a_1^Tq_2

$a_{1 T} q_{2}$ 始终为

$0$ ，因为Gram-Schmidt正交化总是使得

⊥

a_1\\bot q_2

$a_{1} ⊥ q_{2}$ ，后来构造的向量总是正交于先前的向量。所以这个

$R$ 矩阵是一个上三角矩阵。

##4.总结

1.标准正交基与正交矩阵；
2.Gram-Schmidt正交标准化；
3.QR分解（与LU分解的区别）。

#第十八讲：行列式及其性质

行列式最早是应用在用来判断方程组是否有解，在矩阵被发明后，行列式就拥有了更多的性质和应用。其强大之处在于将整个矩阵的信息压缩到了一个值当中。

行列式的英文名为determinant：决定因素，因为他可以决定方程组是否有解即矩阵是否可逆，从另外一个角度来理解，行列式代表了这个矩阵的特征，这是学习特征分解的前置概念。
##1.基础性质

本讲我们讨论出行列式（determinant）的性质：

行列式的基本性质：
性质1：

det

⁡

I

=

1

，

单

位

矩

阵

行

列

式

值

为

一

。

\\color{red}{\\det{I}=1，单位矩阵行列式值为一。}

$det I = 1 ，单位矩阵行列式值为一。$
性质2：

交

换

行

，

行

列

式

变

号

。

\\color{red}{交换行，行列式变号。}

$交换行，行列式变号。$
性质3： a.

∣

t

a

t

b

t

c

t

d

∣

=

t

∣

a

b

c

d

∣

。

\\color{red}{\\begin{vmatrix}ta& tb\\\\tc& td\\end{vmatrix}=t\\begin{vmatrix}a& b\\\\c& d\\end{vmatrix}。 }

$∣ ∣ ∣ ∣ t a t c t b t d ∣ ∣ ∣ ∣ = t ∣ ∣ ∣ ∣ a c b d ∣ ∣ ∣ ∣ 。$
b.

∣

a

+

a

′

b

+

b

′

c

d

∣

=

∣

a

b

c

d

∣

+

∣

a

′

b

′

c

d

∣

。

\\color{red}{\\begin{vmatrix}a+a'& b+b'\\\\c& d\\end{vmatrix}=\\begin{vmatrix}a& b\\\\c& d\\end{vmatrix}+\\begin{vmatrix}a'& b'\\\\c& d\\end{vmatrix}。}

$∣ ∣ ∣ ∣ a + a^{'} c b + b^{'} d ∣ ∣ ∣ ∣ = ∣ ∣ ∣ ∣ a c b d ∣ ∣ ∣ ∣ + ∣ ∣ ∣ ∣ a^{'} c b^{'} d ∣ ∣ ∣ ∣ 。$

由性质1和2可知，对置换矩阵有

det

⁡

{

−

\\det P=\\begin{cases}1\\quad & even\\\\-1\\quad & odd\\end{cases}

$det P = {1 - 1 e v e n o d d$ 。
举例：

∣

−

\\begin{vmatrix}1& 0\\\\0& 1\\end{vmatrix}=1,\\quad\\begin{vmatrix}0& 1\\\\1& 0\\end{vmatrix}=-1

$∣ ∣ ∣ ∣ 1001 ∣ ∣ ∣ ∣ = 1, ∣ ∣ ∣ ∣ 0110 ∣ ∣ ∣ ∣ = - 1$ ，于是我们猜想，对于二阶方阵，行列式的计算公式为

∣

−

\\begin{vmatrix}a& b\\\\c& d\\end{vmatrix}=ad-bc

$∣ ∣ ∣ ∣ a c b d ∣ ∣ ∣ ∣ = a d - b c$ 。

性质3(b)对于每行都单独成立，其他行则不变，即不能同时组合第一行和第二行。$det(A+B)≠det(A)+det(B) $。

2. 推导出的性质

更多的性质可以从以上的三条性质中推导出来。

性质4：

如

果

两

行

相

等

，

则

行

列

式

为

零

。

使

用

性

质

2

交

换

两

行

易

证

。

\\color{red}{如果两行相等，则行列式为零。使用性质2交换两行易证。}

$如果两行相等，则行列式为零。使用性质 2 交换两行易证。$

**性质5 **：

从

第

k

行

中

减

去

第

i

行

的

l

倍

，

行

列

式

不

变

。

\\color{red}{从第k行中减去第i行的l倍，行列式不变。}

$从第 k 行中减去第 i 行的 l 倍，行列式不变。$
解析：这条性质是针对消元的，我们可以先消元，将方阵变为上三角形式后再计算行列式。
举例：

∣

a

b

c

−

l

a

d

−

l

b

∣

=

3.

b

∣

a

b

c

d

∣

+

∣

a

b

−

l

a

−

l

b

∣

=

3.

a

∣

a

b

c

d

∣

−

l

∣

a

b

a

b

∣

=

4

∣

a

b

c

d

∣

\\begin{vmatrix}a& b\\\\c-la& d-lb\\end{vmatrix}\\stackrel{3.b}{=}\\begin{vmatrix}a& b\\\\c& d\\end{vmatrix}+\\begin{vmatrix}a& b\\\\-la& -lb\\end{vmatrix}\\stackrel{3.a}{=}\\begin{vmatrix}a& b\\\\c& d\\end{vmatrix}-l\\begin{vmatrix}a& b\\\\a& b\\end{vmatrix}\\stackrel{4}{=}\\begin{vmatrix}a& b\\\\c& d\\end{vmatrix}

$∣ ∣ ∣ ∣ a c - l a b d - l b ∣ ∣ ∣ ∣ = 3 . b ∣ ∣ ∣ ∣ a c b d ∣ ∣ ∣ ∣ + ∣ ∣ ∣ ∣ a - l a b - l b ∣ ∣ ∣ ∣ = 3 . a ∣ ∣ ∣ ∣ a c b d ∣ ∣ ∣ ∣ - l ∣ ∣ ∣ ∣ a a b b ∣ ∣ ∣ ∣ = 4 ∣ ∣ ∣ ∣ a c b d ∣ ∣ ∣ ∣$

性质6：

如

果

方

阵

的

某

一

行

为

零

，

则

其

行

列

式

值

为

零

。

\\color{red}{如果方阵的某一行为零，则其行列式值为零。}

$如果方阵的某一行为零，则其行列式值为零。$
证明：使用性质3（a）对为零行乘以不为零系数

l

l

$l$ ，使

l

det

⁡

A

=

det

⁡

A

l\\det A=\\det A

$l det A = det A$ 即可证明；或使用性质5将某行加到为零行，使存在两行相等后使用性质4即可证明。
性质7：

有

上

三

角

行

列

式

U

=

∣

d

1

∗

⋯

∗

0

d

2

⋯

∗

⋮

⋮

⋱

⋮

0

0

⋯

d

n

∣

，

则

det

⁡

U

=

d

1

d

2

⋯

d

n

。

\\color{red}{有上三角行列式U=\\begin{vmatrix}d_{1}& *& \\cdots& *\\\\0& d_{2}& \\cdots& *\\\\\\vdots& \\vdots& \\ddots& \\vdots\\\\0& 0& \\cdots& d_{n}\\end{vmatrix}，则\\det U=d_1d_2\\cdots d_n。}

$有上三角行列式 U = ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ d_{1} 0 ⋮ 0 * d_{2} ⋮ 0 \dots \dots ⋱ \dots * * ⋮ d_{n} ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ，则 det U = d_{1} d_{2} \dots d_{n} 。$
证明：使用性质5，从最后一行开始，将对角元素上方的

∗

*

$*$ 元素依次变为零，可以得到型为

D

=

∣

d

1

0

⋯

0

0

d

2

⋯

0

⋮

⋮

⋱

⋮

0

0

⋯

d

n

∣

D=\\begin{vmatrix}d_{1}& 0& \\cdots& 0\\\\0& d_{2}& \\cdots& 0\\\\\\vdots& \\vdots& \\ddots& \\vdots\\\\0& 0&\\cdots&d_{n}\\end{vmatrix}

$D = ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ d_{1} 0 ⋮ 0 0 d_{2} ⋮ 0 \dots \dots ⋱ \dots 00 ⋮ d_{n} ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣$ 的对角行列式，再使用性质3将对角元素提出得到

d

n

d

n

−

1

⋯

d

1

∣

1

0

⋯

0

0

1

⋯

0

⋮

⋮

⋱

⋮

0

0

⋯

1

∣

d_nd_{n-1}\\cdots d_1\\begin{vmatrix}1& 0& \\cdots& 0\\\\0& 1& \\cdots& 0\\\\\\vdots& \\vdots& \\ddots& \\vdots\\\\0& 0& \\cdots& 1\\end{vmatrix}

$d_{n} d_{n - 1} \dots d_{1} ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ 10 ⋮ 0 01 ⋮ 0 \dots \dots ⋱ \dots 00 ⋮ 1 ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣$ ，得证。
性质8：

当

矩

阵

A

为

奇

异

矩

阵

时

，

det

⁡

A

=

0

；

当

且

仅

当

A

可

逆

时

，

有

det

⁡

A

≠

0

\\color{red}{当矩阵A为奇异矩阵时，\\det A=0；当且仅当A可逆时，有\\det A\\neq0}

$当矩阵 A 为奇异矩阵时， det A = 0 ；当且仅当 A 可逆时，有 det A \neq = 0$ 。
证明：如果矩阵可逆，则化简为上三角形式后各行都含有主元，行列式即为主元乘积；如果矩阵奇异，则化简为上三角形式时会出现全零行，行列式为零。
再回顾二阶情况：

∣

a

b

c

d

∣

→

消

元

∣

a

b

0

d

−

c

a

b

∣

=

a

d

−

b

c

\\begin{vmatrix}a& b\\\\c& d\\end{vmatrix}\\xrightarrow{消元}\\begin{vmatrix}a& b\\\\0& d-\\frac{c}{a}b\\end{vmatrix}=ad-bc

$∣ ∣ ∣ ∣ a c b d ∣ ∣ ∣ ∣ 消元$

∣∣∣∣a0bd−acb∣∣∣∣=ad−bc，前面的猜想得到证实。

性质9：

det

⁡

A

B

=

(

det

⁡

A

)

(

det

⁡

B

)

\\color{red}{\\det AB=(\\det A)(\\det B)}

$det A B = (det A) (det B)$ 。
解析：使用这一性质，

det

⁡

I

=

det

⁡

A

−

1

A

=

det

⁡

A

−

1

det

⁡

A

\\det I=\\det{A^{-1}A}=\\det A^{-1}\\det A

$det I = det A^{- 1} A = det A^{- 1} det A$ ，所以

det

⁡

A

−

1

=

1

det

⁡

A

\\det A^{-1}=\\frac{1}{\\det A}

$det A^{- 1} = \frac{1}{det A}$ 。
同时还可以得到：

det

⁡

A

2

=

(

det

⁡

A

)

2

\\det A^2=(\\det A)^2

$det A^{2} = (det A)^{2}$ ，以及

det

⁡

2

A

=

2

n

det

⁡

A

\\det 2A=2^n\\det A

$det 2 A = 2^{n} det A$ ，这个式子就像是求体积，对三维物体有每边翻倍则体积变为原来的八倍。

性质10：

det

⁡

A

T

=

det

⁡

A

。

\\color{red}{\\det A^T=\\det A。}

$det A^{T} = det A 。$

前

面

一

直

在

关

注

行

的

属

性

给

行

列

式

带

来

的

变

化

，

有

了

这

条

性

质

，

行

的

属

性

同

样

适

用

于

列

，

比

如

对

性

质

2

就

有

“

交

换

列

行

列

式

变

号

”

。

\\color{red}{前面一直在关注行的属性给行列式带来的变化，有了这条性质，行的属性同样适用于列，比如对性质2就有“交换列行列式变号”。}

$前面一直在关注行的属性给行列式带来的变化，有了这条性质，行的属性同样适用于列，比如对性质 2 就有 “ 交换列行列式变号 ” 。$
证明：

∣

A

T

∣

=

∣

A

∣

→

∣

U

T

L

T

∣

=

∣

L

U

∣

→

∣

U

T

∣

∣

L

T

∣

=

∣

L

∣

∣

U

∣

\\left|A^T\\right|=\\left|A\\right|\\rightarrow\\left|U^TL^T\\right|=\\left|LU\\right|\\rightarrow\\left|U^T\\right|\\left|L^T\\right|=\\left|L\\right|\\left|U\\right|

$∣ ∣ A^{T} ∣ ∣ = ∣ A ∣ \to ∣ ∣ U^{T} L^{T} ∣ ∣ = ∣ L U ∣ \to ∣ ∣ U^{T} ∣ ∣ ∣ ∣ L^{T} ∣ ∣ = ∣ L ∣ ∣ U ∣$ ，值得注意的是，

L

,

U

L, U

$L, U$ 的行列式并不因为转置而改变，得证。