线性代数（13）：正定矩阵（positive definite matrix）

清华大学线性代数（2）课程第一讲：正定矩阵

参考资料:
清华大学数学科学系-线性代数-马辉
《工程数学 线性代数 第六版》 同济大学数学系 高等教育出版社
Linear Algebra by Gilbert Strang MIT麻省理工线性代数公开视频课，非常推荐！

1.二次型及其标准形

定义：含有n个变量$x{1}, x{2}, \cdots, x_{n}$的二次齐次函数

$$f\left(x_{1}, x_{2}, \cdots, x_{n}\right)=a_{11} x_{1}^{2}+a_{22} x_{2}^{2}+\cdots+a_{n n} x_{n}^{2}+$$ $$2 a_{12} x_{1} x_{2}+2 a_{13} x_{1} x_{3}+\cdots+2 a_{n-1, n} x_{n-1} x_{n}$$

称为二次型（quadratic form）
对于二次型，我们讨论的主要问题是：寻求可逆的线性变换

$$\left\{\begin{array}{l} {x_{1}=c_{11} y_{1}+c_{12} y_{2}+\cdots+c_{1 n} y_{n}} \\ {x_{2}=c_{21} y_{1}+c_{22} y_{2}+\cdots+c_{2 n} y_{n}} \\ {\cdots \cdots \cdots \cdots \cdots} \\ {x_{n}=c_{n 1} y_{1}+c_{n 2} y_{2}+\cdots+c_{n n} y_{n}} \end{array}\right.$$

使二次型只含平方项，能使

$$f=k_{1} y_{1}^{2}+k_{2} y_{2}^{2}+\cdots+k_{n} y_{n}^{2}$$

这种只含平方项的二次型，称为二次型的标准形。
如果标准形的系数$k{1}, k{2}, \cdots, k{n}$只在$1,-1,0$三个数中取值，有：
$f=y{1}^{2}+\cdots+y{p}^{2}-y{p+1}^{2}-\cdots-y_{r}^{2}$
则称上式为二次型的规范形。
利用矩阵，二次型可表示为

$$f=x_{1}\left(a_{11} x_{1}+a_{12} x_{2}+\cdots+a_{1 n} x_{n}\right)+x_{2}\left(a_{21} x_{1}+a_{22} x_{2}+\cdots+a_{2 n} x_{n}\right)+\cdots+$$ $$x_{n}\left(a_{n 1} x_{1}+a_{n 2} x_{2}+\cdots+a_{n n} x_{n}\right)$$ $$=\left(x_{1}, x_{2}, \cdots, x_{n}\right)\left(\begin{array}{c} {a_{11} x_{1}+a_{12} x_{2}+\cdots+a_{1 n} x_{n}} \\ {a_{21} x_{1}+a_{22} x_{2}+\cdots+a_{2 n} x_{n}} \\ {\vdots} \\ {a_{n 1} x_{1}+a_{n 2} x_{2}+\cdots+a_{n n} x_{n}} \end{array}\right)$$ $$=\left(x_{1}, x_{2}, \cdots, x_{n}\right)\left(\begin{array}{cccc} {a_{11}} & {a_{12}} & {\cdots} & {a_{1 n}} \\ {a_{21}} & {a_{22}} & {\cdots} & {a_{2 n}} \\ {\vdots} & {\vdots} & {} & {\vdots} \\ {a_{n 1}} & {a_{n 2}} & {\cdots} & {a_{n n}} \end{array}\right)\left(\begin{array}{c} {x_{1}} \\ {x_{2}} \\ {\vdots} \\ {x_{n}} \end{array}\right)$$

记

$$A=\left(\begin{array}{cccc} {a_{11}} & {a_{12}} & {\cdots} & {a_{1 n}} \\ {a_{21}} & {a_{22}} & {\cdots} & {a_{2 n}} \\ {\vdots} & {\vdots} & {} & {\vdots} \\ {a_{n 1}} & {a_{n 2}} & {\cdots} & {a_{n n}} \end{array}\right), \mathbf{x}=\left(\begin{array}{c} {x_{1}} \\ {x_{2}} \\ {\vdots} \\ {x_{n}} \end{array}\right)$$

则二次型可用矩阵记作

$$f=\mathbf{x}^{\mathrm{T}} A \mathbf{x}=\sum_{i=1}^{n} \sum_{j=1}^{n} a_{i j} x_{i} x_{j}$$

其中$A$为对称矩阵
任给一个二次型，就唯一确定一个对称矩阵；反之，任给一个对称矩阵，也唯一地确定一个二次型。这样，二次型和对称矩阵之间存在一一对应的关系。因此我们把对称矩阵$A$叫做二次型$f$的矩阵，也把$f$叫做对称矩阵$A$的二次型，对称矩阵A的秩就叫做二次型$f$的秩。

---

记$C=\left(c_{i j}\right)$，把可逆变换记作

$$\mathbf{x}=C \mathbf{y}$$

有$f=\mathbf{x}^{\mathrm{T}} A \mathbf{x}=(C \mathbf{y})^{\mathrm{T}} A C \mathbf{y}=\mathbf{y}^{\mathrm{T}}\left(C^{\mathrm{T}} A C\right) \mathbf{y}$。

定义：设$A$和$B$是n阶矩阵，若有可逆矩阵$C$，使$B=C^{\mathrm{T}} A C$，则称矩阵$A$和$B$合同。
显然，若$A$为对称矩阵，则$B=C^{\mathrm{T}} A C$也为对称矩阵，且$R(B)=R(A)$。

由此可知，经过可逆变换$\mathbf{x}=C \mathbf{y}$后，二次型$f$的矩阵由$A$变为与$A$合同的矩阵$C^{\mathrm{T}} A C$，且二次型的秩不变。

惯性定理（Sylvester）：实对称矩阵$\mathbf{A}$与矩阵$\mathbf{C}^{T} \mathbf{A} \mathbf{C}$具有相同数目的正特征值、负特征值和零特征值
换言之，特征值的符号在合同变换下保持不变。

---

主轴定理：任给二次型$f=\sum{i, j=1}^{n} a{i j} x{i} x{j} \quad\left(a{i j}=a{j i}\right)$，总有正交变换$\mathbf{x}=P \mathbf{y}$，使$f$化为标准形

$$f=\lambda_{1} y_{1}^{2}+\lambda_{2} y_{2}^{2}+\cdots+\lambda_{n} y_{n}^{2}$$

其中$\lambda{1}, \lambda{2}, \cdots, \lambda{n}$是$f$的矩阵$A=\left(a{i j}\right)$的特征值

推论：任给n元二次型$f(\mathbf{x})=\mathbf{x}^{\mathrm{T}} A \mathbf{x} \quad\left(A^{\mathrm{T}}=A\right)$，总有可逆变换$\mathbf{x}=\mathbf{C} \mathbf{z}$，使$f(\mathbf{C} \mathbf{z})$为规范形。

证明：根据主轴定理有

$$f(P \mathbf{y})=\mathbf{y}^{\mathrm{T}} \mathbf{\Lambda} \mathbf{y}=\lambda_{1} y_{1}^{2}+\cdots+\lambda_{n} y_{n}^{2}$$

设二次型$f$的秩为r，则特征值$\lambda{i}$中恰有r个不为0，不妨设$\lambda{1}, \cdots, \lambda{r}$不等于0，$\lambda{r+1}=\cdots=\lambda_{n}=0$，令

$$K=\left(\begin{array}{cccc} {k_{1}} & {} & {} & {} \\ {} & {k_{2}} & {} & {} \\ {} & {} & {\ddots} & {} \\ {} & {} & {} & {k_{n}} \end{array}\right)$$

其中

$$k_{i}=\left\{\begin{array}{cc} {\frac{1}{\sqrt{\left|\lambda_{i}\right|}}, i \leqslant r} \\ {1,i>r} \end{array}\right.$$

则$\mathbf{K}$可逆，变换$\mathbf{y}=K \mathbf{z}$把$f(\mathbf{P} \mathbf{y})$化为

$$f(\mathbf{P} \mathbf{K} \mathbf{z})=\mathbf{z}^{\mathrm{T}} \mathbf{K}^{\mathrm{T}} \mathbf{P}^{\mathrm{T}} \mathbf{A} \mathbf{P} \mathbf{K} z=\mathbf{z}^{\mathrm{T}} \mathbf{K}^{\mathrm{T}} \mathbf{\Lambda} \mathbf{K} \mathbf{z}$$

而

$$\mathbf{K}^{\mathrm{T}} \mathbf{\Lambda} \mathbf{K}=\operatorname{diag}\left(\frac{\lambda_{1}}{\left|\lambda_{1}\right|}, \cdots, \frac{\lambda_{r}}{\left|\lambda_{r}\right|}, 0, \cdots, 0\right)$$

记$\mathbf{C}=\mathbf{P} \mathbf{K}$，则知可逆变换$\mathbf{x}=C \mathbf{z}$把$f$化为规范形

$$f(\mathbf{C} z)=\frac{\lambda_{1}}{\left|\lambda_{1}\right|} z_{1}^{2}+\cdots+\frac{\lambda_{r}}{\left|\lambda_{r}\right|} z_{r}^{2}$$

2.正定二次型

二次型的标准形显然不是唯一的，但标准形中所含项数是确定的（即是二次型的秩）。不仅如此，在限定变换为实变换时，标准形中正系数的个数是不变的（从而负系数的个数也不变），也就是有
惯性定理：二次型$f=\mathbf{x}^{\mathrm{T}} \mathbf{A} \mathbf{x}$的秩为r，且有两个可逆变换$\mathbf{x}=C \mathbf{y}$和$\mathbf{x}=P \mathbf{z}$使得

$$f=k_{1} y_{1}^{2}+k_{2} y_{2}^{2}+\cdots+k_{r} y_{r}^{2} \quad\left(k_{i} \neq 0\right)$$

以及

$$f=\lambda_{1} z_{1}^{2}+\lambda_{2} z_{2}^{2}+\cdots+\lambda_{r} z_{r}^{2} \quad\left(\lambda_{i} \neq 0\right)$$

则$k{1}, \cdots, k{r}$中正数的个数与$\lambda{1}, \cdots, \lambda{r}$中正数的个数相等，其中二次型的标准形中正系数的个数称为二次型的正惯性指数。负系数的个数称为负惯性指数。若二次型$f$的正惯性指数为$p$，秩为$r$，则$f$的规范形便可确定为

$$f=y_{1}^{2}+\cdots+y_{p}^{2}-y_{p+1}^{2}-\cdots-y_{r}^{2}$$

---

科学技术上用的较多的二次型是正惯性指数为n或负惯性指数为n的n元二次型，我们有下述定义

定义：设二次型$f(\mathbf{x})=\mathbf{x}^{\mathrm{T}} A \mathbf{x}$，如果对任何$\mathbf{x} \neq 0$，都有$f(\mathbf{x})>0$，显然$f(\mathbf{0})=0$，则称$f$为正定二次型，并称对称矩阵$A$是正定的；如果对任何$\mathbf{x} \neq 0$，都有$f(\mathbf{x})<0$，则称$f$为负定二次型，并称对称矩阵$A$是负定的；

定理：n元二次型$f=\mathbf{x}^{\mathrm{T}} \mathbf{A} \mathbf{x}$为正定的充分必要条件是：它的标准形的n个系数全为正，即它的规范形的n个系数全为1，亦即它的正惯性指数等于n。

推论：对称矩阵$A$为正定的充分必要条件是：$A$的特征值全为正

---

赫尔维茨定理：对称矩阵$A$为正定的充分必要条件是：$A$的各阶主子式都为正，即

$$a_{11}>0, \quad\left|\begin{array}{cc} {a_{11}} & {a_{12}} \\ {a_{21}} & {a_{22}} \end{array}\right|>0, \cdots,\left|\begin{array}{ccc} {a_{11}} & {\cdots} & {a_{1 n}} \\ {\vdots} & {} & {\vdots} \\ {a_{n 1}} & {\cdots} & {a_{n n}} \end{array}\right|$$

对称矩阵$A$为负定的充分必要条件是：奇数阶主子式为负，偶数阶主子式为正，即

$$(-1)^{r}\left|\begin{array}{ccc} {a_{11}} & {\cdots} & {a_{1 r}} \\ {\vdots} & {} & {\vdots} \\ {a_{r 1}} & {\cdots} & {a_{r r}} \end{array}\right|>0,(r=1,2, \cdots, n)$$

---

实对称矩阵A正定的充要条件

（1）$\mathbf{A}$的所有特征值$\lambda_{i}$均为正
（2）$\mathbf{x}^{T} \mathbf{A} \mathbf{x}>0$对所有非零向量$\mathbf{x}$成立
（3）$\mathbf{A}$的所有顺序主子式都是正的
（4）$\mathbf{A}$的所有主元（无行交换）都是正的
（5）存在列满秩矩阵$\mathbf{R}$，使得$\mathbf{A}=\mathbf{R}^{T} \mathbf{R}$
（6）$\mathbf{A}$的所有主子式都是正的
以上六条是等价的

3.半正定矩阵及其判别条件

定义：若实对称矩阵$\mathbf{A}$的特征值均非负，那么称$\mathbf{A}$为半正定矩阵（positive semidefinite matrix）

半正定矩阵的判别条件：
（1）$\mathbf{A}$的所有特征值$\lambda_{i}$均非负
（2）$\mathbf{x}^{T} \mathbf{A} \mathbf{x}\geq 0$对所有非零向量$\mathbf{x}$成立
（3）存在矩阵$\mathbf{R}$，使得$\mathbf{A}=\mathbf{R}^{T} \mathbf{R}$。（ $\mathbf{R}$可为不可逆矩阵）
（4）$\mathbf{A}$的所有主子式均非负
以上四条是等价的