期望 方差 协方差

归纳总结概率论：期望 方差 协方差的定义和性质

1.数学期望

定义 设 离散型随机变量 $X$的分布律为

$$P\left\{X=x_{k}\right\}=p_{k}, \quad k=1,2, \cdots$$

若级数

$$\sum_{k=1}^{\infty} x_{k} p_{k}$$

绝对收敛，则称级数$\sum{k=1}^{\infty} x{k} p_{k}$的和为随机变量$X$的数学期望，记为$E(X)$，即

$$E(X)=\sum_{k=1}^{\infty} x_{k} p_{k}$$

设 连续型随机变量 $X$的概率密度为$f(x)$，若积分

$$\int_{-\infty}^{\infty} x f(x) \mathrm{d} x$$

绝对收敛，则称积分$\int_{-\infty}^{\infty} x f(x) \mathrm{d} x$的值为随机变量$X$的数学期望，记为$E(X)$，即

$$E(X)=\int_{-\infty}^{\infty} x f(x) \mathrm{d} x$$

随机变量的函数的数学期望：
定理 设$Y$是随机变量$X$的函数：$Y=g(X)$（$g$是连续函数）
（i）如果$X$是离散型随机变量，它的分布律为$P\left{X=x{k}\right}=p{k}, k=1,2, \cdots$，若$\sum{k=1}^{\infty} g\left(x{k}\right) p_{k}$绝对收敛，则有

$$E(Y)=E[g(X)]=\sum_{k=1}^{\infty} g\left(x_{k}\right) p_{k}$$

（ii）如果$X$是连续型随机变量，它的概率密度为$f(x)$，若$\int_{-\infty}^{\infty} g(x) f(x) \mathrm{d} x$绝对收敛，则有

$$E(Y)=E[g(X)]=\int_{-\infty}^{\infty} g(x) f(x) \mathrm{d} x$$

上述定理可以推广到两个或两个以上随机变量的函数的情况
例如，设$Z$是随机变量$X, Y$的函数$Z=g(X, Y)$，（$g$是连续函数），那么，$Z$是一个一维随机变量，若二维随机变量$(X, Y)$的概率密度为$f(x, y)$，则有

$$E(Z)=E[g(X, Y)]=\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} g(x, y) f(x, y) \mathrm{d} x \mathrm{d} y$$

这里设上式右边的积分绝对收敛，又若$(X, Y)$为离散型随机变量，其分布律为$P\left{X=x{i}, Y=y{i}\right}=p_{i j}, i, j=1,2, \cdots$，则有

$$E(Z)=E[g(X, Y)]=\sum_{j=1}^{\infty} \sum_{i=1}^{\infty} g\left(x_{i}, y_{j}\right) p_{i j}$$

这里设上式右边的级数绝对收敛

数学期望的重要性质

1，设$C$是常数，则有$E(C)=C$
2，设$X$是一个随机变量，$C$是常数，则有

$$E(C X)=C E(X)$$

3，设$X, Y$是两个随机变量，则有

$$E(X+Y)=E(X)+E(Y)$$

4，设$X, Y$是相互独立的随机变量，则有

$$E(X Y)=E(X) E(Y)$$

这一性质可以推广到任意有限个相互独立的随机变量之积的情况

2.方差

定义 设$X$是一个随机变量，若$E\left{[X-E(X)]^{2}\right}$存在，则称$E\left{[X-E(X)]^{2}\right}$为$X$的方差，记为$D(X)$或$\operatorname{Var}(X)$，即

$$D(X)=\operatorname{Var}(X)=E\left\{[X-E(X)]^{2}\right\}$$

在应用上还引入量$\sqrt{D(X)}$，记为$\sigma(X)$，称为标准差

由定义知，方差实际上就是随机变量$X$的函数$g(X)=(X-E(X))^{2}$的数学期望，于是对于离散型随机变量，有

$$D(X)=\sum_{k=1}^{\infty}\left[x_{k}-E(X)\right]^{2} p_{k}$$

其中$P\left{X=x{k}\right}=p{k}, k=1,2, \cdots$，是$X$的分布律

对于连续型随机变量，有

$$D(X)=\int_{-\infty}^{\infty}[x-E(X)]^{2} f(x) \mathrm{d} x$$

其中$f(x)$是$X$的概率密度

---

随机变量$X$的方差可按下列公式计算

$$D(X)=E\left(X^{2}\right)-[E(X)]^{2}$$

证明：由数学期望的性质，得

$$D(X)=E\left\{[X-E(X)]^{2}\right\}=E\left\{X^{2}-2 X E(X)+[E(X)]^{2}\right\}$$ $$=E\left(X^{2}\right)-2 E(X) E(X)+[E(X)]^{2}$$ $$=E\left(X^{2}\right)-[E(X)]^{2}$$

---

标准化变量 设随机变量$X$具有数学期望$E(X)=\mu$，方差$D(X)=\sigma^{2} \neq 0$，记

$$X^{*}=\frac{X-\mu}{\sigma}$$

则

$$E\left(X^{*}\right)=\frac{1}{\sigma} E(X-\mu)=\frac{1}{\sigma}[E(X)-\mu]=0$$ $$D\left(X^{*}\right)=E\left(X^{* 2}\right)-\left[E\left(X^{*}\right)\right]^{2}=E\left[\left(\frac{X-\mu}{\sigma}\right)^{2}\right]$$ $$=\frac{1}{\sigma^{2}} E\left[(X-\mu)^{2}\right]=\frac{\sigma^{2}}{\sigma^{2}}=1$$

即$X^{*}=\frac{X-\mu}{\sigma}$的数学期望为0，方差为1，$X^{*}$称为$X$的 标准化变量

---

方差的重要性质

1，设$C$是常数，则$D(C)=0$
2，设$X$是随机变量，$C$是常数，则有

$$D(C X)=C^{2} D(X), \quad D(X+C)=D(X)$$

3，设$X$，$Y$是两个随机变量，则有

$$D(X+Y)=D(X)+D(Y)+2 E\{(X-E(X))(Y-E(Y))\}$$

4，$D(X)=0$的充要条件是$X$以概率1取常数$E(X)$，即

$$P\{X=E(X)\}=1$$

3.切比雪夫（Chebyshev）不等式

设随机变量$X$具有数学期望$E(X)=\mu$，方差$D(X)=\sigma^{2}$，则对于任意正数$\varepsilon$，不等式

$$P\{|X-\mu| \geqslant \varepsilon\} \leqslant \frac{\sigma^{2}}{\varepsilon^{2}}$$

成立，这一不等式称为切比雪夫（Chebyshev）不等式
切比雪夫不等式也可以写成如下的形式：

$$P\{|X-\mu|<\varepsilon\} \geqslant 1-\frac{\sigma^{2}}{\varepsilon^{2}}$$