Basic Concepts of Probability

归纳总结概率论重要的基本概念

第一章 概率论的基本概念

1.随机试验

确定性现象：在一定条件下必然发生的现象

统计规律性：在大量重复试验或观察中所呈现出的固有规律性

随机现象：在个别试验中其结果呈现出不确定性，在大量重复试验中其结果又具有统计规律性的现象

概率论与数理统计是研究和揭示随机现象统计规律性的一门数学学科

随机试验：具有下述三个特点的试验称为随机试验
1.可以在相同的条件下重复地进行
2.每次试验的可能结果不止一个，并且能事先明确试验的所有可能结果
3.进行一次试验之前不能确定哪一个结果会出现

2.样本空间、随机事件

随机试验$E$的所有可能结果组成的集合称为$E$的样本空间，记为$S$，样本空间的元素，即$E$的每个结果，称为样本点。

随机试验$E$的样本空间$S$的子集为$E$的随机事件

由一个样本点组成的单点集，称为基本事件

样本空间$S$包含所有的样本点，它是$S$自身的子集，在每次试验中它总是发生的，$S$称为必然事件

空集$\varnothing$不包含任何样本点，它也作为样本空间的子集，在每次试验中都不发生，$\varnothing$称为不可能事件

若$A \cap B=\varnothing$，则称事件$A$和$B$是互不相容的，或互斥的，事件$A$和$B$不能同时发生，基本事件是两两互不相容的

若$A \cup B=S$且$A \cap B=\varnothing$，则称事件$A$和$B$互为逆事件、对立事件，对每次试验而言，事件$A$和$B$必有一个发生，且仅有一个发生。$A$的对立事件记为$\bar{A}$，$\bar{A}=S-A$

事件运算定律，设$A, B, C$为事件，则有
交换律：$A \cup B=B \cup A ; A \cap B=B \cap A$
结合律：$A \cup(B \cup C)=(A \cup B) \cup C$
$A \cap(B \cap C)=(A \cap B) \cap C$
分配律：$A \cup(B \cap C)=(A \cup B) \cap(A \cup C)$
$A \cap(B \cup C)=(A \cap B) \cup(A \cap C)$
德摩根律：$\overline{A \cup B}=\bar{A} \cap \bar{B}$
$\overline{A \cap B}=\bar{A} \cup \bar{B}$

3.频率与概率

频率与概率，古典概型，条件概率比较基础，略过

设$S$为试验$E$的样本空间，$B{1}, B{2}, \cdots, B{n}$为$E$的一组事件，若
（i）$B{i} B{j}=\varnothing, i \neq j, i, j=1,2, \cdots, n$
（ii）$B{1} \cup B{2} \cup \cdots \cup B{n}=S$
则称$B{1}, B{2}, \cdots, B_{n}$为样本空间$S$的一个划分

全概率公式 设试验$E$的样本空间为$S$，$A$为$E$的事件，$B{1}, B{2}, \cdots, B{n}$为$S$的一个划分，且$P\left(B{i}\right)>0(i=1,2, \cdots, n)$，则

$$P(A)=P\left(A \mid B_{1}\right) P\left(B_{1}\right)+P\left(A \mid B_{2}\right) P\left(B_{2}\right)+\cdots+P\left(A \mid B_{n}\right) P\left(B_{n}\right)$$

为全概率公式

贝叶斯（Bayes）公式 设试验$E$的样本空间为$S$，$A$为$E$的事件，$B{1}, B{2}, \cdots, B{n}$为$S$的一个划分，且$P(A)>0, P\left(B{i}\right)>0(i=1,2, \cdots, n)$，则

$$P\left(B_{i} \mid A\right)=\frac{P\left(A \mid B_{i}\right) P\left(B_{i}\right)}{\sum_{j=1}^{n} P\left(A \mid B_{j}\right) P\left(B_{j}\right)}, \quad i=1,2, \cdots, n$$

称为贝叶斯（Bayes）公式

4.独立性

设$A, B$是两事件，如果满足等式

$$P(A B)=P(A) P(B)$$

则称事件$A, B$相互独立，简称$A, B$独立，若事件$A$和$B$相互独立，则它们与它们的对立事件之间也互相独立

一般，设$A{1}, A{2}, \cdots, A{n}$是$n(n \geqslant 2)$个事件，如果对于其中任意2个，任意3个，…，任意$n$个事件的积事件的概率，都等于各事件概率之积，则称事件$A{1}, A{2}, \cdots, A{n}$相互独立

第二章 随机变量及其分布

1.随机变量

定义 设随机试验的样本空间为$S={e}$。$X=X(e)$是定义在样本空间$S$上的实值单值函数。称$X=X(e)$为随机变量

2.离散型随机变量及其分布律

全部可能取值是有限个或可列无限多个的随机变量称为离散型随机变量

设离散型随机变量$X$所有可能取的值为$x{k}(k=1,2, \cdots)$，$X$取各个可能值的概率，即事件$\left{X=x{k}\right}$的概率，为

$$P\left\{X=x_{k}\right\}=p_{k}, k=1,2, \cdots$$

称上式为离散型随机变量$X$的分布律，
由概率的定义，$p{k}$满足如下两个条件：
1，$p{k} \geqslant 0, k=1,2, \cdots$
2，$\sum{k=1}^{\infty} p{k}=1$

3.随机变量的分布函数

定义 设$X$是一个随机变量，$x$是任意实数，函数

$$F(x)=P\{X \leqslant x\},-\infty<x<\infty$$

称为$X$的分布函数

分布函数$F(x)$具有以下基本性质
1，$F(x)$是一个不减函数
2，$0 \leqslant F(x) \leqslant 1$，且

$$F(-\infty)=\lim _{x \rightarrow-\infty} F(x)=0$$ $$F(\infty)=\lim _{x \rightarrow \infty} F(x)=1$$

3，$F(x+0)=F(x)$，$F(x)$是右连续的

4.连续型随机变量及其概率密度

如果对于随机变量$X$的分布函数$F(x)$，存在非负函数$f(x)$，使对于任意实数x，有

$$F(x)=\int_{-\infty}^{x} f(t) \mathrm{d} t$$

则称$X$为连续型随机变量，其中函数$f(x)$称为$X$的概率密度函数。

概率密度$f(x)$具有以下性质：
1，$f(x) \geqslant 0$
2，$\int{-\infty}^{\infty} f(x) \mathrm{d} x=1$
3，对于任意实数$x{1}, x{2}\left(x{1} \leqslant x_{2}\right)$，

$$P\left\{x_{1}<X \leqslant x_{2}\right\}=F\left(x_{2}\right)-F\left(x_{1}\right)=\int_{x_{1}}^{x_{2}} f(x) \mathrm{d} x$$

4，若$f(x)$在点$x$处连续，则有$F^{\prime}(x)=f(x)$

5.随机变量的函数的分布

讨论如何由已知的随机变量$X$的概率密度去求得它的函数$Y=g(X)$（$g(\cdot)$是已知的连续函数）的概率分布。这里$Y$是这样的随机变量，当$X$取值$x$时，$Y$取值$g(x)$

这里我们仅对$Y=g(X)$，其中$g(\cdot)$是严格单调函数的情况，写出一般结果

定理 设随机变量$X$具有概率密度$f_{X}(x)$，又设函数$g(x)$处处可导且恒有$g^{\prime}(x)>0$，（或恒有$g^{\prime}(x)<0$），则$Y=g(X)$是连续型随机变量，其概率密度为

$$f_{Y}(y)=\left\{\begin{array}{ll} f_{X}[h(y)]\left|h^{\prime}(y)\right|, & \alpha<y<\beta \\ 0, & \text { 其他 }, \end{array}\right.$$

其中$\alpha=\min {g(-\infty), g(\infty)}, \beta=\max {g(-\infty), g(\infty)}$，$h(y)$是$g(x)$的反函数。

若$f(x)$在有限区间$[a, b]$以外等于零，则只需假设$[a, b]$上$g(x)$是单调函数，此时

$$\alpha=\min \{g(a), g(b)\}, \beta=\max \{g(a), g(b)\}$$

第三章 多维随机变量及其分布

1.二维随机变量

设$E$是一个随机试验，它的样本空间是$S={e}$，设$X=X(e)$和$Y=Y(e)$是定义在$S$上的随机变量，由它们构成一个向量$(X, Y)$，叫做二维随机变量

定义 设$(X, Y)$是二维随机变量，对于任意实数$x, y$，二元函数：

$$F(x, y)=P\{(X \leqslant x) \cap(Y \leqslant y)\}=P\{X \leqslant x, Y \leqslant y\}$$

称为二维随机变量$(X, Y)$的分布函数，或称为随机变量$X$和$Y$的联合分布函数

分布函数$F(x, y)$具有以下的基本性质：
1，$F(x, y)$是变量$x$和$y$的不减函数
2，$0 \leqslant F(x, y) \leqslant 1$
对于任意固定的$y$，$F(-\infty, y)=0$
对于任意固定的$x$，$F(x,-\infty)=0$
$F(-\infty,-\infty)=0, F(\infty, \infty)=1$
3，$F(x+0, y)=F(x, y), F(x, y+0)=F(x, y)$，即$F(x, y)$关于$x$右连续，关于$y$也右连续

---

如果二维随机变量$(X, Y)$全部可能取到的值是有限对或可列无限多对，则称$(X, Y)$是离散型的随机变量
设二维离散型随机变量$(X, Y)$所有可能取的值为$\left(x{i}, y{j}\right), i, j=1,2, \cdots$，记$P\left{X=x{i}, Y=y{j}\right}=p_{i j}, i, j=1,2, \cdots$，则由概率的定义有

$$p_{i j} \geqslant 0, \quad \sum_{i=1}^{\infty} \sum_{j=1}^{\infty} p_{i j}=1$$

我们称$P\left{X=x{i}, Y=y{j}\right}=p_{i j}, i, j=1,2, \cdots$为二维离散型随机变量$(X, Y)$的分布律，或随机变量$X$和$Y$的联合分布律

将$(X, Y)$看成一个随机点的坐标，离散型随机变量$X$和$Y$的联合分布函数为

$$F(x, y)=\sum_{x_{i} \leqslant x} \sum_{y_{j} \leqslant y}p_{i j}$$

其中和式是对一切满足$x{i} \leqslant x, y{j} \leqslant y$的$i, j$来求和的

---

与一维随机变量相似，对于二维随机变量$(X, Y)$的分布函数$F(x, y)$，如果存在非负可积函数$f(x, y)$使对于任意$x, y$有

$$F(x, y)=\int_{-\infty}^{y} \int_{-\infty}^{x} f(u, v) \mathrm{d} u \mathrm{d} v$$

则称$(X, Y)$是连续型的二维随机变量，函数$f(x, y)$称为二维随机变量$(X, Y)$的概率密度，或称为随机变量$X$和$Y$的联合概率密度
按定义，概率密度$f(x, y)$具有以下性质：
1，$f(x, y) \geqslant 0$
2，$\int{-\infty}^{\infty} \int{-\infty}^{\infty} f(x, y) \mathrm{d} x \mathrm{d} y=F(\infty, \infty)=1$
3，设$G$是$x O y$平面上的区域，点$f(x, y)$落在$G$内的概率为

$$P\{(X, Y) \in G\}=\iint_{G} f(x, y) \mathrm{d} x \mathrm{d} y$$

4，若$f(x, y)$在$(x, y)$连续，则有

$$\frac{\partial^{2} F(x, y)}{\partial x \partial y}=f(x, y)$$

n维随机变量：设$E$是一个随机试验，它的样本空间是$S={e}$，设$X{1}=X{1}(e), X{2}=X{2}(e), \cdots, X{n}=X{n}(e)$是定义在$S$上的随机变量，由它们构成的一个n维向量$\left(X{1}, X{2}, \cdots, X_{n}\right)$叫做n维随机变量。

对于任意n个实数$x{1}, x{2}, \cdots, x_{n}$，n元函数

$$F\left(x_{1}, x_{2}, \cdots, x_{n}\right)=P\left\{X_{1} \leqslant x_{1}, X_{2} \leqslant x_{2}, \cdots, X_{n} \leqslant x_{n}\right\}$$

称为n维随机变量$\left(X{1}, X{2}, \cdots, X{n}\right)$的分布函数或随机变量$X{1}, X{2}, \cdots, X{n}$的联合分布函数

2.边缘分布

二维随机变量$(X, Y)$作为一个整体，具有分布函数$F(x, y)$，而$X$和$Y$都是随机变量，各自也有分布函数，将它们分别记为$F{X}(x), F{Y}(y)$，依次称为二维随机变量$(X, Y)$关于$X$和关于$Y$的边缘分布函数。边缘分布函数可以由$(X, Y)$的分布函数$F(x, y)$所确定，事实上有

$$F_{X}(x)=F(x, \infty)$$ $$F_{Y}(y)=F(\infty, y)$$

---

对于离散型随机变量：

$$F_{X}(x)=F(x, \infty)=\sum_{x_{i} \leqslant x} \sum_{j=1}^{\infty} p_{i j}$$

$X$的分布律

$$P\left\{X=x_{i}\right\}=\sum_{j=1}^{\infty} p_{i j}, \quad i=1,2, \cdots$$

$Y$的分布律

$$P\left\{Y=y_{j}\right\}=\sum_{i=1}^{\infty} p_{i j}, \quad j=1,2, \cdots$$

记

$$\begin{aligned} p_{i} . &=\sum_{j=1}^{\infty} p_{i j}=P\left\{X=x_{i}\right\}, \quad i=1,2, \cdots \\ p . _{j} &=\sum_{i=1}^{\infty} p_{i j}=P\left\{Y=y_{j}\right\}, \quad j=1,2, \cdots \end{aligned}$$

分别称$p{i} .(i=1,2, \cdots)$和$p .{j}(j=1,2, \cdots)$为$(X, Y)$关于$X$和关于$Y$的边缘分布律

---

对于连续型随机变量$(X, Y)$，设它的概率密度为$f(x, y)$，有

$$F_{X}(x)=F(x, \infty)=\int_{-\infty}^{x}\left[\int_{-\infty}^{\infty} f(x, y) \mathrm{d} y\right] \mathrm{d} x$$

$X$是一个连续型随机变量，其概率密度为

$$f_{X}(x)=\int_{-\infty}^{\infty} f(x, y) \mathrm{d} y$$

$Y$是一个连续型随机变量，其概率密度为

$$f_{Y}(y)=\int_{-\infty}^{\infty} f(x, y) \mathrm{d} x$$

分别称$f{X}(x), f{Y}(y)$为$(X, Y)$关于$X$和关于$Y$的边缘概率密度

3.条件分布

定义 设$(X, Y)$是二维离散型随机变量，对于固定的$j$，若$P\left{Y=y_{j}\right}>0$，则称

$$P\left\{X=x_{i} \mid Y=y_{j}\right\}=\frac{P\left\{X=x_{i}, Y=y_{j}\right\}}{P\left\{Y=y_{i}\right\}}=\frac{p_{i j}}{p._{j}}, i=1,2, \cdots$$

为在$Y=y_{j}$条件下随机变量$X$的条件分布律

同样，对于固定的$i$，若$P\left{X=x_{i}\right}>0$，则称

$$P\left\{Y=y_{j} \mid X=x_{i}\right\}=\frac{P\left\{X=x_{i}, Y=y_{j}\right\}}{P\left\{X=x_{i}\right\}}=\frac{p_{i j}}{p_{i}.}, j=1,2, \cdots$$

为在$X=x_{i}$条件下随机变量$Y$的条件分布律

---

定义 设二维随机变量$(X, Y)$的概率密度为$f(x, y)$，$(X, Y)$关于$Y$的边缘概率密度为$f{Y}(y)$。若对于固定的y，$f{Y}(y)>0$，则称$\frac{f(x, y)}{f_{Y}(y)}$为在$Y=y$的条件下$X$的条件概率密度，记为

$$f_{X \mid Y}(x \mid y)=\frac{f(x, y)}{f_{Y}(y)}$$

称

$$F_{X \mid Y}(x \mid y)=P\{X \leqslant x \mid Y=y\}=\int_{-\infty}^{x} \frac{f(x, y)}{f_{Y}(y)} \mathrm{d} x$$

为在$Y=y$的条件下$X$的条件分布函数

类似地，可以定义

$$f_{Y \mid X}(y \mid x)=\frac{f(x, y)}{f_{X}(x)}$$ $$F_{Y \mid X}(y \mid x)=\int_{-\infty}^{y} \frac{f(x, y)}{f_{X}(x)} \mathrm{d} y$$

4.相互独立的随机变量

设$F(x, y)$及$F{X}(x), F{Y}(y)$分别是二维随机变量$(X, Y)$的分布函数及边缘分布函数，若对于所有$x, y$有

$$P\{X \leqslant x, Y \leqslant y\}=P\{X \leqslant x\} P\{Y \leqslant y\}$$

即

$$F(x, y)=F_{X}(x) F_{Y}(y)$$

则称随机变量$X$和$Y$是相互独立的

设$(X, Y)$是连续型随机变量，$f(x, y), f{X}(x), f{Y}(y)$分别是$(X, Y)$的概率密度和边缘概率密度，则$X$和$Y$相互独立的条件等价于：等式

$$f(x, y)=f_{X}(x) f_{Y}(y)$$

在平面上几乎处处成立

当$(X, Y)$是离散型随机变量时，$X$和$Y$相互独立的条件等价于，对于$(X, Y)$的所有可能取的值$\left(x{i}, y{j}\right)$有

$$P\left\{X=x_{i}, Y=y_{j}\right\}=P\left\{X=x_{i}\right\} P\left\{Y=y_{j}\right\}$$

5.两个随机变量的函数的分布

（一）$Z=X+Y$的分布

若$X$和$Y$相互独立，设$(X, Y)$关于$X$，$Y$的边缘密度分别为$f{X}(x)$，$f{Y}(y)$，
有卷积公式

$$f_{X+Y}(z)=\int_{-\infty}^{\infty} f_{X}(z-y) f_{Y}(y) \mathrm{d} y$$ $$f_{X+Y}(z)=\int_{-\infty}^{\infty} f_{X}(x) f_{Y}(z-x) \mathrm{d} x$$

卷积公式的重要应用
相互独立正态随机变量之和的分布
n个独立正态随机变量之和的情况，若$X{i} \sim N\left(\mu{i}, \sigma{i}^{2}\right)(i=1,2, \cdots, n)$，且它们相互独立，则它们的和$Z=X{1}+X{2}+\cdots+X{n}$仍然服从正态分布，且有$Z \sim N\left(\mu{1}+\mu{2}+\cdots+\mu{n}, \sigma{1}^{2}+\sigma{2}^{2}+\cdots+\sigma{n}^{2}\right)$。
更一般地，可以证明有限个相互独立的正态随机变量的线性组合仍然服从正态分布

（二）$Z=\frac{Y}{X}$的分布、$Z=X Y$的分布

（三）$M=\max {X, Y}$及$N=\min {X, Y}$的分布

设$X$，$Y$是两个相互独立的随机变量，它们的分布函数分别是$F{X}(x)$和$F{Y}(y)$，现在来求$M=\max {X, Y}$和$N=\min {X, Y}$的分布函数
由于$M=\max {X, Y}$不大于$z$等价于$X$和$Y$都不大于$z$，故有

$$P\{M \leqslant z\}=P\{X \leqslant z, Y \leqslant z\}$$

又由于$X$和$Y$相互独立，得到$M=\max {X, Y}$的分布函数为

$$F_{\max }(z)=P\{M \leqslant z\}=P\{X \leqslant z, Y \leqslant z\}=P\{X \leqslant z\} P\{Y \leqslant z\}$$

既有

$$F_{\max }(z)=F_{X}(z) F_{Y}(z)$$

类似地，可得$N=\min {X, Y}$的分布函数为
$F_{\min }(z)=P{N \leqslant z}=1-P{N>z}$
$=1-P{X>z, Y>z}=1-P{X>z} \cdot P{Y>z}$
即

$$F_{\min }(z)=1-\left[1-F_{X}(z)\right]\left[1-F_{Y}(z)\right]$$

以上结果容易推广到n个相互独立的随机变量的情况，设$X{1}, X{2}, \cdots, X{n}$是n个相互独立的随机变量。它们的分布函数分别是$F{X{i}}\left(x{i}\right)(i=1,2, \cdots, n)$，则$M=\max \left{X{1}, X{2}, \cdots, X{n}\right}$及$N=\min \left{X{1}, X{2}, \cdots, X{n}\right}$的分布函数分别是

$$F_{\max }(z)=F_{X_{1}}(z) F_{X_{2}}(z) \cdots F_{X_{n}}(z)$$ $$F_{\min }(z)=1-\left[1-F_{X_{1}}(z)\right]\left[1-F_{X_{2}}(z)\right] \cdots\left[1-F_{X_{n}}(z)\right]$$