2. 随机变量及其分布

随机变量及其分布

一维随机变量及其分布

离散型（多项分布）

概念

抽查一个产品，质量可能合格或者不合格，这是两点分布。为了检查一批产品质量是否合格，我们可以抽查 $n$ 个产品（每个产品都有合格或者不合格两种可能），这是二项分布。

但是实际情况更复杂。比如抽查产品的结果不用合格或者不合格表示，而使用”正品，次品，废品”3个状态表示，足球比赛的结果有胜、平、负三种，这就是多项分布。

多项分布描述的是在 $n$ 次独立试验中，多种互斥结果各自出现次数的概率分布。

二项分布就像只问”是/否”的判断题，而多项分布就像问”A/B/C/D/…”等多个选项的多选题。

---

多项分布的概率质量函数

假设我们进行 $n$ 次独立试验，每次试验可能出现 $k$ 种互斥的结果，分别记为类别 $C_1,C_2,...,C_k$。

定义：

• $X=(x_1,x_2,...,x_k)$：随机向量，表示在 $n$ 次试验中，结果 $C_i$ 出现 $x_i$ 次
• $p=(p_1,p_2,...,p_k)$：概率向量，表示每次试验中，结果 $C_i$ 出现的概率为 $p_i$

约束条件：

1. $x_1+x_2+...+x_k=n$（总试验次数为n）
2. $p_1+p_2+...+p_k=1$（所有概率之和为1）

记作：$X\sim M(n,p)$

概率质量函数：

$P(X_1=n_1,X_2=n_2,...,X_k=n_k)=\frac{n!}{n_1!\cdot n_2!\cdot \cdots \cdot n_k!}\cdot p_1^{n_1}{p}_2^{n_2}\dots p_k^{n_k}$

公式各部分含义拆解：

（1）组合数部分：$\frac{n!}{n_1!\cdot n_2!\cdot \cdots \cdot n_k!}$

这部分称为多项式系数，作用是计算「将 $n$ 次试验分配为 $n_1$ 次结果1、$n_2$ 次结果2……$n_k$ 次结果 $k$」的排列方式数。

• 本质：相当于把 $n$ 个不同的位置，分成 $k$ 组，每组分别有 $n_1,n_2,\dots ,n_k$ 个位置的分法数。
• 特例：当 $k=2$ 时，多项式系数退化为二项式系数 $\frac{n!}{n_1!\cdot (n-n_1)!}=C_n^{n_1}$，此时多项分布退化为二项分布。

（2）概率乘积部分：$p_1^{n_1}{p}_2^{n_2}\dots p_k^{n_k}$

这部分是「指定某一种排列顺序时，$n_1$ 次结果1、$n_2$ 次结果2……$n_k$ 次结果 $k$」的概率。

（3）整体含义

多项式系数 × 指定排列的概率 = 所有满足「结果1出现 $n_1$ 次、结果2出现 $n_2$ 次……」的排列的总概率。

---

示例

例1：掷一枚均匀的骰子（6种结果，$p_i=\frac{1}{6}$）10次，求「1点出现2次，2点出现3次，3点出现5次，4-6点都不出现」的概率。

解：

• 总次数 $n=10$，结果类型数 $k=6$

• 有效次数 $n_1=2,n_2=3,n_3=5,n_4=n_5=n_6=0$

• 多项式系数：$\frac{10!}{2!\cdot 3!\cdot 5!\cdot 0!\cdot 0!\cdot 0!}=\frac{10!}{2!3!5!}=2520$

• 概率乘积：${\left(\frac{1}{6}\right)}^{10}$

• 总概率：$P=2520\times {\left(\frac{1}{6}\right)}^{10}\approx 0.00026$

例2：把产品分为一等品、二等品、三等品和不合格品四类，若设 $P(A_1)=0.15,P(A_2)=0.60,P(A_3)=0.20,P(A_4)=0.05$，从一大批产品中随机取出10个，其中一等品有2个、二等品有6个、三等品有2个、而没有不合格品的概率为：

$P(X_1=2,X_2=6,X_3=2,X_4=0)=\frac{10!}{2!6!2!0!}(0.15{)}^2(0.60{)}^6(0.20{)}^2(0.50{)}^0\approx 0.0529$

---

边缘分布是二项分布

如果只关心其中某一个类别（比如 $X_i$），忽略其他所有类别，那么 $X_i$ 的边缘分布是二项分布：$B(n,p_i)$

即：$P(X_i=m)=\left(\genfrac{}{}{0ex}{}{n}{m}\right)p_i^m(1-p_i{)}^{n-m}$

---

数学期望与方差

数学期望：

$E(X_i)=n{p}_i$

方差：

$D(X_i)=n{p}_i(1-p_i)$

协方差：

$Cov(X_i,X_j)=-n{p}_i{p}_j(i\ne j)$

• 负号体现了负相关性（一种结果出现次数多，其他结果的次数就会少）
• 当 $i=j$ 时，$Cov(X_i,X_i)=D(X_i)$

---

示例

考虑一个罐子，里面装满了三种饼干：巧克力薄片（45%）、涂鸦饼干（30%）和糖饼（25%）。在随机拿到的6块饼干中，有三块巧克力薄片，两块涂鸦饼干和一块糖饼的概率是多少？

解：$p_1=0.45,p_2=0.30,p_3=0.25$，$n=6,x_1=3,x_2=2,x_3=1$

$P(X_1=3,X_2=2,X_3=1)=\frac{6!}{3!2!1!}(0.45{)}^3(0.30{)}^2(0.25{)}^1\approx 0.123$

---

进一步解读

假设我们进行了 $n$ 次试验，并且每次试验有 $k$ 个互不相容的结果，其概率分别是 $p_1,p_2,\cdots ,p_k$。让 $f(x_1,x_2,\cdots ,x_k)$ 表示在这 $n$ 次试验中，第 $i$ 种可能的结果出现了 $x_i$ 次的概率，其中 $1⩽i⩽k$。我们一定有 $x_1+x_2+\cdots +x_k=n$。

为了求出 $f(x_1,x_2,\cdots ,x_k)$，首先注意到，按照某种特定顺序得到这些结果的概率是 $p_1^{x_1}{p}_2^{x_2}\cdots p_k^{x_k}$。

现在来计算能够得到这些结果的可能顺序有多少种。第1种结果出现 $x_1$ 次的方法有 $C_n^{x_1}$ 种，第2种结果出现 $x_2$ 次的方法有 $C_{n-x_1}^{x_2}$ 种，依此类推。

因此，排序方法的总数为：

$C_n^{x_1}{C}_{n-x_1}^{x_2}...C_{n-x_1-x_2-...x_k}^{x_k}=\frac{n!}{x_1!x_2!\cdots x_k!}$

上式被称为多项式系数，记作 $C_n^{x_1,x_2,...x_k}$

利用多项式系数，我们看到：

$f(x_1,x_2,\cdots ,x_n)=\frac{n!}{x_1!x_2!\cdots x_k!}{p}_1^{x_1}{p}_2^{x_2}\cdots p_k^{x_k}$

---

通过二项式分布推出多项分布

我们也可以通过重复使用二项式定理和分组方法来导出多项分布。例如，当 $k=3$ 时，一共有三种结果，不妨设为 $A,B$ 和 $C$。

我们可以合并 $B$ 和 $C$，并考虑只有两种结果的情况：$A$ 和非 $A$。如果让 $p_1$ 等于 $A$ 的概率，让 $1-p_1$ 等于非 $A$ 的概率，那么 $A$ 出现 $x_1$ 次且非 $A$ 出现 $n-x_1$ 次的概率就是：

$\left(\genfrac{}{}{0ex}{}{n}{x_1}\right)p_1^{x_1}{\left(1-p_1\right)}^{n-x_1}$

设 $p_2$ 是结果 $B$ 的概率，$p_3$ 是结果 $C$ 的概率。如果已知 $A$ 不发生，那么 $B$ 发生的概率就是 $\frac{p_2}{p_2+p_3}$，$C$ 发生的概率就是 $\frac{p_3}{p_2+p_3}$。

因此，结果 $A$ 出现 $x_1$ 次，结果 $B$ 出现 $x_2$ 次且结果 $C$ 出现 $x_3=n-x_1-x_2$次的概率就等于：

$\left(\genfrac{}{}{0ex}{}{n}{x_1}\right)p_1^{x_1}\left[\left(\genfrac{}{}{0ex}{}{n-x_1}{x_2}\right){\left(\frac{p_2}{p_2+p_3}\right)}^{x_2}{\left(\frac{p_3}{p_2+p_3}\right)}^{n_1-x_1-x_2}\right]{\left(1-p_1\right)}^{n-x_1}$

利用 $1-p_1=p_2+p_3$ 和

$\left(\genfrac{}{}{0ex}{}{n}{x_1}\right)\left(\genfrac{}{}{0ex}{}{n-x_1}{x_2}\right)=\frac{n!}{x_1!x_2!x_3!}$

可以进一步简化这个式子，于是得到了：

$\frac{n!}{x_1!x_2!x_3!}{p}_1^{x_1}{p}_2^{x_2}{p}_3^{n_1-x_1-x_2}$

---

边缘分布是二项分布

如果你只关心其中某一个类别（比如 $X_i$），忽略其他所有类别，那么 $X_i$ 的边缘分布是二项分布：$B(n,p_i)$。

即：$P(X_i=m)=\left(\genfrac{}{}{0ex}{}{n}{m}\right)p_i^m(1-p_i{)}^{n-m}$，其中 $(1-p_i)$ 是”非i类”事件的总概率。

这也容易理解，抽查产品有”合格，次品和废品”，如果把后面两个合并，当做”不合格”，那结果就是”合格，不合格”两种情况，这就是二项分布。

---

多项分布的数学期望与方差

数学期望：

$E(X_i)=n{p}_i$

方差：

$D(X_i)=n{p}_i(1-p_i)$

协方差：

$Cov(X_i,X_j)=-n{p}_i{p}_j(i\ne j)$

• 负号体现了负相关性（一种结果出现次数多，其他结果的次数就会少）
• 当 $i=j$ 时，$Cov(X_i,X_i)=D(X_i)$