5. 大数定律与中心极限定理

大数定律与中心极限定理

大数定律

大数定律描述的是：当试验次数 $n$ 足够大时，样本均值会依概率收敛到总体期望。

切比雪夫大数定律

条件：设 $X_1,X_2,\dots ,X_n$ 是两两不相关的随机变量序列（或两两独立），且方差存在且有公共上界 $\text{Var}(X_i)\le C$。

结论：对任意 $ϵ>0$：

${\lim }_{n\to \infty }P\left(\left|\frac{1}{n}{\sum }_{i=1}^n{X}_i-\frac{1}{n}{\sum }_{i=1}^{n}E(X_i)\right|<ϵ\right)=1$

本质：样本均值与均值之差的绝对值小于任意正数的概率趋近于1，即样本均值依概率收敛于其期望的均值。

伯努利大数定律

条件：设 $n_A$ 是 $n$ 次独立重复试验中事件 $A$ 发生的次数，每次试验 $A$ 发生的概率为 $p$。

结论：对任意 $ϵ>0$：

${\lim }_{n\to \infty }P\left(\left|\frac{n_A}{n}-p\right|<ϵ\right)=1$

本质：当 $n$ 很大时，频率 $\frac{n_A}{n}$ 依概率收敛于概率 $p$。这是”用频率估计概率”的理论依据。

Hint

伯努利大数定律是切比雪夫大数定律的特例。伯努利试验中 $n_A\sim B(n,p)$，则 $E(n_A/n)=p$，$\text{Var}(n_A/n)=p(1-p)/n\to 0$，代入切比雪夫即可得证。

辛钦大数定律

条件：设 $X_1,X_2,\dots ,X_n$ 是独立同分布的随机变量序列，且数学期望存在 $E(X_i)=\mu$。

结论：对任意 $ϵ>0$：

${\lim }_{n\to \infty }P\left(\left|\frac{1}{n}{\sum }_{i=1}^n{X}_i-\mu \right|<ϵ\right)=1$

本质：样本均值 ${\bar{X}}_n$ 依概率收敛于总体期望 $\mu$。

三种大数定律对比

• 切比雪夫：条件最弱（两两不相关 + 方差有界），结论也最弱（收敛于期望的均值）
• 伯努利：特例中的特例，专门针对频率估计概率
• 辛钦：最常用，条件强（独立同分布），但不需要方差存在，只需要期望存在

---

中心极限定理

中心极限定理回答的问题是：当 $n$ 足够大时，样本均值的分布近似于什么？

独立同分布的中心极限定理（林德伯格-莱维）

条件：设 $X_1,X_2,\dots ,X_n$ 是独立同分布的随机变量序列，$E(X_i)=\mu$，$\text{Var}(X_i)={\sigma }^2>0$。

结论：

$\frac{{\bar{X}}_n-\mu }{\sigma /\sqrt{n}}\stackrel{d}{\to }N(0,1)$

其中 ${\bar{X}}_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$ 为样本均值。

含义：不管总体分布是什么（只要方差存在），样本均值 ${\bar{X}}_n$ 经过”标准化”后，当 $n$ 充分大时近似服从标准正态分布。

等价写法：

${\bar{X}}_n\stackrel{d}{\to }N\left(\mu ,\frac{{\sigma }^2}{n}\right)$
${\sum }_{i=1}^n{X}_i\stackrel{d}{\to }N\left(n\mu ,n{\sigma }^2\right)$

棣莫弗-拉普拉斯定理

这是中心极限定理用于二项分布的特例。

条件：$Y_n\sim B(n,p)$，即 $Y_n$ 是 $n$ 次伯努利试验的成功次数。

结论：

$\frac{Y_n-np}{\sqrt{np(1-p)}}\stackrel{d}{\to }N(0,1)$

含义：当 $n$ 足够大时，二项分布 $B(n,p)$ 近似于正态分布 $N(np,np(1-p))$。

使用条件

• 一般要求 $n\ge 30$ 可近似使用中心极限定理
• 二项分布近似时，要求 $np\ge 5$ 且 $n(1-p)\ge 5$
• 若总体本身是正态分布，则样本均值的精确分布就是正态分布，不需要近似

---

标准化步骤详解

中心极限定理的核心应用是：用标准正态分布近似计算样本均值的概率。很多同学不理解为什么”把 $x$ 代入”就行，下面逐步拆解背后的逻辑。

核心思想：两边同时做相同的算术操作

假设已知 ${\bar{X}}_n\sim N(\mu ,\frac{{\sigma }^2}{n})$（近似），想算 $P({\bar{X}}_n>500)$。

关键思路：对不等式两边同时做相同的算术操作，概率值不变。这样一步步把左边的随机变量凑成 $Z\sim N(0,1)$ 的形式，右边变成一个普通数字，然后查标准正态表即可。

三步标准化流程

第 1 步：两边同时减 $\mu$

$P({\bar{X}}_n>500)=P({\bar{X}}_n-\mu >500-\mu )$

两边同时减去同一个数，不等号方向不变，概率不变，写法变了而已。

第 2 步：两边同时除以 $\frac{\sigma }{\sqrt{n}}$

$=P\left(\frac{{\bar{X}}_n-\mu }{\sigma /\sqrt{n}}>\frac{500-\mu }{\sigma /\sqrt{n}}\right)$

$\sigma /\sqrt{n}$ 是正数，不等号方向仍然不变。

第 3 步：识别标准化随机变量

左边的 $\frac{{\bar{X}}_n-\mu }{\sigma /\sqrt{n}}$，由中心极限定理，当 $n$ 足够大时它近似服从 $N(0,1)$，记为 $Z$。

右边的 $\frac{500-\mu }{\sigma /\sqrt{n}}$ 只是一个普通常数（代入数值计算即可）。

所以：

$P({\bar{X}}_n>500)\approx P(Z>c)=1-\Phi (c)$

其中 $c=\frac{500-\mu }{\sigma /\sqrt{n}}$，$\Phi (c)$ 是标准正态分布的累积分布函数值。

一个具体的例子

Example

假设某校学生数学成绩的总体分布未知，但已知总体均值 $\mu =480$，总体标准差 $\sigma =100$。随机抽取 $n=25$ 名学生，求样本均值 $\bar{X}$ 超过 500 的概率。

分析：总体分布未知，但 $n=25$ 足够大，由中心极限定理，$\bar{X}$ 近似服从 $N(480,\frac{100^2}{25})=N(480,400)$。

计算：

P(\bar{X} > 500) &= P\!\left(\frac{\bar{X} - 480}{100/\sqrt{25}} > \frac{500 - 480}{100/\sqrt{25}}\right) \\ &= P\!\left(Z > \frac{20}{20}\right) \\ &= P(Z > 1) \\ &= 1 - \Phi(1) \approx 1 - 0.8413 = 0.1587 \end{align}$$ > [!tldr] **一句话总结** > > 标准化就是对不等式两边做相同的算术操作，把左边的随机变量凑成 $Z$ 的形式，右边算出一个具体数字，然后查表。**概率值在整个过程中从未改变**，改变的只是表达形式。 ### 常见题型模板 | 题型 | 标准化公式 | 近似分布 | |:---|:---|:---| | 样本均值 $\bar{X}$ 的概率 | $\dfrac{\bar{X} - \mu}{\sigma/\sqrt{n}}$ | $N(0,1)$ | | 样本和 $\sum X_i$ 的概率 | $\dfrac{\sum X_i - n\mu}{\sqrt{n}\,\sigma}$ | $N(0,1)$ | | 二项分布 $Y \sim B(n,p)$ 的概率 | $\dfrac{Y - np}{\sqrt{np(1-p)}}$ | $N(0,1)$ | | 样本比例 $\hat{p} = Y/n$ 的概率 | $\dfrac{\hat{p} - p}{\sqrt{p(1-p)/n}}$ | $N(0,1)$ | > [!hint] **连续性校正** > > 用正态分布近似二项分布时，二项分布是离散的，正态分布是连续的。为提高精度，可做连续性校正： > $$P(Y = k) \approx \Phi\!\left(\frac{k + 0.5 - np}{\sqrt{np(1-p)}}\right) - \Phi\!\left(\frac{k - 0.5 - np}{\sqrt{np(1-p)}}\right)$$ > 考试中视题目要求决定是否使用，**未明确要求时可省略**。