06 Glivenko–Cantelli 定理：经验分布函数一致收敛到真实分布 · 作业2

这道题在问什么

人话版一句话版

从分布 $F$ 中独立抽 $n$ 个样本，统计「不超过 $x$ 的样本所占的比例」，得到经验分布函数 $F_{n} (x) 。$ 强大数定律说：对每个固定的 $x ，$ $F_{n} (x) \to F (x)$ 几乎必然。Glivenko–Cantelli 定理更强：所有 $x$ 一起， $sup_{x} ∣ F_{n} (x) - F (x) ∣ \to 0$ 几乎必然，也就是整条阶梯曲线一致地贴近真实的分布函数。它被称为「统计学基本定理」：样本足够多时，数据能还原出整个分布。证明的关键是把无穷多个 $x$ 化成有限个分位点，再用分布函数的单调性夹逼。

考点：强大数定律（讲义之外，作为已知结论）、分布函数的单调性与右连续性、左极限 $F (x -) 、$ 分位点。
出处：Durrett《Probability: Theory and Examples》定理 2.4.9，原解答几乎逐字照搬了它的证明。
和讲义的关系：分布函数（第 2 讲第 8 页）、分位数与逆变换（第 2 讲第 14 页）、几乎必然收敛（第 3 讲第 9 页）。

先补基础

基础补课分布函数的三条性质与左极限

$F (x) = P (X \leq x)$ 满足（第 2 讲第 8 页）：单调不减；右连续； $F (- \infty) = 0 、$ $F (\infty) = 1 。$

左极限 $F (x -) = lim_{y ↑ x} F (y) = P (X < x) 。$ $F$ 在 $x$ 处有跳跃时，跳跃的高度是 $F (x) - F (x -) = P (X = x) 。$ 例：公平骰子在 $x = 3$ 处 $F (3) = \frac{1}{2} ，$ $F (3 -) = \frac{1}{3} 。$

基础补课经验分布函数

$F_{n} (x) = \frac{1}{n} \sum_{m = 1}^{n} 1_{{X_{m} \leq x}} ：$ 样本中不超过 $x$ 的比例。它是一个阶梯函数，在每个样本点处向上跳 $\frac{1}{n} 。$ 例：样本 $0.3, 0.7, 0.1$ （ $n = 3 ），$ 则 $x < 0.1$ 时 $F_{3} = 0 ，$ $0.1 \leq x < 0.3$ 时 $\frac{1}{3} ，$ $0.3 \leq x < 0.7$ 时 $\frac{2}{3} ，$ $x \geq 0.7$ 时 $1 。$ 同样定义 $F_{n} (x -) = \frac{1}{n} \sum_{m} 1_{{X_{m} < x}} 。$

基础补课强大数定律（这里作为已知结论使用）

$Y_{1}, Y_{2}, \dots$ i.i.d.， $E ∣ Y_{1} ∣ < \infty ，$ 则 $\frac{1}{n} \sum_{m = 1}^{n} Y_{m} \to E Y_{1}$ 几乎必然。（Durrett 定理 2.4.1。）本题只用到 $Y_{m}$ 是示性函数（取 0、1）的情形，此时它也叫 Borel 强大数定律，可以用 Borel–Cantelli 引理较直接地证明。

基础补课可数个概率为 1 的事件，交仍然概率为 1

若 $P (A_{k}) = 1$ （ $k = 1, 2, \dots ），$ 则 $P (⋂_{k} A_{k}) = 1 ，$ 因为 $P (⋃_{k} A_{k}^{c}) \leq \sum_{k} P (A_{k}^{c}) = 0 。$ 本题要让可数多个点上的收敛同时成立，靠的就是这一条。

题目与原解答

课件原文题目

We define the empirical distribution functions as the following. Let $X_{1}, X_{2}, \dots$ be i.i.d. with distribution $F$ and let

F_{n} (x) = n^{- 1} i = 1 \sum d 1_{(X_{m} \leq x)}

$F_{n} (x)$ = the observed frequency of values that are $\leq x$ , hence the name given above.

Prove the Glivenko-Cantelli theorem. As $n \to \infty$ ,

x sup ∣ F_{n} (x) - F (x) ∣ \to 0 a.s.

(Hence, $F_{n}$ converges uniformly to $F$ as $n \to \infty$ .)

中文翻译

定义经验分布函数如下：设 $X_{1}, X_{2}, \dots$ i.i.d.，分布函数为 $F ，$ 令 $F_{n} (x) = \frac{1}{n} \sum_{m = 1}^{n} 1_{{X_{m} \leq x}} ，$ 即观测值中不超过 $x$ 的频率，因此得名。

证明 Glivenko–Cantelli 定理： $n \to \infty$ 时 $sup_{x} ∣ F_{n} (x) - F (x) ∣ \to 0$ 几乎必然（于是 $F_{n}$ 一致收敛到 $F ）。$

题目中求和写成 $\sum_{i = 1}^{d} 1_{(X_{m} \leq x)} ，$ 上限 $d$ 和下标 $i 、$ $m$ 都不一致，应为 $\sum_{m = 1}^{n} 1_{{X_{m} \leq x}} 。$

原解答的思路（左栏，即 Durrett 定理 2.4.9 的证明）：

固定 $x ，$ 由强大数定律得 $F_{n} (x) \to F (x) 、$ $F_{n} (x -) \to F (x -)$ 几乎必然；
取分位点 $x_{j, k} = in f {y : F (y) \geq \frac{j}{k}} ，$ 在这有限个点上同时让误差小于 $\frac{1}{k} ；$
对两个分位点之间的 $x ，$ 用 $F_{n} 、$ $F$ 的单调性夹逼，得到 $sup_{x} ∣ F_{n} (x) - F (x) ∣ \leq \frac{2}{k} 。$

证明是正确的，但跳过了几处需要说明的细节（见「原解答逐行对照」）。

思路：怎么想到的

难点：「对每个 $x$ 收敛」和「对所有 $x$ 一致收敛」差别很大，因为有不可数多个 $x ，$ 不能简单地把所有 $x$ 的零测例外集并起来（不可数个零测集的并可以不是零测集）。
办法：只看有限个精心选择的点。在两个相邻的点之间， $F_{n}$ 和 $F$ 都单调，它们的值被夹在端点的值之间；只要相邻端点处 $F$ 的增长不超过 $\frac{1}{k} ，$ 中间的误差就被端点的误差控制住。
跳跃的麻烦： $F$ 若有跳跃，一个跳跃可能比 $\frac{1}{k}$ 还高，相邻分位点之间的增长就控制不住。解决办法：在分位点处同时考虑 $F (x)$ 和左极限 $F (x -) ，$ 跳跃发生在这两者之间，不影响夹逼。

完整解答

第 1 步（逐点收敛，包括左极限）：固定 $x 。$ $1_{{X_{m} \leq x}}$ （ $m = 1, 2, \dots ）$ i.i.d.，均值 $P (X_{1} \leq x) = F (x) 。$ 由强大数定律， $F_{n} (x) \to F (x)$ 几乎必然。同理 $1_{{X_{m} < x}}$ 的均值是 $F (x -) ，$ 所以 $F_{n} (x -) \to F (x -)$ 几乎必然。

第 2 步（分位点）：固定正整数 $k ，$ 对 $1 \leq j \leq k - 1$ 令

x_{j, k} = in f {y : F (y) \geq \frac{j}{k}}

（第 $\frac{j}{k}$ 分位点，第 2 讲第 14 页），并令 $x_{0, k} = - \infty ，$ $x_{k, k} = + \infty 。$ 由于 $0 < \frac{j}{k} < 1 ，$ 这些 $x_{j, k}$ 都是有限实数，并且 $x_{0, k} \leq x_{1, k} \leq \dots \leq x_{k, k} 。$

分位点的两个性质（ $1 \leq j \leq k ）：$

$F (x_{j, k} -) \leq \frac{j}{k} ：$ 对 $y < x_{j, k} ，$ 由下确界的定义 $F (y) < \frac{j}{k} ，$ 取极限即得。（ $j = k$ 时右边是 1，自然成立。）
$F (x_{j - 1, k}) \geq \frac{j - 1}{k} ：$ 由右连续性，下确界处取得 $F (x_{j - 1, k}) \geq \frac{j - 1}{k} 。$ （ $j = 1$ 时左边按约定为 $F (- \infty) = 0 。）$

两式相减：

F (x_{j, k} -) - F (x_{j - 1, k}) \leq \frac{1}{k} . (*)

第 3 步（可数个点同时收敛）：由第 1 步，对每个 $k$ 和每个 $1 \leq j \leq k - 1 ，$ $F_{n} (x_{j, k}) \to F (x_{j, k})$ 和 $F_{n} (x_{j, k} -) \to F (x_{j, k} -)$ 都几乎必然成立。所有 $(j, k)$ 只有可数多对，由「可数个概率为 1 的事件之交仍概率为 1」，存在一个概率为 1 的事件 $Ω_{0} ，$ 在 $Ω_{0}$ 上它们同时成立。下面固定 $ω \in Ω_{0} 。$ 对每个 $k ，$ 只有有限个点，所以存在 $N_{k} (ω) ，$ 使 $n \geq N_{k} (ω)$ 时对所有 $0 \leq j \leq k ，$

∣ F_{n} (x_{j, k}) - F (x_{j, k}) ∣ < \frac{1}{k}, ∣ F_{n} (x_{j, k} -) - F (x_{j, k} -) ∣ < \frac{1}{k} .

（ $j = 0 、$ $j = k$ 时两边都是 0 或 1，自动成立。）

第 4 步（夹逼）：设 $n \geq N_{k} (ω) 。$ 任取实数 $x 。$

若 $x$ 恰好是某个 $x_{j, k}$ ：由第 3 步， $∣ F_{n} (x) - F (x) ∣ < \frac{1}{k} 。$
否则 $x \in (x_{j - 1, k}, x_{j, k}) ，$ 对某个 $1 \leq j \leq k 。$ 由单调性和 $(*) ：$

F_{n} (x) \leq F_{n} (x_{j, k} -) \leq F (x_{j, k} -) + \frac{1}{k} \leq F (x_{j - 1, k}) + \frac{2}{k} \leq F (x) + \frac{2}{k},

F_{n} (x) \geq F_{n} (x_{j - 1, k}) \geq F (x_{j - 1, k}) - \frac{1}{k} \geq F (x_{j, k} -) - \frac{2}{k} \geq F (x) - \frac{2}{k} .

（第一行第一个不等号： $x < x_{j, k} ，$ 所以 $F_{n} (x) \leq F_{n} (x_{j, k} -) ；$ 最后一个： $x > x_{j - 1, k} ，$ $F$ 单调。第二行：第一个不等号用 $x > x_{j - 1, k}$ 和 $F_{n}$ 单调；最后一个用 $x < x_{j, k} ，$ 所以 $F (x) \leq F (x_{j, k} -) 。）$

所以对所有 $x ，$ $∣ F_{n} (x) - F (x) ∣ \leq \frac{2}{k} ，$ 即 $sup_{x} ∣ F_{n} (x) - F (x) ∣ \leq \frac{2}{k}$ （ $n \geq N_{k} (ω) ）。$

第 5 步（结论）： $k$ 任意，所以在 $Ω_{0}$ 上 $lim sup_{n} sup_{x} ∣ F_{n} (x) - F (x) ∣ \leq \frac{2}{k}$ 对所有 $k$ 成立，即 $sup_{x} ∣ F_{n} (x) - F (x) ∣ \to 0 。$ $P (Ω_{0}) = 1 ，$ 定理得证。 $■$

原解答逐行对照

「Fix $x$ and let $Y_{n} = 1_{(X_{n} \leq x)}$ ... the strong law of large numbers implies that $F_{n} (x) = n^{- 1} \sum_{i = 1}^{d} Y_{i} \to F (x)$ a.s.」：意思是「固定 $x ，$ 令 $Y_{n} = 1_{(X_{n} \leq x)} \dots\dots$ 由强大数定律， $F_{n} (x) = n^{- 1} \sum_{i = 1}^{d} Y_{i}$ 几乎必然收敛到 $F (x) 」。$ 求和上限 $d$ 应为 $n 。$ 正确。
「In general, if $F_{n}$ is a sequence of nondecreasing functions that converges pointwise to a bounded and continuous limit $F$ then $sup_{x} ∣ F_{n} (x) - F (x) ∣ \to 0$ . However, the distribution function $F (x)$ may have jumps」：意思是「一般地，若一列单调不减的函数 $F_{n}$ 逐点收敛到一个有界连续的极限 $F ，$ 则 $sup_{x} ∣ F_{n} (x) - F (x) ∣ \to 0 。$ 可是分布函数 $F (x)$ 可能有跳跃」。这句话说明了为什么要处理左极限： $F$ 连续时，只看 $F_{n} (x_{j, k})$ 就够了（这个结论叫 Pólya 定理）；有跳跃时还要看 $F_{n} (x_{j, k} -) 。$
「Again, fix $x$ and let $Z_{n} = 1_{(X_{n} < x)}$ ... $F_{n} (x -) = n^{- 1} \sum_{i = 1}^{d} Z_{m} \to F (x -)$ a.s.」：下标混用（ $i 、$ $m 、$ $d ），$ 意思正确。
「For $1 \leq j \leq k - 1$ let $x_{j, k} = in f {y : F (y) \geq j / k}$ . The pointwise convergence ... imply that we can pick $N_{k} (ω)$ ...」：意思是「对 $1 \leq j \leq k - 1 ，$ 令 $x_{j, k} = in f {y : F (y) \geq j / k} 。$ （在这些点上的）逐点收敛……说明可以选出 $N_{k} (ω) \dots\dots」。$ 这里需要一个公共的概率为 1 的事件，使所有 $k$ 和 $j$ 的收敛同时成立（第 3 步）。原解答没有说明。
「If $x \in (x_{j - 1, k}, x_{j, k})$ ... using ... $F (x_{j, k} -) - F (x_{j - 1, k}) \leq k^{- 1} 」$ ：两处遗漏：① 不等式 $(*)$ 没有证明（它依赖分位点的两个性质：下确界给出 $F (x_{j, k} -) \leq \frac{j}{k} ，$ 右连续性给出 $F (x_{j - 1, k}) \geq \frac{j - 1}{k} ）；$ ② 只处理了开区间， $x$ 恰好等于分位点的情形没有说（它由第 3 步的逐点估计直接覆盖）。
两行夹逼不等式与结论 $sup_{x} ∣ F_{n} (x) - F (x) ∣ \leq 2 k^{- 1}$ ：正确。

易错点原解答的问题：「同时成立」需要一个公共的概率 1 事件

对每个固定的点，收敛都是几乎必然的，但例外的零测集依赖于这个点。证明里要在无穷多个 $k 、$ 每个 $k$ 下的 $k - 1$ 个点上同时使用收敛，必须先说明：这些点总共只有可数个，所以把可数个例外集并起来仍是零测集。原解答直接说「pick $N_{k} (ω) 」，$ 省略了这一步。这一步正是「把不可数个 $x$ 化成可数个点」这个思路的意义所在。

易错点原解答的问题：关键不等式 (∗) 没有证明

$F (x_{j, k} -) - F (x_{j - 1, k}) \leq \frac{1}{k}$ 是整个夹逼的基础，也是处理跳跃的关键：跳跃的高度可能远大于 $\frac{1}{k} ，$ 但它发生在 $F (x_{j, k} -)$ 和 $F (x_{j, k})$ 之间，不在两个相邻分位点之间。原解答直接使用，没有给出理由（见第 2 步）。

例子与数值验证

例 1：一致误差随样本量的变化

从 $(0, 1)$ 上的均匀分布抽样，计算 $D_{n} = sup_{x} ∣ F_{n} (x) - x ∣$ 的平均值（Python 模拟，固定随机种子；四列分别重复 4 万、2 万、4000、800 次，误差都在最后一位数字的 ±1 以内）：

$n$	10	100	1000	10000
$D_{n}$ 的平均值（模拟）	$0.259$	$0.085$	$0.0272$	$0.0086$
$0.8687/ n$	$0.275$	$0.087$	$0.0275$	$0.0087$

$D_{n}$ 趋于 0，而且大约按 $\frac{1}{n}$ 的速度：样本量乘 100，误差缩小到十分之一。

例 2：有跳跃的分布——掷骰子

掷 60 次公平骰子（固定随机种子），得到 $F_{60}$ 在 $1, \dots, 6$ 处的值依次是 0.183、0.350、0.483、0.633、0.833、1，真实值 $\frac{1}{6}, \frac{2}{6}, \dots, 1 ，$ 最大误差 $0.033 。$ 骰子的分布函数每处跳 $\frac{1}{6} ，$ 比证明中 $k$ 较大时的 $\frac{1}{k}$ 高得多；证明之所以仍然有效，是因为跳跃夹在 $F (x -)$ 与 $F (x)$ 之间，两者都被单独控制了。

例 3：逐点收敛不等于一致收敛（非概率的例子）

函数列 $g_{n} (x) = 1_{[n, n + 1)} (x) ：$ 对每个 $x ，$ $g_{n} (x) \to 0 ，$ 可 $sup_{x} ∣ g_{n} (x) ∣ = 1$ 对所有 $n$ 成立。这说明「每个 $x$ 都收敛」推不出一致收敛。Glivenko–Cantelli 之所以成立，是因为 $F_{n}$ 和 $F$ 都单调有界，单调性把有限个点的信息「传播」到了所有 $x 。$

拓展延伸

DKW 不等式：收敛速度的定量版本

Dvoretzky–Kiefer–Wolfowitz 不等式（Massart 给出了最优常数）：对任意 $ε > 0 ，$

P (x sup ∣ F_{n} (x) - F (x) ∣ > ε) \leq 2 e^{- 2 n ε^{2}} .

例如 $n = 1000 、$ $ε = 0.05$ 时，右边约为 $0.0135 。$ 这比 Glivenko–Cantelli 更强：它给出了任意有限 $n$ 下的概率上界，而且与 $F$ 是什么分布无关。由它和 Borel–Cantelli 引理也能推出 Glivenko–Cantelli 定理。

Kolmogorov–Smirnov 检验

更精细地， $n sup_{x} ∣ F_{n} (x) - F (x) ∣$ 依分布收敛到一个与 $F$ 无关的极限分布（Kolmogorov 分布， $F$ 连续时），例 1 里的 $0.8687$ 就是这个极限分布的均值 $π /2 ln 2 。$ 统计学中用它检验「数据是否来自某个指定的分布」：若 $n D_{n}$ 太大，就拒绝这个分布。

经验过程与 bootstrap

把 $n (F_{n} - F)$ 看成一个随机函数，它收敛到「布朗桥」（Donsker 定理）。这是经验过程理论的起点。统计中的 bootstrap 方法，正是把未知的 $F$ 换成经验分布 $F_{n}$ 去重复抽样；Glivenko–Cantelli 定理保证了 $F_{n}$ 是 $F$ 的好替身。

常见疑问与易错点

易错点问：为什么不能对每个 x 用强大数定律，然后取 sup？

答：对每个 $x ，$ 例外的零测集 $N_{x}$ 不同； $x$ 有不可数多个， $⋃_{x} N_{x}$ 可能不是零测集，甚至可能不是事件。所以只能在可数多个点上使用强大数定律，再用单调性推广到所有 $x 。$

易错点问：F 连续时证明能简化吗？

答：能。连续时 $F (x -) = F (x) ，$ 只需在 $x_{j, k}$ 处用 $F_{n} (x_{j, k}) \to F (x_{j, k}) ，$ 并取 $x_{j, k}$ 使 $F (x_{j, k}) = \frac{j}{k} 。$ 这时就是原解答提到的 Pólya 定理。

易错点问：一致收敛有什么实际意义？

答：它保证用 $F_{n}$ 估计任何区间的概率都同时准确： $∣ P_{n} (a < X \leq b) - P (a < X \leq b) ∣ \leq 2 sup_{x} ∣ F_{n} - F ∣ 。$ 如果只有逐点收敛，就不能保证所有区间同时可靠。

小结与自测

小结本题小结

逐点：强大数定律给出 $F_{n} (x) \to F (x) 、$ $F_{n} (x -) \to F (x -)$ 几乎必然。
分位点 $x_{j, k} = in f {y : F (y) \geq \frac{j}{k}}$ 满足 $F (x_{j, k} -) - F (x_{j - 1, k}) \leq \frac{1}{k}$ （下确界 + 右连续）。
可数个点同时收敛（一个公共的概率 1 事件）+ 单调性夹逼 ⇒ $sup_{x} ∣ F_{n} - F ∣ \leq \frac{2}{k} 。$
原解答：下标笔误；没有说明公共的零测集、没有证明 $(*) 、$ 没有处理分位点本身。
拓展：误差约为 $\frac{0.87}{n} ；$ DKW 不等式 $P (sup ∣ F_{n} - F ∣ > ε) \leq 2 e^{- 2 n ε^{2}} 。$

自测

1. 样本为 $2, 5, 5, 9$ （ $n = 4 ），$ 写出 $F_{4} (5)$ 和 $F_{4} (5 -) 。$

点开看答案

$F_{4} (5) = \frac{3}{4}$ （ $2, 5, 5$ 都 $\leq 5 ）；$ $F_{4} (5 -) = \frac{1}{4}$ （只有 $2 < 5 ）。$

2. 对 $(0, 1)$ 上的均匀分布，取 $k = 4 ，$ 写出分位点 $x_{1, 4}, x_{2, 4}, x_{3, 4} 。$

点开看答案

$F (y) = y ，$ 所以 $x_{j, 4} = \frac{j}{4} ：$ $0.25 、$ $0.5 、$ $0.75 。$

3. 用 DKW 不等式估计：要使 $P (sup_{x} ∣ F_{n} - F ∣ > 0.02) \leq 0.05 ，$ 大约需要多少样本？

点开看答案

需要 $2 e^{- 2 n (0.02)^{2}} \leq 0.05 ，$ 即 $e^{- 0.0008 n} \leq 0.025 ，$ $n \geq \frac{l n 40}{0.0008} \approx 4611 。$

本页术语中英对照（按出现顺序）

中文	English	白话解释
分布	law / distribution	X 把概率「推」到取值空间上得到的测度：L(X)(B) = P(X ∈ B)。
独立	independence	任意有限个事件同时发生的概率等于各自概率的乘积。
经验分布函数	empirical distribution function	Fₙ(x) = 样本 X₁, …, Xₙ 中不超过 x 的个数 ÷ n，即样本里 ≤ x 的比例；它是真实分布函数 F 的估计。
强大数定律	strong law of large numbers (SLLN)	独立同分布且 E\|X₁\| < ∞ 时，样本均值 Sₙ/n 几乎必然收敛到 E X₁。
Glivenko–Cantelli 定理	Glivenko–Cantelli theorem	独立同分布样本的经验分布函数几乎必然一致收敛到真实分布函数：supₓ \|Fₙ(x) − F(x)\| → 0。
几乎必然收敛	almost sure convergence	除了概率为 0 的结局以外，Xₙ(ω) 都收敛到 X(ω)。
累积分布函数	cumulative distribution function (CDF)	F(x) = P(X ≤ x)，单调不减、右连续，完全决定分布。
函数	function / map	f: A → B 给 A 中每个元素指定 B 中唯一一个元素。
左极限	left limit	自变量从左边（比 x 小的一侧）靠近 x 时，函数值趋向的数，记作 f(x−)。分布函数在 x 处的跳跃 F(x) − F(x−) 就是 P(X = x)。
分位数	quantile	Q(u) = inf{x : F(x) ≥ u}，是 CDF 的「广义反函数」。
单调递增	nondecreasing	后一项不小于前一项；单调有界的数列一定有极限。
样本点	sample point	一个完整的结局 ω；每次试验恰好实现一个样本点。
独立同分布	independent and identically distributed (i.i.d.)	一列随机变量相互独立，并且分布都相同，例如反复独立地掷同一颗骰子。
Borel–Cantelli 引理	Borel–Cantelli lemma	概率之和有限 ⇒ 只发生有限次；独立且概率之和无穷 ⇒ 发生无穷多次。
示性函数	indicator function	𝟏_A(x) 在 x ∈ A 时取 1，否则取 0；它的积分就是 A 的测度。
可数	countable	元素能排成第 1 个、第 2 个、第 3 个……的一列（有限也算），例如自然数、有理数。
一致收敛	uniform convergence	所有点上的最大差距 supₓ \|fₙ(x) − f(x)\| → 0。比逐点收敛强：不允许某些点收敛得特别慢。
不可数	uncountable	无论怎么排都排不成一列，例如区间 [0,1] 里的全体实数。
零测集	null set	测度为 0 的集合，例如单点、有理数全体、康托尔集。
逐点收敛	pointwise convergence	对定义域里的每一个点 x，数列 fₙ(x) 都收敛到 f(x)；这样得到的函数 f 叫逐点极限。
下确界	infimum (inf)	最大的下界。例如 (0,1] 没有最小值，但下确界是 0。
事件	event	样本空间的（允许谈概率的）子集；实现的 ω 落在里面，就说事件发生。
区间	interval	数轴上的一段，[a,b] 包含端点，(a,b) 不包含端点。
上界	upper bound	数集 A 的上界是一个数 M，A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界；所有上界中最小的那个叫上确界。
依分布收敛	convergence in distribution	在极限分布函数 F 的每个连续点 x 上，P(Xₙ ≤ x) → F(x)。它只比较分布，不要求 Xₙ 本身靠近 X。