36 无偏估计量的方差可以无穷：均匀抽样遇上可积的奇点 · 第3讲

这一页在讲什么

人话版一句话版

被积函数 $h (u) = u^{- α} e^{- u}$ 在 $u \to 0$ 时趋于无穷（奇点），但曲线下的面积 $I$ 有限（可积）。最朴素的算法——在 $(0, 1)$ 上均匀随机撒点、对 $h$ 的值求平均——是无偏的：平均来说恰好等于 $I 。$ 可是当 $α \geq \frac{1}{2}$ 时，单个样本 $h (U)$ 的方差是无穷大：偶尔抽到离 0 很近的点， $h$ 的值大得离谱，把平均值拽走。

这是第 5 部分「抽样中的应用」的第一页，也是整个第 5 部分要解决的问题。
下一页第 37 页解释为什么方差这么重要：样本均值的误差大小由 $\frac{σ ^{2}}{n}$ 决定，方差无穷时这个「误差尺度」就不存在了。
第 38–40 页用第 4 部分的换测度公式（第 35 页）给出解决办法：重要性抽样，把方差变成有限、甚至有界。

先补基础

基础补课蒙特卡罗方法：用随机抽样算积分

很多积分算不出精确的公式（本页的 $I$ 就没有初等表达式）。蒙特卡罗方法（Monte Carlo method）的想法是：把积分写成一个期望，再用「随机抽样 + 求平均」去估计它。
关键等式：若 $U$ 服从 $(0, 1)$ 上的均匀分布，则 $\int_{0}^{1} h (u) d u = E h (U) 。$ 所以「在 $(0, 1)$ 上撒很多随机点、算 $h$ 的平均值」就能近似 $I 。$
例：想估计 $\int_{0}^{1} u^{2} d u = \frac{1}{3} 。$ 随机抽到 $0.2, 0.9, 0.5 ，$ 平均 $\frac{0.04 + 0.81 + 0.25}{3} \approx 0.367 ，$ 已经接近 $\frac{1}{3} ；$ 点越多，一般越准。

基础补课均匀分布与「对分布积分」

$U \sim Unif (0, 1)$ 读作「 $U$ 服从 $(0, 1)$ 上的均匀分布」： $P (U \leq t) = t$ （ $0 \leq t \leq 1 ），$ 也就是 $U$ 的分布是 $(0, 1)$ 上的长度 $λ 。$
无意识统计学家定律（第 7 页）：对非负可测的 $g ，$ $E g (U) = \int_{(0, 1)} g d λ = \int_{0}^{1} g (u) d u 。$ 期望可以直接对 $U$ 的分布积分，不必先求 $g (U)$ 的分布。

基础补课估计量、无偏、方差

估计量（estimator）：用样本算出来、用来猜一个未知数的量。例如 $\hat{I}_{n} = \frac{1}{n} \sum_{i = 1}^{n} h (U_{i}) 。$ 它依赖于随机样本，所以本身是随机变量。
无偏（unbiased）： $E \hat{I}_{n} = I ，$ 即「重复做很多次试验，估计值的平均恰好是真值」。
方差（variance）： $Var Y = E (Y - E Y)^{2} ，$ 衡量 $Y$ 围绕均值波动的大小；二阶矩有限时 $Var Y = E Y^{2} - (E Y)^{2} 。$ 方差可以是 $+ \infty 。$
独立同分布（iid）： $U_{1}, U_{2}, \dots$ 各自都是 $Unif (0, 1) ，$ 并且互不影响，相当于「把同一个抽样独立地重复做很多次」。正式定义在下一页。

基础补课什么时候 ∫₀¹ u^(−p) du 有限

结论： $\int_{0}^{1} u^{- p} d u < \infty ⟺ p < 1 ；$ $p < 1$ 时它等于 $\frac{1}{1 - p} 。$

理由： $u^{- p}$ 在 0 附近无界，先把 0 附近切掉。对正整数 $k ，$ 令 $f_{k} = u^{- p} 1_{[1/ k, 1)} 。$

在 $[\frac{1}{k}, 1]$ 上 $u^{- p}$ 连续有界，勒贝格积分等于黎曼积分（第 27 页）： $p \neq = 1$ 时 $\int f_{k} = \frac{1 - k ^{p - 1}}{1 - p} ；$ $p = 1$ 时 $\int f_{k} = ln k 。$
$f_{k} \geq 0$ 随 $k$ 增大而递增，并且逐点趋于 $u^{- p} 。$ 由 MCT（第 36 页）， $\int_{0}^{1} u^{- p} d u = lim_{k} \int f_{k} 。$
取极限： $p < 1$ 时 $k^{p - 1} \to 0 ，$ 极限是 $\frac{1}{1 - p} ；$ $p = 1$ 时 $ln k \to \infty ；$ $p > 1$ 时 $\frac{1 - k ^{p - 1}}{1 - p} = \frac{k ^{p - 1} - 1}{p - 1} \to \infty 。$

例： $p = \frac{1}{2}$ 得 $\int_{0}^{1} u^{- 1/2} d u = 2 ；$ $p = 1$ 得 $\int_{0}^{1} \frac{d u}{u} = \infty 。$

课件原文逐句精读

课件原文课件印刷文字

Example 23 (An integrable singularity) Let $0 < α < 1$ , $h (u) = u^{- α} e^{- u}$ , and $I = \int_{0}^{1} h (u) d u$ .

The uniform-sampling estimator

When the variance is infinite

中文翻译

例 23（可积的奇点） 设 $0 < α < 1 ，$ $h (u) = u^{- α} e^{- u} ，$ $I = \int_{0}^{1} h (u) d u 。$

均匀抽样估计量

方差什么时候是无穷

Example 23 (An integrable singularity)｜例 23（可积的奇点）

singularity（奇点）：函数在某一点附近「炸掉」的地方。这里 $u \to 0^{+}$ 时 $u^{- α} = \frac{1}{u ^{α}} \to \infty ，$ 而 $e^{- u} \to 1 ，$ 所以 $h (u) \to \infty 。$
integrable（可积）：虽然 $h$ 无界，曲线下的面积仍然有限。理由见下一节： $h (u) \leq u^{- α} ，$ 而 $\int_{0}^{1} u^{- α} d u = \frac{1}{1 - α} < \infty 。$
条件 $0 < α < 1$ 的两端各管一件事： $α > 0$ 让 $h$ 真的有奇点（ $α = 0$ 时 $h = e^{- u}$ 是有界的光滑函数）； $α < 1$ 让奇点可积（ $α = 1$ 时 $\int_{0}^{1} \frac{e ^{- u}}{u} d u = \infty ）。$
变量写作 $u ，$ 暗示它是「均匀随机数」（uniform）的取值。第 38 页把同一个积分放进测度论的记号里，改用 $x 。$

两个小标题

课件接下来印了两个小标题，内容是板书，下一节补全：

The uniform-sampling estimator：用均匀随机数构造一个估计 $I$ 的方法，并说明它无偏；
When the variance is infinite：计算这个估计量的方差，找出方差为无穷的条件。蓝条标题 An unbiased estimator can have infinite variance（无偏估计量的方差可以是无穷）就是这一部分的结论。

补全课件留白

补充说明

课件此处留白（课堂板书），以下内容由本站根据标准教材补写，记号与本课件保持一致；如与老师课堂写法不同，以老师为准。

Example 23 的设定：I 是一个有限的正数

例 23（续）：I 有限，并且夹在两个数之间

上界： $u \in (0, 1)$ 时 $0 < e^{- u} \leq 1 ，$ 所以 $0 < h (u) \leq u^{- α} 。$ 由积分的单调性和上面的基础补课（ $p = α < 1 ），$ $I = \int_{0}^{1} h (u) d u \leq \int_{0}^{1} u^{- α} d u = \frac{1}{1 - α} < \infty.$
下界： $u \in (0, 1)$ 时 $e^{- u} \geq e^{- 1} ，$ 所以 $h (u) \geq e^{- 1} u^{- α} ，$ $I \geq \frac{e ^{- 1}}{1 - α} > 0 。$
数值： $I$ 没有初等函数的表达式（它是「下不完全伽马函数」 $γ (1 - α, 1) ）。$ 用数值积分算得： $α = 0.3$ 时 $I \approx 0.9881 ；$ $α = 0.5$ 时 $I \approx 1.4936 ；$ $α = 0.7$ 时 $I \approx 2.7393 ，$ 确实落在 $[\frac{e ^{- 1}}{0.3}, \frac{1}{0.3}] \approx [1.226, 3.333]$ 里。

The uniform-sampling estimator｜均匀抽样估计量

例 23（续）：均匀抽样估计量及其无偏性

构造：取 $U_{1}, U_{2}, \dots, U_{n}$ 独立同分布，都服从 $Unif (0, 1) ，$ 令

\hat{I}_{n} = \frac{1}{n} i = 1 \sum n h (U_{i}) .

做法就是：生成 $n$ 个均匀随机数，把每个代入 $h ，$ 再求平均。

无偏性：

每个 $h (U_{i})$ 非负可测。由无意识统计学家定律（第 7 页）， $E h (U_{i}) = \int_{0}^{1} h (u) d u = I < \infty.$ 所以 $h (U_{i})$ 可积。
可积随机变量的期望是线性的（第 43 页），所以 $E \hat{I}_{n} = \frac{1}{n} i = 1 \sum n E h (U_{i}) = \frac{1}{n} \cdot n I = I .$
这个结论对每个 $n 、$ 每个 $α \in (0, 1)$ 都成立，连 $n = 1$ （只抽一个点）都是无偏的。

用测度论的话说：取 $Ω = (0, 1) 、$ $P = λ 、$ $U (ω) = ω ，$ 则 $E_{P} h = \int h d λ = I 。$ 第 38 页就是从这个写法出发的。

When the variance is infinite｜什么时候方差是无穷

例 23（续）：Var h(U) = ∞ 当且仅当 α ≥ 1/2

第 1 步：写出二阶矩。 $h (U)^{2}$ 非负，由无意识统计学家定律，

E h (U)^{2} = \int_{0}^{1} (u^{- α} e^{- u})^{2} d u = \int_{0}^{1} u^{- 2 α} e^{- 2 u} d u .

第 2 步：把 $e^{- 2 u}$ 夹住。 $u \in (0, 1)$ 时 $e^{- 2} \leq e^{- 2 u} \leq 1 ，$ 所以

e^{- 2} \int_{0}^{1} u^{- 2 α} d u \leq E h (U)^{2} \leq \int_{0}^{1} u^{- 2 α} d u .

$e^{- 2 u}$ 这个因子不影响「有限还是无穷」，只有 $u^{- 2 α}$ 说了算。

第 3 步：用 $p = 2 α$ 的判别法。 $\int_{0}^{1} u^{- 2 α} d u < \infty ⟺ 2 α < 1 ⟺ α < \frac{1}{2} 。$

$α < \frac{1}{2}$ ： $E h (U)^{2} \leq \frac{1}{1 - 2 α} < \infty ，$ 方差有限： $σ^{2} := Var h (U) = \int_{0}^{1} u^{- 2 α} e^{- 2 u} d u - I^{2} .$ 例如 $α = 0.3$ 时，数值积分得 $E h (U)^{2} \approx 1.6258 ，$ $σ^{2} \approx 1.6258 - 0.988 1^{2} \approx 0.6496 。$
$α \geq \frac{1}{2}$ ： $E h (U)^{2} \geq e^{- 2} \cdot \infty = \infty 。$ 而均值 $I$ 有限，由下面「推导」一节第（一）条， $Var h (U) = \infty 。$

第 4 步：对估计量的影响。 当 $α \geq \frac{1}{2}$ 时，不但单个样本的方差无穷，无论 $n$ 多大， $E (\hat{I}_{n} - I)^{2}$ 都是无穷（「推导」一节第（二）条）。多抽样本也救不回来。

结论：均匀抽样估计量对所有 $0 < α < 1$ 都无偏，但当 $\frac{1}{2} \leq α < 1$ 时它的方差无穷。这就是蓝条标题的意思。

为什么「平方」会让奇点变得不可积？ $h$ 的奇点强度是 $u^{- α} ，$ 平方之后变成 $u^{- 2 α} ，$ 强度翻倍。可积的界线在指数 1： $α < 1$ 保证 $h$ 可积，但只有 $2 α < 1$ 才保证 $h^{2}$ 可积。 $α \in [\frac{1}{2}, 1)$ 正好落在「 $h$ 可积、 $h^{2}$ 不可积」的夹缝里。

人话版画一张图想一想

在坐标纸上画 $α = 0.7$ 时的曲线 $y = h (u) ：$ 横轴从 0 到 1，右端 $h (1) = e^{- 1} \approx 0.37 ，$ 往左慢慢升高，到 $u = 0.1$ 时约为 4.5，再往左就像一面墙一样竖直冲上去。

曲线下的面积（ $= I ）$ 有限：墙虽然无限高，但越高的地方越窄，窄得足够快，面积加起来只有约 2.74。
均匀撒点：横坐标均匀地落在 $(0, 1)$ 上，绝大多数点落在右边平缓的地方，返回 0.4～5 这样的小数；极少数点落在墙脚下，返回成百上千的数。
平方之后：把曲线的高度平方，墙变得更高、而宽度不变，窄得「不够快」了，面积变成无穷——这就是二阶矩无穷。估计量的麻烦全部来自那面墙。第 38 页的办法是：让撒点本身也往墙脚下集中，再用权重把多撒的点折算回来。

例子

例 1：一个方差有限的奇点

$h (u) = u^{- 1/4}$ （没有 $e^{- u}$ 因子， $α = \frac{1}{4} ）。$

$E h (U) = \int_{0}^{1} u^{- 1/4} d u = \frac{1}{3/4} = \frac{4}{3} 。$
$E h (U)^{2} = \int_{0}^{1} u^{- 1/2} d u = 2 。$
$Var h (U) = 2 - \frac{16}{9} = \frac{2}{9} \approx 0.222 。$ 有限， $\hat{I}_{n}$ 的误差会按正常速度缩小（下一页）。

例 2：临界情形 α = 1/2

$h (u) = u^{- 1/2} 。$

$E h (U) = \int_{0}^{1} u^{- 1/2} d u = 2 ，$ 无偏估计 $I = 2$ 没有问题。
$E h (U)^{2} = \int_{0}^{1} u^{- 1} d u = \infty$ （对数发散：切掉 $(0, \frac{1}{k})$ 后积分是 $ln k ，$ 随 $k$ 增大没有上界）。
所以 $α = \frac{1}{2}$ 已经是方差无穷的情形，条件是 $α \geq \frac{1}{2} ，$ 包含等号。

例 3（反例）：奇点太强，连 I 都是无穷

$h (u) = u^{- 1}$ （相当于 $α = 1 ）。$ $E h (U) = \int_{0}^{1} \frac{d u}{u} = \infty ，$ 没有有限的目标值可估计，「无偏」也无从谈起。这说明例 23 里 $α < 1$ 这个条件不能去掉。

例 4：α = 0.7 时，单个样本和它的尾部

先看几个具体的样本值（真值 $I \approx 2.739 ）：$

抽到的 $U$	$1 0^{- 6}$	$0.01$	$0.1$	$0.5$	$0.9$
$h (U) = U^{- 0.7} e^{- U}$	$\approx 15849$	$\approx 24.87$	$\approx 4.53$	$\approx 0.985$	$\approx 0.438$

再看「 $h (U)$ 超过 $t 」$ 的概率（ $h$ 在 $(0, 1)$ 上递减，所以 $h (U) > t$ 等价于 $U$ 小于某个门槛，这个门槛就是概率）：

$t$	$P (h (U) > t)$	大约每多少次出现一次	$t \times$ 概率	$t^{2} \times$ 概率
10	0.0354	28	0.354	3.54
100	0.00139	721	0.139	13.9
1000	$5.18 \times 1 0^{- 5}$	19308	0.052	51.8
10000	$1.93 \times 1 0^{- 6}$	517949	0.019	193

读表：

$t$ 每乘 10，概率大约除以 $1 0^{1/0.7} \approx 27 。$
「 $t \times$ 概率」越来越小：极大值对均值的贡献越来越小，所以 $I$ 有限。
「 $t^{2} \times$ 概率」越来越大、没有上界：极大值对二阶矩的贡献越来越大，所以 $E h (U)^{2} = \infty 。$
实际后果：抽 1000 个点时，很可能碰到一个超过 100 的值，它单独就能把平均值抬高 $100/1000 = 0.1 ；$ 抽的点越多，越可能碰到更大的值。误差不会像方差有限时那样稳定地缩小。

推导：一步一步来

推导证明思路

补上正文用到的两个事实：（一）均值有限而二阶矩无穷，则方差无穷；（二）对非负的独立样本，平均多少个也不能让均方误差变成有限。两者都只用到 $(a + b)^{2} \leq 2 a^{2} + 2 b^{2}$ 这个初等不等式。

（一）若 $E ∣ Y ∣ < \infty 、$ $E Y^{2} = \infty ，$ 则 $Var Y = \infty 。$

记 $μ = E Y$ （有限）。初等不等式 $(a + b)^{2} \leq 2 a^{2} + 2 b^{2}$ （由 $(a - b)^{2} \geq 0$ 展开得到）用于 $a = Y - μ 、$ $b = μ ：$ $Y^{2} \leq 2 (Y - μ)^{2} + 2 μ^{2} 。$
移项： $(Y - μ)^{2} \geq \frac{1}{2} Y^{2} - μ^{2} 。$
两边取期望（左边非负，期望有意义）： $Var Y = E (Y - μ)^{2} \geq \frac{1}{2} E Y^{2} - μ^{2} = \infty 。$

（二）若 $Y_{1}, \dots, Y_{n} \geq 0 、$ $E Y_{1}^{2} = \infty 、$ $E Y_{i} = μ ，$ 则 $E (\overset{ˉ}{Y}_{n} - μ)^{2} = \infty ，$ 其中 $\overset{ˉ}{Y}_{n} = \frac{1}{n} \sum_{i} Y_{i} 。$

所有 $Y_{i} \geq 0 ，$ 所以 $(\sum_{i = 1}^{n} Y_{i})^{2} \geq Y_{1}^{2}$ （和不小于其中一项，两边都非负，平方保持大小关系）。
于是 $\overset{ˉ}{Y}_{n}^{2} \geq \frac{1}{n ^{2}} Y_{1}^{2} ，$ 取期望得 $E \overset{ˉ}{Y}_{n}^{2} \geq \frac{1}{n ^{2}} E Y_{1}^{2} = \infty 。$
$E \overset{ˉ}{Y}_{n} = μ$ 有限，把（一）用于 $Y = \overset{ˉ}{Y}_{n} ，$ 得 $E (\overset{ˉ}{Y}_{n} - μ)^{2} = \infty 。$

把（二）用于 $Y_{i} = h (U_{i}) ，$ 就是正文第 4 步： $α \geq \frac{1}{2}$ 时，对每个 $n ，$ $E (\hat{I}_{n} - I)^{2} = \infty 。$ 注意这里连独立性都没用到，只用到了「非负」。

常见疑问与易错点

易错点问：估计量是无偏的，这还不够好吗？

答：不够。无偏只说「平均起来是对的」，不说「每一次离真值多远」。一个估计量可以一半时候给 0、一半时候给 $2 I ，$ 它也是无偏的，但每次都错一个 $I 。$ 衡量「每次大概错多少」要看方差（下一页的均方误差）。方差无穷时，单次运行的结果可能被一个极端样本完全左右。

易错点问：I 明明是有限的，h(U)² 的期望怎么会是无穷？

答：因为平方把奇点放大了： $h \approx u^{- α}$ 可积要求 $α < 1 ，$ $h^{2} \approx u^{- 2 α}$ 可积要求 $α < \frac{1}{2} 。$ 例 4 的表格把这件事量化了：极大值对均值的贡献越来越小，对平方的贡献却越来越大。

易错点问：方差无穷时，样本均值还会趋于 I 吗？

答：会。强大数定律只要求 $E ∣ h (U) ∣ < \infty ，$ 就保证 $\hat{I}_{n} \to I$ 几乎必然（这个定理本讲没有证明，这里只作为背景）。问题在于速度：方差有限时误差大约按 $\frac{σ}{n}$ 缩小（第 37 页），方差无穷时没有这个保证，收敛又慢又不稳定。所以本部分关心的不是「对不对」，而是「多快、多稳」。

易错点问：为什么条件是 α ≥ 1/2，而不是 α > 1/2？

答： $α = \frac{1}{2}$ 时 $E h (U)^{2} \geq e^{- 2} \int_{0}^{1} u^{- 1} d u ，$ 而 $\int_{0}^{1} u^{- 1} d u = \infty$ （例 2）。可积的界线「指数 $< 1 」$ 是严格不等号，指数恰好等于 1 已经发散。

小结与自测

小结本页小结

例 23： $h (u) = u^{- α} e^{- u}$ （ $0 < α < 1 ）$ 在 0 处有奇点，但可积： $\frac{e ^{- 1}}{1 - α} \leq I \leq \frac{1}{1 - α} 。$
均匀抽样估计量 $\hat{I}_{n} = \frac{1}{n} \sum h (U_{i})$ 由无意识统计学家定律和线性性无偏。
方差： $E h (U)^{2} = \int_{0}^{1} u^{- 2 α} e^{- 2 u} d u ，$ 与 $\int_{0}^{1} u^{- 2 α} d u$ 同时有限或无穷，所以 $Var h (U) = \infty ⟺ α \geq \frac{1}{2} 。$
方差无穷时，多少个样本求平均，均方误差都是无穷；需要换一种抽样方法（第 38 页）。

自测

1. $α = 0.4$ 时， $h (U)$ 的方差有限吗？给出 $E h (U)^{2}$ 的一个上界。

点开看答案

有限。 $2 α = 0.8 < 1 ，$ 由第 2 步的上界， $E h (U)^{2} \leq \int_{0}^{1} u^{- 0.8} d u = \frac{1}{1 - 0.8} = 5 。$

2. 对 $g (u) = u^{- 0.6} ，$ 求 $E g (U) ，$ 并判断 $Var g (U)$ 是否有限。

点开看答案

$E g (U) = \int_{0}^{1} u^{- 0.6} d u = \frac{1}{0.4} = 2.5 。$ $E g (U)^{2} = \int_{0}^{1} u^{- 1.2} d u = \infty$ （指数 $1.2 \geq 1 ），$ 均值有限，由「推导」（一），方差无穷。

3. 为什么在判断 $E h (U)^{2}$ 是否有限时，可以不管 $e^{- 2 u}$ 这个因子？

点开看答案

因为在 $(0, 1)$ 上 $e^{- 2} \leq e^{- 2 u} \leq 1 ，$ 这个因子被两个正的常数夹住。乘上一个夹在两个正常数之间的因子，积分只会变大或变小一个固定的倍数，不会把有限变成无穷，也不会把无穷变成有限。

本页术语中英对照（按出现顺序）

中文	English	白话解释
函数	function / map	f: A → B 给 A 中每个元素指定 B 中唯一一个元素。
可积	integrable (L¹)	∫\|f\| dμ < ∞。全体可积函数记作 L¹(μ)。
方差	variance	Var X = E[(X − E X)²]，衡量随机变量围绕均值的波动大小。
换测度	change of measure	用 E_Q[X] = E_P[X · dQ/dP] 在两个概率之间换算期望。
重要性抽样	importance sampling	从另一个更合适的分布抽样，再乘以权重纠正，从而减小估计的方差。
期望	expectation	随机变量对概率测度的积分 E[X] = ∫ X dP，也就是「加权平均」。
分布	law / distribution	X 把概率「推」到取值空间上得到的测度：L(X)(B) = P(X ∈ B)。
无意识统计学家定律	law of the unconscious statistician (LOTUS)	求 g(X) 的期望，不必先求出 g(X) 的分布，直接把 g 对 X 的分布 𝓛(X) 积分；X 有密度 f 时就是 E g(X) = ∫ g(x) f(x) dx。
随机变量	random variable	从样本空间到实数的（可测）函数，把结局翻译成数字；随机性来自「实现了哪个 ω」。
阶矩	moment	E[\|X\|ᵖ] 叫 p 阶（绝对）矩；它有限与否反映尾部有多「重」。
独立同分布	independent and identically distributed (i.i.d.)	一列随机变量相互独立，并且分布都相同，例如反复独立地掷同一颗骰子。
独立	independence	任意有限个事件同时发生的概率等于各自概率的乘积。
勒贝格积分	Lebesgue integral	按函数值分块的积分：先定义简单函数的积分，再用下方的简单函数逼近取上确界。
黎曼积分	Riemann integral	大一学的定积分：按 x 轴切竖条求和取极限。
单调收敛定理	monotone convergence theorem (MCT)	非负可测函数单调递增地收敛时，积分也收敛：∫fₙ ↑ ∫f。
测度	measure	给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」，空集为 0，并且可数可加。
上界	upper bound	数集 A 的上界是一个数 M，A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界；所有上界中最小的那个叫上确界。
下界	lower bound	数集 A 的下界是一个数 m，A 里每个数都 ≥ m。例如 0 和 −3 都是 (0,1] 的下界；所有下界中最大的那个叫下确界。
强大数定律	strong law of large numbers (SLLN)	独立同分布且 E\|X₁\| < ∞ 时，样本均值 Sₙ/n 几乎必然收敛到 E X₁。
几乎必然收敛	almost sure convergence	除了概率为 0 的结局以外，Xₙ(ω) 都收敛到 X(ω)。