02 目录与每部分要回答的问题 · 第3讲

这一页在讲什么

人话版一句话版

这一页列出第 3 讲的五个部分，并用四句话说明它们要回答的问题：事件会不会发生无穷多次 → 把它用到随机变量的误差事件上 → 什么条件下期望能取极限 → 用密度换概率测度，再用来改进抽样。

这页的印刷文字比较多，分成三块：

上面的编号列表：五个部分的标题；
中间四行加粗开头的句子：每一部分要回答的核心问题；
最后一段：整讲的共同设定，以及要用到前两讲的哪些结论。

读懂这一页，你就拿到了整讲的「地图」。后面每一页都可以回到这里，问自己：我现在在回答哪个问题？

先补基础

基础补课事件序列与「无穷多次」

事件是样本空间 $Ω$ 的一个（可测）子集，比如「第 3 次掷骰子是 6」。一列事件 $A_{1}, A_{2}, A_{3}, \dots$ 就是每个 $n$ 对应一个事件。
「 $A_{n}$ 发生无穷多次」（infinitely often，缩写 i.o.）的意思是：在被实现的那个结局 $ω$ 里，满足 $ω \in A_{n}$ 的下标 $n$ 有无穷多个。
例：一直掷骰子， $A_{n} = {第 n 次是 6} 。$ 如果某次实验的结果是 $6, 1, 6, 1, 6, 1, \dots ，$ 那么 $A_{n}$ 在所有奇数 $n$ 上发生，发生了无穷多次。
第 1 讲第 7 页已经用抛硬币讲过这个集合的写法（上极限），第 3 页会正式定义。

基础补课绝对值与误差

$∣ a - b ∣$ 是数轴上 $a$ 与 $b$ 两点的距离。例如 $∣3 - 5∣ = 2 ，$ $∣5 - 3∣ = 2 。$
如果 $X$ 是我们想要的「真值」， $X_{n}$ 是第 $n$ 步的「近似值」，那么 $∣ X_{n} - X ∣$ 就是第 $n$ 步的误差。
$ε$ （读作 epsilon，艾普西隆）是希腊字母，数学里习惯用它表示一个任意给定的小正数，也就是「容忍度」，比如 $ε = 0.01 。$

基础补课「把极限放到积分下面」是什么意思

期望就是对概率测度的积分： $E X = \int_{Ω} X d P$ （第 5 页）。
「limit under the integral」指的是问：

n \to \infty lim E X_{n} = ? E [n \to \infty lim X_{n}] .

左边是「先求期望，再取极限」，右边是「先取极限，再求期望」。这两件事的顺序不能随便交换，第 1 讲第 39 页已经见过交换出错的例子。

课件原文逐句精读

第一块：五个部分的标题

课件原文Contents

Borel–Cantelli: recurrence of events
Random-variable convergence: errors and subsequences
Convergence of expectations and densities
Radon–Nikodym and change of measure
Sampling applications

中文翻译

Borel–Cantelli：事件的重复发生
随机变量的收敛：误差与子列
期望与密度的收敛
Radon–Nikodym 与换测度
抽样中的应用

逐条解释：

Borel–Cantelli: recurrence of events（第 3 页–第 8 页）。recurrence 是「重复出现、一再发生」。这一部分给出两个判断工具：
- 第一 Borel–Cantelli 引理：事件的概率加起来是有限数，则以概率 1 只发生有限次；
- 第二 Borel–Cantelli 引理：事件相互独立、概率加起来是无穷大，则以概率 1 发生无穷多次。
Random-variable convergence: errors and subsequences（第 9 页–第 18 页）。errors 指误差 $∣ X_{n} - X ∣ ；$ subsequences 指子列（从一个序列里按顺序挑出无穷多项组成的新序列，第 16 页细讲）。这一部分定义「几乎必然收敛」和「依概率收敛」，并用子列把两者联系起来。
Convergence of expectations and densities（第 19 页–第 25 页）。随机变量收敛了，它们的期望收不收敛？一列概率密度逐点收敛了，用它们算出来的概率收不收敛？
Radon–Nikodym and change of measure（第 26 页–第 35 页）。change of measure 是「换测度」：同一个样本空间上换一个概率测度 $Q ，$ 并用一个「密度」把新旧两个测度下的概率、期望联系起来。
Sampling applications（第 36 页–第 45 页）。sampling 是「抽样、随机模拟」。用第 4 部分的换测度公式，设计误差更小的模拟方法（重要性抽样）。

第二块：四个核心问题

课件原文The questions they answer

Event sequences: when do events occur infinitely often?

Random-variable sequences: apply this to errors ${∣ X_{n} - X ∣ > ε}$ .

Expectations: what extra condition permits a limit under the integral?

Change of measure: establish density formulas, then use them to improve sampling.

中文翻译

事件序列： 事件什么时候会发生无穷多次？

随机变量序列： 把上面的结论用到误差事件 ${∣ X_{n} - X ∣ > ε}$ 上。

期望： 需要什么额外条件，才能把极限移到积分里面？

换测度： 建立密度公式，然后用它们改进抽样。

第 1 句：when do events occur infinitely often? 注意问的是「什么时候」，也就是要找条件。答案的形式是：看概率之和 $\sum_{n} P (A_{n})$ 是有限还是无穷（再加上是否独立）。这是第 1 部分。

第 2 句：apply this to errors ${∣ X_{n} - X ∣ > ε} 。$ 这是整讲最关键的一个「接口」。

${∣ X_{n} - X ∣ > ε}$ 是一个事件：所有「第 $n$ 步误差超过容忍度 $ε 」$ 的样本点 $ω$ 组成的集合。完整写出来是 ${ω \in Ω : ∣ X_{n} (ω) - X (ω) ∣ > ε} 。$
在一个固定的 $ω$ 上，「 $X_{n} (ω) \to X (ω) 」$ 的意思恰好是：不管 $ε$ 多小，误差超过 $ε$ 的情况只发生有限次。
所以「随机变量收不收敛」可以翻译成「误差事件会不会发生无穷多次」，第 1 部分的工具就能直接用上。这一翻译在第 9 页正式完成。
数值例子：设 $X_{n} (ω) = X (ω) + \frac{1}{n} 。$ 取 $ε = 0.01 ，$ 误差 $\frac{1}{n} > 0.01$ 当且仅当 $n < 100 ，$ 只有 $n = 1, \dots, 99$ 这有限个。换成任何 $ε > 0$ 也只有有限个 $n$ 满足 $\frac{1}{n} > ε ，$ 所以 $X_{n} \to X 。$

第 3 句：what extra condition permits a limit under the integral? 关键词是 extra condition（额外条件）。

光有「 $X_{n} \to X 」$ 不够保证 $E X_{n} \to E X 。$ 反例（第 19 页）： $X_{n} = n \cdot 1_{[0, 1/ n]} ，$ 逐点趋于 0，但 $E X_{n} = 1$ 始终不变。
第 1 讲给过的额外条件是「有一个可积的上界」（DCT，第 44 页）。第 3 部分把它推广到依概率收敛（第 20 页），并对概率密度给出 Scheffé 引理（第 22 页）。

第 4 句：establish density formulas, then use them to improve sampling。 分两步：

establish density formulas（建立密度公式）：如果 $Q$ 是另一个概率测度，在合适的条件下存在一个非负随机变量 $Z$ （叫 Radon–Nikodym 导数或密度），使得 $Q (A) = E_{P} [Z 1_{A}]$ 对所有事件 $A$ 成立。这是第 4 部分。
use them to improve sampling（用来改进抽样）：想估计 $P$ 下的一个期望，可以改在 $Q$ 下抽样，再乘上换算因子。选得好，模拟误差会小得多。这是第 5 部分。

第三块：共同设定与旧知识

课件原文Throughout

Throughout, $(Ω, F, P)$ is the probability space. Topic 1 supplies MCT, Fatou and DCT. Topic 2 supplies laws, expectations and tail integrals.

中文翻译

全讲中， $(Ω, F, P)$ 是所用的概率空间。第 1 讲提供单调收敛定理、Fatou 引理和控制收敛定理。第 2 讲提供分布、期望和尾积分。

$(Ω, F, P)$ ：样本空间 $Ω$ （所有可能的完整结局）、σ-代数 $F$ （允许谈概率的事件清单，第 9 页）、概率测度 $P$ （给每个事件一个 0 到 1 之间的数，第 12 页）。Throughout（自始至终）说明：本讲所有随机变量都定义在同一个概率空间上，除非特别说明。
Topic 1 supplies MCT, Fatou and DCT：supplies 是「提供」。本讲会反复用到：
- 单调收敛定理 MCT（第 36 页）：非负、递增的函数列，积分可以和极限交换；
- Fatou 引理（第 41 页）：非负函数列， $\int lim inf f_{n} \leq lim inf \int f_{n} ；$
- 控制收敛定理 DCT（第 44 页）：逐点收敛且有可积上界，积分可以和极限交换。
Topic 2 supplies laws, expectations and tail integrals：
- laws（分布）： $X$ 的分布是 $B \mapsto P (X \in B)$ （第 6 页）。「同分布」就是两个随机变量的分布相同；
- expectations（期望）： $E X = \int X d P$ （第 5 页）；
- tail integrals（尾积分）：对 $Y \geq 0 ，$ $E Y = \int_{0}^{\infty} P (Y > t) d t$ （第 21 页）。第 12 页会把它变成一个判断「期望是否有限」的级数判别法。

人话版五个部分的逻辑链

第 1 部分 事件无穷多次 ⟶ 第 2 部分 误差事件 \Rightarrow 随机变量收敛 ⟶ 第 3 部分 期望、密度收敛 ⟶ 第 4 部分 用密度换测度 ⟶ 第 5 部分 改进抽样

第 1 → 2：随机变量收敛 ⟺ 误差事件只发生有限次，所以 Borel–Cantelli 直接变成收敛判别法。
第 2 → 3：收敛有了，下一步问期望（积分）能不能跟着收敛；需要额外的「控制」条件。
第 3 → 4：第 3 部分末尾研究「密度」收敛时事件概率的误差，自然引出「用密度描述一个概率测度」——这正是 Radon–Nikodym 定理的内容。
第 4 → 5：有了换测度公式，就能在另一个测度下抽样、再换算回来，用来降低模拟误差。

例子

例 1：同一个抛硬币场景里的五个问题

一枚公平硬币一直抛下去， $ξ_{n} = 1$ 表示第 $n$ 次正面， $ξ_{n} = 0$ 表示反面。

第 1 部分：事件 $A_{n} = {ξ_{n} = 1}$ 会发生无穷多次吗？这些事件相互独立， $P (A_{n}) = \frac{1}{2} ，$ $\sum_{n} \frac{1}{2} = \infty ，$ 第二 Borel–Cantelli 引理（第 7 页）说：以概率 1 会。
第 2 部分：令 $\overset{ˉ}{X}_{n} = \frac{ξ _{1} + \dots + ξ _{n}}{n}$ 为前 $n$ 次的正面比例。它会收敛到 $\frac{1}{2}$ 吗？问题可以翻译成：对每个 $ε > 0 ，$ 误差事件 ${∣ \overset{ˉ}{X}_{n} - \frac{1}{2} ∣ > ε}$ 是否只发生有限次？
第 3 部分：若随机变量 $Y_{n}$ 以某种方式收敛到 $Y ，$ 何时能推出 $E Y_{n} \to E Y ？$ 需要 $∣ Y_{n} ∣$ 被同一个可积的 $Y^{*}$ 控制之类的条件。
第 4 部分：把硬币换成「正面概率 0.9」的偏币，得到新的概率测度 $Q 。$ 前 10 次都是正面这个结局，在 $P$ 下概率是 $0. 5^{10} ，$ 在 $Q$ 下是 $0. 9^{10} ，$ 两者之比 $(0.5/0.9)^{10}$ 就是这个结局上的「换算因子」（密度）。
第 5 部分：想估计 $p = P (前 10 次全正面) = 2^{- 10} \approx 0.000977 。$ 直接模拟，平均一千次才碰到一次；改用偏币模拟，碰到的频率约为 $0. 9^{10} \approx 0.349 ，$ 每碰到一次记下换算因子 $(0.5/0.9)^{10} ，$ 平均值仍然是 $p ，$ 而模拟误差小得多。

常见疑问与易错点

易错点问：「发生无穷多次」和「至少发生一次」有什么不同？

答：差别很大。掷骰子时「第 $n$ 次是 6」至少发生一次，只要有一次掷出 6 就行；发生无穷多次，则要求不管掷到第几次，后面总还会再掷出 6。第 1 部分研究的是后者，它描述的是长期、反复的行为。

易错点问：误差事件为什么写成「大于 ε」而不是「等于 0」？

答：因为收敛只要求误差越来越小，不要求某一步误差恰好为 0。例如 $X_{n} = X + \frac{1}{n}$ 的误差永远不是 0，但它确实收敛到 $X 。$ 把「误差大于 $ε 」$ 当作「出错」，收敛就是「对每个容忍度，出错只有有限次」。

易错点问：第 3 句为什么强调 extra（额外）条件？

答：因为不加条件， $lim E X_{n} = E lim X_{n}$ 可能是错的。尖峰例子（第 19 页）里每一点的极限都是 0，期望却一直是 1，「质量」跑到越来越窄、越来越高的尖峰里去了。额外条件（如可积上界）的作用就是不让质量跑掉。

小结与自测

小结本页小结

五个部分：Borel–Cantelli → 随机变量收敛 → 期望与密度收敛 → Radon–Nikodym 换测度 → 抽样应用。
关键接口：随机变量收敛 ⟺ 对每个 $ε > 0 ，$ 误差事件 ${∣ X_{n} - X ∣ > ε}$ 只发生有限次。
期望的极限需要额外条件（可积上界等），否则可能出错。
换测度：用密度把一个概率测度下的概率、期望换算到另一个概率测度下，再用来改进模拟。
工具来源：第 1 讲的 MCT、Fatou、DCT；第 2 讲的分布、期望、尾积分。

自测

1. 设 $X_{n} = X + \frac{( - 1 ) ^{n}}{n} 。$ 取 $ε = 0.1 ，$ 误差事件 ${∣ X_{n} - X ∣ > 0.1}$ 在哪些 $n$ 上发生？ $X_{n}$ 收敛到 $X$ 吗？

点开看答案

$∣ X_{n} - X ∣ = \frac{1}{n} ，$ 它大于 $0.1$ 当且仅当 $n < 10 ，$ 即 $n = 1, \dots, 9 ，$ 只发生 9 次（有限次）。任何 $ε > 0$ 下，满足 $\frac{1}{n} > ε$ 的 $n$ 也只有有限个，所以 $X_{n} \to X 。$

2. 把这一页的四个问题与五个部分对应起来：「换测度」那一句对应哪几个部分？

点开看答案

对应第 4 部分（建立密度公式，即 Radon–Nikodym 与换测度）和第 5 部分（用这些公式改进抽样）。前三句分别对应第 1、2、3 部分。

3. 判断：只要 $X_{n}$ 在每一个样本点上都收敛到 $X ，$ 就一定有 $E X_{n} \to E X 。$

点开看答案

错。尖峰例子 $X_{n} = n 1_{[0, 1/ n]}$ （除 $ω = 0$ 这一点外，每一点上 $X_{n} \to 0 ），$ 但 $E X_{n} = 1 \neq \to 0 。$ 要保证期望收敛，需要额外条件，例如 DCT 的可积上界。

本页术语中英对照（按出现顺序）

中文	English	白话解释
事件	event	样本空间的（允许谈概率的）子集；实现的 ω 落在里面，就说事件发生。
随机变量	random variable	从样本空间到实数的（可测）函数，把结局翻译成数字；随机性来自「实现了哪个 ω」。
无穷多次	infinitely often (i.o.)	「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
期望	expectation	随机变量对概率测度的积分 E[X] = ∫ X dP，也就是「加权平均」。
概率测度	probability measure	总质量 P(Ω) = 1 的测度。
样本空间	sample space	一次试验所有可能的完整结局组成的集合，记作 Ω。
子集	subset	A 的每个元素都在 B 里，就说 A 是 B 的子集，记作 A ⊆ B。
上极限	limit superior (lim sup)	数列「尾部的最大可能值」的极限；对集合则表示「发生无穷多次」。
集合	set	把一些对象放在一起当成一个整体，例如 {1,2,3}。
测度	measure	给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」，空集为 0，并且可数可加。
子列	subsequence	从一个数列里按顺序挑出无穷多项组成的新数列。
换测度	change of measure	用 E_Q[X] = E_P[X · dQ/dP] 在两个概率之间换算期望。
Borel–Cantelli 引理	Borel–Cantelli lemma	概率之和有限 ⇒ 只发生有限次；独立且概率之和无穷 ⇒ 发生无穷多次。
独立	independence	任意有限个事件同时发生的概率等于各自概率的乘积。
几乎必然收敛	almost sure convergence	除了概率为 0 的结局以外，Xₙ(ω) 都收敛到 X(ω)。
依概率收敛	convergence in probability	对每个 ε > 0，P(\|Xₙ − X\| > ε) → 0；比几乎必然收敛弱。
概率密度	density	满足 P(X ∈ B) = ∫_B f(x) dx 的函数 f；有密度等价于 CDF 绝对连续。
逐点收敛	pointwise convergence	对定义域里的每一个点 x，数列 fₙ(x) 都收敛到 f(x)；这样得到的函数 f 叫逐点极限。
重要性抽样	importance sampling	从另一个更合适的分布抽样，再乘以权重纠正，从而减小估计的方差。
样本点	sample point	一个完整的结局 ω；每次试验恰好实现一个样本点。
当且仅当	if and only if (iff)	「A 当且仅当 B」：A 成立就一定有 B，B 成立也一定有 A，两者同真同假，记作 A ⟺ B。
控制收敛定理	dominated convergence theorem (DCT)	fₙ → f 几乎处处且 \|fₙ\| ≤ g、g 可积时，∫fₙ → ∫f。
上界	upper bound	数集 A 的上界是一个数 M，A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界；所有上界中最小的那个叫上确界。
可积	integrable (L¹)	∫\|f\| dμ < ∞。全体可积函数记作 L¹(μ)。
Scheffé 引理	Scheffé's lemma	非负可积的 fₙ → f 几乎处处，且 ∫fₙ → ∫f < ∞，则 ∫\|fₙ − f\| → 0。概率密度逐点收敛，分布就在全变差意义下收敛。
Radon–Nikodym 导数	Radon–Nikodym derivative	Q ≪ P 时存在 L = dQ/dP ≥ 0，使 Q(A) = ∫_A L dP；它是「换测度的密度」。
Fatou 引理	Fatou's lemma	非负可测函数列满足 ∫ liminf fₙ ≤ liminf ∫ fₙ（只保证这个方向）。
单调收敛定理	monotone convergence theorem (MCT)	非负可测函数单调递增地收敛时，积分也收敛：∫fₙ ↑ ∫f。
概率空间	probability space	三元组 (Ω, 𝓕, P)：样本空间、事件的 σ-代数、概率测度。
分布	law / distribution	X 把概率「推」到取值空间上得到的测度：L(X)(B) = P(X ∈ B)。
σ-代数	sigma-algebra	允许谈概率的「事件清单」：含 Ω，对补集和可数并封闭。
函数	function / map	f: A → B 给 A 中每个元素指定 B 中唯一一个元素。
级数	series	无穷多项相加 a₁ + a₂ + …，它的值是前 n 项和在 n → ∞ 时的极限。