这道题在问什么
独立的 观测值 能「冲」多高?答案是:反复冲到 附近,但几乎不会冲到 以上无穷多次。关键算式是 时概率之和有限,第一引理说「超过 只发生有限次,于是 时和发散,独立 + 第二引理说「超过 发生无穷多次,于是
- 考点:两个 Borel–Cantelli 引理各管一半(第 3 讲 第 4 页、第 7 页);上极限 与「无穷多次」的互相翻译(第 1 讲 第 40 页);把 写成可数个事件的交、并。
- 这道题的意义:这是「用 Borel–Cantelli 引理确定一个序列的精确增长速度」的标准范例。同样的方法可以确定正态序列、几何序列等的增长速度。
- 和其他题的关系:第 4 题 的判别法「和有限 / 和无穷」在这里被用在一族事件上(每个 一列事件)。作业 2 第 2 题 是本题的加强版:前 项的最大值除以 几乎必然收敛到 1。
先补基础
- 题目给的分布:((这就是参数为 1 的指数分布(exponential distribution),密度是 (常用来描述「等待时间」。
- 几乎必然是正数。
- 和 没有区别:对 ( 取足够大使 这些事件递减,由从上连续(第 1 讲 第 14 页),
- 例:
- 是自然对数,满足 (它增长极慢:
- 指数运算:所以 (
- -级数:用积分比较: 在 时等于 在 时是
对实数列 取值可以是 数列「最终能反复达到的最高水平」。本题反复用下面两条( 是实数):
- 若 对无穷多个 成立,则 理由:对每个 第 项以后还有某个 所以 取极限仍
- 若 则 对无穷多个 成立。 理由(逆否):若从某项 起 则 时 极限
注意第 2 条要求严格的「: 的上极限是 1,但没有一项 所以「推不出「 无穷多次」,证明里必须留一点余量。
题目与原解答
- Let be a sequence of independent real random variables, each with the distribution when and when . Let
then .
- 设 是一列相互独立的实值随机变量,每个都服从分布: 时 时 令 则
- 题目是陈述句,意思是「证明
- 时 , 没有定义。上极限只看「最终」的行为,去掉前面有限项不改变它,所以约定
原解答的思路(左栏):
- 令 事件独立;级数 时发散、 时收敛;由两个引理, 在 时为 1、 时为 0。
- 指出 得
- 再由 得 所以
框架正确。但第 3 步「缺了关键的理由(需要留余量),还有 的范围和字母 重复使用等问题,见「原解答逐行对照」。
思路:怎么想到的
- 先猜增长速度。要让「超过 在 次里大约发生一次,需要 即 所以 的「纪录水平」应该在 附近,比值 的上极限应该是 1。
- 把 翻译成事件。 要证的是「对每个 超过 只发生有限次」; 要证的是「对每个 超过 发生无穷多次」。这正是两个 Borel–Cantelli 引理各自的结论形式。
- 算概率之和:分界点恰好是 这就是答案为 1 的原因。
- 最后把可数个 合起来:只取
完整解答
设 独立,都服从 (则 其中「 a.s.」不需要独立性。
先算 用两个引理得到「有限次;无穷多次」。上半部分: 含在可数个概率 0 事件 的并里。下半部分:可数个概率 1 事件 的交含在 里。
第 1 步:尾概率。 取 此时 由「先补基础」,
第 2 步:两个引理。 令 (
- :由第一引理,不需要独立。
- : 由独立的 决定,相互独立。由第二引理,
第 3 步:上半部分, 对正整数 令 由第 2 步(
断言:取 使 选正整数 使 ( 时任何 都行;有限时因为 由上极限的性质 2, 对无穷多个 成立,所以
于是
第 4 步:下半部分, 对正整数 令 由第 2 步,令 可数个概率 1 事件之交,
取 对每个 对无穷多个 成立,由上极限的性质 1,令 所以
第 5 步:合起来。 所以
哪一半用了独立:第 3 步只用了第一引理,所以「 a.s.」对任何同分布于 的序列都成立;第 4 步用了第二引理,必须独立(例 4)。
原解答逐行对照
第 1–2 行 Let be the event that . Then , and the events are independent.
这是完整解答第 1 步,并用到「独立随机变量决定的事件独立」。
- 时 的定义里 没有意义。应说明 只对 取上极限(不影响结果)。
- 公式 只在 时成立。若 而 不可能是概率。后面只用到 在 1 附近,所以应写「对
第 3–4 行 if , if . Thus, from the Borel–Cantelli Lemmas it follows that if , if .
级数的分界由 -级数给出。复数「Lemmas」是说两个引理都用了,最好写明: 用第一引理(不需要独立), 用第二引理(需要上一行的独立性)。
第 5 行 Now, note that the event is identical to the event and so .
等式是对的,验证两边包含:若 则对每个 由性质 2, 无穷多次;反过来,若对每个 都有 无穷多次,由性质 1, 对所有 成立,所以
- 「应写成「强调是可数交;若 取遍正实数,交集的概率就不能用可数次可加性来算。
- 由等式推出 需要:(1) 取 时每个事件里的系数 由上一行(第二引理)概率为 1( 时系数为 0,事件 本身概率就是 1);(2) 可数个概率 1 的事件之交概率为 1。原解答用「and so」一笔带过。
第 6 行 Then it follows that for any , and so we have that , hence, , and so .
意思是:于是对任意 都有 所以 即 再结合上一行的 得到
- 第 4 行说的是 (但 不包含于 上极限等于 时,比值可以从下方逼近 而一次都不达到(先补基础的 正确的推理要留余量:由第 5 行的等式取
而 后者概率为 0。完整解答第 3 步用的是同一个想法(选 使
- 这里的 与序列下标 的 撞了字母,应换成
- 从「每个 概率为 0」到「用的是 和可数次可加性,可以写出来。
例子与数值验证
在 中满足 的 的平均个数是 Python 算得:
| (像 | |||
| 约 |
时平均总共只发生 1.6 次左右,而且几乎都发生在前面; 时平均次数像 一样慢慢变大,永不停止。
Python 模拟 3 条路径,各取 项,计算「第 项以后(到 为止)比值 的最大值」:
| 路径 | 的次数 | 的次数 | |||
|---|---|---|---|---|---|
| 1 | 1.313 | 1.313 | 0.994 | 10 | 0 |
| 2 | 2.421 | 1.115 | 1.115 | 13 | 4 |
| 3 | 1.570 | 1.266 | 1.164 | 21 | 3 |
随着 变大,尾部最大值向 1 靠拢,这就是 的样子。路径 1 在 时是 是因为我们只看到 为止;在无穷长的路径上,比值还会无穷多次超过 的情形每条路径只出现几次,而且都在前面(第一引理)。
对每个 成立,所以 依概率。数值: 时, 的概率分别是
可上极限是 1:比值不几乎必然收敛到 0。再算下极限:事件 相互独立,概率 和为无穷,由第二引理, 无穷多次,所以 任意小,又 得 a.s.。比值大部分时间贴近 0,偶尔冲到 1 附近,永不停止——又一个「依概率收敛但不几乎必然收敛」的例子(参见 第 4 题)。
令 每个 每个 的分布都对,但不独立。此时 对每个 成立,
- 上半部分「仍然成立:它只用了第一引理。
- 下半部分失败:事件 随 一个套一个,概率之和发散,却只发生有限次——第二引理需要的独立性不成立。
拓展延伸
加强版:最大值 / ln n → 1(作业 2 第 2 题)
令 作业 2 第 2 题 证明 几乎必然——不只是上极限,而是真正的极限。本题给出一半: 推出 (单项最终不超过 前面有限项的最大值除以 趋于 0);另一半 需要估计「前 项都很小」的概率 一条模拟路径上 在 时分别约为 收敛得很慢。
更细的刻度:lim sup (Xₙ − ln n)/ln ln n = 1
一般的配方
常见疑问与易错点
答:因为 上极限等于 时,比值可以一直略低于 (例如 型的数列)。正确做法是留余量: 推出 再推出比值 无穷多次。
答:每个 给出一个概率 0 或 1 的事件。 取遍实数,事件就有不可数多个,「交集概率为 1」「并集概率为 0」都不能再用可数次可加性保证。 只有可数多个,又能任意接近 1,正好够用。
答:第一引理不需要独立,给出 第二引理需要独立,给出 所以「 最终不会超过 太多次」对任何 序列都对,而「它会反复接近 1」要靠独立(例 4)。
答:不是。 是上极限,比值的下极限是 0(例 3),比值在 0 与 1 之间来回摆动。 只说明「反复冲到 1 附近,但最终不会明显超过 1」。
小结与自测
- 核心算式: 在 时有限、 时无穷。
- 上半部分(第一引理,不需要独立。
- 下半部分(独立 + 第二引理。
- 与「i.o.」互译时要留余量;只用可数个
- 原解答要补的地方: 无定义; 取正整数; 需要留余量的论证,且字母 重复。
1. 独立,都服从参数为 的指数分布( 等于多少?
点开看答案
级数在 即 时有限,在 时无穷。照搬本题的论证,把 1 换成
2. 只用第一引理(不用独立),证明 并说明这推出
点开看答案
由第一引理得概率为 0。在补集上,从某项起 所以 (若 最终成立,则
3. 判断:「若 都服从 但不一定独立,则
点开看答案
错误。 仍成立(只用第一引理),但 可能失败:例 4 中 对所有
| 中文 | English | 白话解释 |
|---|---|---|
| 独立 | independence | 任意有限个事件同时发生的概率等于各自概率的乘积。 |
| 无穷多次 | infinitely often (i.o.) | 「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。 |
| Borel–Cantelli 引理 | Borel–Cantelli lemma | 概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。 |
| 上极限 | limit superior (lim sup) | 数列「尾部的最大可能值」的极限;对集合则表示「发生无穷多次」。 |
| 可数 | countable | 元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 几乎必然收敛 | almost sure convergence | 除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| 指数分布 | exponential distribution | P(X > x) = e^(−λx)(x ≥ 0)的分布,均值 1/λ,常用来描述等待时间。 |
| 从上连续 | continuity from above | 集合一层层变小(Eₙ ↓ E)且 μ(E₁) < ∞ 时,μ(Eₙ) → μ(E)。 |
| 级数 | series | 无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。 |
| 次可加性 | subadditivity | 并集的测度不超过各部分测度之和:μ(A ∪ B) ≤ μ(A) + μ(B)。 |
| 不可数 | uncountable | 无论怎么排都排不成一列,例如区间 [0,1] 里的全体实数。 |
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 尾概率 | tail probability | 随机变量取到「很大的值」的概率,例如 P(X > t) 或 P(|X| ≥ t)。它随 t 增大而下降得越慢,分布的尾巴就越「厚」。 |
| 交集 | intersection | 同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。 |
| 下极限 | limit inferior (lim inf) | 数列「尾部的最小可能值」的极限;对集合则表示「从某一项起一直发生」。 |
| 依概率收敛 | convergence in probability | 对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。 |
| 独立同分布 | independent and identically distributed (i.i.d.) | 一列随机变量相互独立,并且分布都相同,例如反复独立地掷同一颗骰子。 |
| 并集 | union | 至少属于其中一个集合的元素全体,A ∪ B 对应「A 或 B」。 |
| 补集 | complement | 样本空间里不属于 A 的元素全体,记作 Aᶜ,对应「A 不发生」。 |

