高等概率论逐页精讲

作业 1 Borel–Cantelli 引理、概率不等式与收敛定理›Borel–Cantelli 引理的应用

第 5 题 / 共 12 题解答原页 第 2–3 页证明题

独立 Exp(1) 序列:lim sup Xₙ / ln n = 1 几乎必然

i.i.d. exponentials: lim sup Xₙ / ln n = 1 a.s.

解答原页第 2 页(本题所在部分)
解答原页第 3 页(本题所在部分)
解答原页第 2–3 页(本题部分)· 点击图片看整页

这道题在问什么

人话版一句话版

独立的 观测值 能「冲」多高?答案是:反复冲到 附近,但几乎不会冲到 以上无穷多次。关键算式是 时概率之和有限,第一引理说「超过 只发生有限次,于是 时和发散,独立 + 第二引理说「超过 发生无穷多次,于是

  • 考点:两个 Borel–Cantelli 引理各管一半(第 3 讲 第 4 页、第 7 页);上极限 与「无穷多次」的互相翻译(第 1 讲 第 40 页);把 写成可数个事件的交、并。
  • 这道题的意义:这是「用 Borel–Cantelli 引理确定一个序列的精确增长速度」的标准范例。同样的方法可以确定正态序列、几何序列等的增长速度。
  • 和其他题的关系:第 4 题 的判别法「和有限 / 和无穷」在这里被用在一族事件上(每个 一列事件)。作业 2 第 2 题 是本题的加强版:前 项的最大值除以 几乎必然收敛到 1。

先补基础

基础补课指数分布 Exp(1)
  • 题目给的分布:((这就是参数为 1 的指数分布(exponential distribution),密度是 (常用来描述「等待时间」。
  • 几乎必然是正数。
  • 和 没有区别:对 ( 取足够大使 这些事件递减,由从上连续(第 1 讲 第 14 页),
  • 例:
基础补课对数与幂:e^{−α ln n} = n^{−α}
  • 是自然对数,满足 (它增长极慢:
  • 指数运算:所以 (
  • -级数:用积分比较: 在 时等于 在 时是
基础补课上极限 lim sup 与「无穷多次」(第 1 讲 p40)

对实数列 取值可以是 数列「最终能反复达到的最高水平」。本题反复用下面两条( 是实数):

  1. 若 对无穷多个 成立,则 理由:对每个 第 项以后还有某个 所以 取极限仍
  2. 若 则 对无穷多个 成立。 理由(逆否):若从某项 起 则 时 极限

注意第 2 条要求严格的「: 的上极限是 1,但没有一项 所以「推不出「 无穷多次」,证明里必须留一点余量。

基础补课两个 Borel–Cantelli 引理与可数交、并(回顾)
  • 第一引理(第 4 页):不需要独立。第二引理(第 7 页): 独立且
  • 可数个概率 1 的事件之交,概率仍为 1;可数个概率 0 的事件之并,概率仍为 0(可数次可加性,见 第 2 题 先补基础)。不可数个就不行,所以下面只用 ( 是正整数)。

题目与原解答

课件原文题目
  1. Let be a sequence of independent real random variables, each with the distribution when and when . Let

then .

中文翻译
  1. 设 是一列相互独立的实值随机变量,每个都服从分布: 时 时 令 则
  • 题目是陈述句,意思是「证明
  • 时 , 没有定义。上极限只看「最终」的行为,去掉前面有限项不改变它,所以约定

原解答的思路(左栏):

  1. 令 事件独立;级数 时发散、 时收敛;由两个引理, 在 时为 1、 时为 0。
  2. 指出 得
  3. 再由 得 所以

框架正确。但第 3 步「缺了关键的理由(需要留余量),还有 的范围和字母 重复使用等问题,见「原解答逐行对照」。

思路:怎么想到的

  1. 先猜增长速度。要让「超过 在 次里大约发生一次,需要 即 所以 的「纪录水平」应该在 附近,比值 的上极限应该是 1。
  2. 把 翻译成事件。 要证的是「对每个 超过 只发生有限次」; 要证的是「对每个 超过 发生无穷多次」。这正是两个 Borel–Cantelli 引理各自的结论形式。
  3. 算概率之和:分界点恰好是 这就是答案为 1 的原因。
  4. 最后把可数个 合起来:只取

完整解答

定理命题

设 独立,都服从 (则 其中「 a.s.」不需要独立性。

推导证明思路

先算 用两个引理得到「有限次;无穷多次」。上半部分: 含在可数个概率 0 事件 的并里。下半部分:可数个概率 1 事件 的交含在 里。

第 1 步:尾概率。 取 此时 由「先补基础」,

第 2 步:两个引理。 令 (

  • :由第一引理,不需要独立。
  • : 由独立的 决定,相互独立。由第二引理,

第 3 步:上半部分, 对正整数 令 由第 2 步(

断言:取 使 选正整数 使 ( 时任何 都行;有限时因为 由上极限的性质 2, 对无穷多个 成立,所以

于是

第 4 步:下半部分, 对正整数 令 由第 2 步,令 可数个概率 1 事件之交,

取 对每个 对无穷多个 成立,由上极限的性质 1,令 所以

第 5 步:合起来。 所以

哪一半用了独立:第 3 步只用了第一引理,所以「 a.s.」对任何同分布于 的序列都成立;第 4 步用了第二引理,必须独立(例 4)。

原解答逐行对照

第 1–2 行 Let be the event that . Then , and the events are independent.

这是完整解答第 1 步,并用到「独立随机变量决定的事件独立」。

易错点原解答的问题:n = 1 和 α 的范围
  • 时 的定义里 没有意义。应说明 只对 取上极限(不影响结果)。
  • 公式 只在 时成立。若 而 不可能是概率。后面只用到 在 1 附近,所以应写「对

第 3–4 行 if , if . Thus, from the Borel–Cantelli Lemmas it follows that if , if .

级数的分界由 -级数给出。复数「Lemmas」是说两个引理都用了,最好写明: 用第一引理(不需要独立), 用第二引理(需要上一行的独立性)。

第 5 行 Now, note that the event is identical to the event and so .

等式是对的,验证两边包含:若 则对每个 由性质 2, 无穷多次;反过来,若对每个 都有 无穷多次,由性质 1, 对所有 成立,所以

易错点原解答的问题:m 要取正整数,「and so」中间缺两步
  • 「应写成「强调是可数交;若 取遍正实数,交集的概率就不能用可数次可加性来算。
  • 由等式推出 需要:(1) 取 时每个事件里的系数 由上一行(第二引理)概率为 1( 时系数为 0,事件 本身概率就是 1);(2) 可数个概率 1 的事件之交概率为 1。原解答用「and so」一笔带过。

第 6 行 Then it follows that for any , and so we have that , hence, , and so .

意思是:于是对任意 都有 所以 即 再结合上一行的 得到

易错点原解答的问题:P(L ≥ 1 + 1/n) = 0 不能直接从第 4 行得到,需要留余量
  • 第 4 行说的是 (但 不包含于 上极限等于 时,比值可以从下方逼近 而一次都不达到(先补基础的 正确的推理要留余量:由第 5 行的等式取

而 后者概率为 0。完整解答第 3 步用的是同一个想法(选 使

  • 这里的 与序列下标 的 撞了字母,应换成
  • 从「每个 概率为 0」到「用的是 和可数次可加性,可以写出来。

例子与数值验证

例 1:两个引理在数字上的样子

在 中满足 的 的平均个数是 Python 算得:

(像
约

时平均总共只发生 1.6 次左右,而且几乎都发生在前面; 时平均次数像 一样慢慢变大,永不停止。

例 2:模拟三条路径

Python 模拟 3 条路径,各取 项,计算「第 项以后(到 为止)比值 的最大值」:

路径 的次数 的次数
1 1.313 1.313 0.994 10 0
2 2.421 1.115 1.115 13 4
3 1.570 1.266 1.164 21 3

随着 变大,尾部最大值向 1 靠拢,这就是 的样子。路径 1 在 时是 是因为我们只看到 为止;在无穷长的路径上,比值还会无穷多次超过 的情形每条路径只出现几次,而且都在前面(第一引理)。

例 3:依概率收敛到 0,上极限却是 1

对每个 成立,所以 依概率。数值: 时, 的概率分别是

可上极限是 1:比值不几乎必然收敛到 0。再算下极限:事件 相互独立,概率 和为无穷,由第二引理, 无穷多次,所以 任意小,又 得 a.s.。比值大部分时间贴近 0,偶尔冲到 1 附近,永不停止——又一个「依概率收敛但不几乎必然收敛」的例子(参见 第 4 题)。

例 4(反例):去掉独立,下半部分失败

令 每个 每个 的分布都对,但不独立。此时 对每个 成立,

  • 上半部分「仍然成立:它只用了第一引理。
  • 下半部分失败:事件 随 一个套一个,概率之和发散,却只发生有限次——第二引理需要的独立性不成立。

拓展延伸

加强版:最大值 / ln n → 1(作业 2 第 2 题)

令 作业 2 第 2 题 证明 几乎必然——不只是上极限,而是真正的极限。本题给出一半: 推出 (单项最终不超过 前面有限项的最大值除以 趋于 0);另一半 需要估计「前 项都很小」的概率 一条模拟路径上 在 时分别约为 收敛得很慢。

更细的刻度:lim sup (Xₙ − ln n)/ln ln n = 1

同样的方法可以看得更细。级数 在 时发散、 时收敛(与 比较,代换 第 4 题 例 1 是 两个特例),用和本题完全相同的论证得到

这说明 超过 的部分,最多也只是 的量级。

一般的配方

对独立同分布的 想求 就找 使

则 a.s.。例如独立标准正态序列,用正态尾部估计 可以得到 即 a.s.(第 2 题 例 1 的数值正是这个量级)。

常见疑问与易错点

易错点问:为什么不能直接写 P(L ≥ 1 + 1/k) ≤ P(Xₙ ≥ (1 + 1/k) ln n i.o.) = 0?

答:因为 上极限等于 时,比值可以一直略低于 (例如 型的数列)。正确做法是留余量: 推出 再推出比值 无穷多次。

易错点问:为什么只取 α = 1 ± 1/k,不对所有 α 同时用引理?

答:每个 给出一个概率 0 或 1 的事件。 取遍实数,事件就有不可数多个,「交集概率为 1」「并集概率为 0」都不能再用可数次可加性保证。 只有可数多个,又能任意接近 1,正好够用。

易错点问:两个引理哪个需要独立?对应 L 的哪一半?

答:第一引理不需要独立,给出 第二引理需要独立,给出 所以「 最终不会超过 太多次」对任何 序列都对,而「它会反复接近 1」要靠独立(例 4)。

易错点问:L = 1 是不是说 Xₙ/ln n → 1?

答:不是。 是上极限,比值的下极限是 0(例 3),比值在 0 与 1 之间来回摆动。 只说明「反复冲到 1 附近,但最终不会明显超过 1」。

小结与自测

小结本题小结
  • 核心算式: 在 时有限、 时无穷。
  • 上半部分(第一引理,不需要独立。
  • 下半部分(独立 + 第二引理。
  • 与「i.o.」互译时要留余量;只用可数个
  • 原解答要补的地方: 无定义; 取正整数; 需要留余量的论证,且字母 重复。
自测

1. 独立,都服从参数为 的指数分布( 等于多少?

点开看答案

级数在 即 时有限,在 时无穷。照搬本题的论证,把 1 换成

2. 只用第一引理(不用独立),证明 并说明这推出

点开看答案

由第一引理得概率为 0。在补集上,从某项起 所以 (若 最终成立,则

3. 判断:「若 都服从 但不一定独立,则

点开看答案

错误。 仍成立(只用第一引理),但 可能失败:例 4 中 对所有

本页术语中英对照(按出现顺序)
中文English白话解释
独立independence任意有限个事件同时发生的概率等于各自概率的乘积。
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
Borel–Cantelli 引理Borel–Cantelli lemma概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。
上极限limit superior (lim sup)数列「尾部的最大可能值」的极限;对集合则表示「发生无穷多次」。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
指数分布exponential distributionP(X > x) = e^(−λx)(x ≥ 0)的分布,均值 1/λ,常用来描述等待时间。
从上连续continuity from above集合一层层变小(Eₙ ↓ E)且 μ(E₁) < ∞ 时,μ(Eₙ) → μ(E)。
级数series无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。
次可加性subadditivity并集的测度不超过各部分测度之和:μ(A ∪ B) ≤ μ(A) + μ(B)。
不可数uncountable无论怎么排都排不成一列,例如区间 [0,1] 里的全体实数。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
尾概率tail probability随机变量取到「很大的值」的概率,例如 P(X > t) 或 P(|X| ≥ t)。它随 t 增大而下降得越慢,分布的尾巴就越「厚」。
交集intersection同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。
下极限limit inferior (lim inf)数列「尾部的最小可能值」的极限;对集合则表示「从某一项起一直发生」。
依概率收敛convergence in probability对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。
独立同分布independent and identically distributed (i.i.d.)一列随机变量相互独立,并且分布都相同,例如反复独立地掷同一颗骰子。
并集union至少属于其中一个集合的元素全体,A ∪ B 对应「A 或 B」。
补集complement样本空间里不属于 A 的元素全体,记作 Aᶜ,对应「A 不发生」。