高等概率论逐页精讲

作业 1 Borel–Cantelli 引理、概率不等式与收敛定理›Borel–Cantelli 引理的应用

第 1 题 / 共 12 题解答原页 第 1 页证明题

任何随机变量序列都能被某个 cₙ → ∞ 压到 0

Some cₙ → ∞ makes Xₙ/cₙ → 0 a.s.

解答原页第 1 页(本题所在部分)
解答原页第 1 页(本题部分)· 点击图片看整页

这道题在问什么

人话版一句话版

不管一列随机变量 多「野」(尾巴多重、彼此之间怎么相关都行),总能找到一列事先定好的正数 使 几乎必然成立。做法:把 取得足够大,使「 超过 的概率不超过 这些概率加起来有限,第一 Borel–Cantelli 引理说这种「超过」只发生有限次;此后一直有

  • 考点:第一 Borel–Cantelli 引理(第 3 讲 第 4 页);「对每个 误差事件只发生有限次 ⟺ 几乎必然收敛」(第 3 讲 第 9 页 命题 B);单个随机变量的尾概率趋于 0(从上连续,第 1 讲 第 14 页)。
  • 这道题的意义:几乎必然收敛到 0 本身很容易「造」出来,只要除数够大。真正有内容的问题是:除数事先规定好(例如 时还行不行?那是第 3 讲 第 11 页、第 13 页 和本作业 第 3 题 的主题。
  • 和其他题的关系:第 2 题、第 4 题、第 5 题 用的都是同一个套路:把「几乎必然」的结论翻译成「某些事件只发生有限次 / 发生无穷多次」,再用 Borel–Cantelli 引理。本题只用第一引理,所以完全不需要独立性。

先补基础

基础补课随机变量是「实值」的:每个 Xₙ(ω) 都是有限数

本课的随机变量(random variable)指可测函数 (第 2 讲 第 4 页)。关键词是 对每个样本点 是一个有限实数,不会是 或

这一点是本题成立的根本原因。例如 也只是一个有限数,除以足够大的 就能变小。如果允许 以正概率取 结论就不对了(见「例子」一节的反例)。

基础补课尾概率 P(|X| > t) 在 t → ∞ 时趋于 0

设 是随机变量。对正整数 令

  1. 一个套一个: 推出 所以
  2. 交集是空集:若 在每个 里,则 对所有 成立, 只能是 与「实值」矛盾。所以
  3. 从上连续(第 1 讲 第 14 页,概率测度总质量为 1,可以用):
  4. 实数 也一样: 时 所以

结论:对任意 都存在 使 例: 时 要它 只需

基础补课无穷多次(i.o.)与第一 Borel–Cantelli 引理(回顾)
  • 「有无穷多个 发生」(第 3 讲 第 3 页 定义 1)。它的补集是 「从某一项起, 再也不发生」。
  • 第一 Borel–Cantelli 引理(第 3 讲 第 4 页 定理 2):若 则 对任意一列事件都成立,不需要独立。
  • 小例子:所以几乎每个 只落进有限个
基础补课几乎必然收敛与误差事件(回顾)

几乎必然(a.s.),是说 (第 3 讲 第 9 页 定义 6)。等价的说法(同页命题 B):

人话:不管容忍度 多小,误差超过 的情形都只出现有限次。

基础补课等比级数 ∑ 2⁻ⁿ = 1

部分和 趋于 1。这里只需要「它有限」。任何一个和有限的正数列(例如 都可以代替

题目与原解答

课件原文题目

Let is the probability space, and is a measurable space. Questions are testing: Borel–Cantelli Lemma, probabilistic inequalities and convergence theorems.

  1. If is any sequence of random variables, there are constants so that a.s.
中文翻译

设 是概率空间, 是测度空间。本次作业考查:Borel–Cantelli 引理、概率不等式和收敛定理。

  1. 若 是任意一列随机变量,则存在常数 使得 几乎必然成立。
  • 开头的说明句有两处小笔误:「Let … is」应为「Let … be」;带测度 的 应叫测度空间(measure space),「可测空间」(measurable space)只指 还没有测度。
  • any sequence:任意的序列,不假设独立、不假设同分布、不假设有期望。
  • constants: 必须是确定的数,不能随 变。若允许随机的 取 就行,题目就没意思了。

原解答的思路(左栏):

  1. 取 使
  2. 于是 由第一 Borel–Cantelli 引理, 只发生有限次;
  3. 对任意 取 把「误差 放进「误差 里,得到几乎必然收敛。

思路正确,但有笔误、方向写反的不等号和两处没交代的关键点,见「原解答逐行对照」。

思路:怎么想到的

  1. 把目标翻译成事件。要证 a.s.,由命题 B,只需对每个 证
  2. 选工具。证明「i.o. 的概率为 0」最省事的工具是第一 Borel–Cantelli 引理:只要概率之和有限,而且不要求独立,正适合「任意序列」。
  3. 我们手里只有 。 越大, 越小。麻烦在于 是任意的,而 只能选一次,不能依赖
  4. 诀窍:用趋于 0 的门槛 代替固定的 。如果能做到「从某项起 那么对任何 等 以后误差也 一个门槛同时管住了所有
  5. 于是只需 例如让第 项 这能做到,因为对固定的 (先补基础)。
  6. 最后顺手保证 :把 再放大。放大只会让 更小,不会破坏前面的任何东西。

完整解答

定理命题(总能把任意序列压到 0)

设 是 上任意一列实值随机变量。则存在确定的正数 满足 (从而 并且

不需要独立、同分布或任何矩条件。

推导证明思路

对每个 单独选一个大数 使 令 第一 Borel–Cantelli 引理给出:几乎必然地,从某项起 即 夹逼得

第 1 步:选 固定 由「先补基础」,(所以可以取一个 使

注意 只依赖 自己的分布,与其他 无关。

第 2 步:定义 令

  • 所以 而且
  • 所以 (超过更高的门槛,必然超过更低的门槛)。由概率的单调性,

第 3 步:第一 Borel–Cantelli 引理。 令 因为 所以由第 2 步

由第一 Borel–Cantelli 引理(不需要 独立),

第 4 步:在好事件上夹逼。 令 则 取 存在 使所有 都有 即

右边 由夹逼原理,所以 后者的概率

第 4 步的另一种写法(与原解答对应):固定 取正整数 使 对 所以

「无穷多次」不受前面有限项影响,所以 概率为 0。 任意,由命题 B 得 a.s.

原解答逐行对照

第 1 句 Define s.t. .

意思是「选 使得 超过 的概率不超过 这正是完整解答的第 1、2 步。

易错点原解答的问题:要选的是 cₙ,而且没说明它为什么存在
  • 句子里的 从来没有被定义,被「选取」的其实是 应写成:「对每个 取常数 使
  • 这样的 为什么存在,原解答没有说。理由是 是实值的,(从上连续,见先补基础)。这正是全题唯一用到「随机变量」性质的地方,不能省。
  • 写 说明作者没限定 的符号。应直接取 否则第 3 句里「就不成立。

第 2 句 Then, we have .

两边同除以正数 事件不变,概率也不变。

易错点原解答的问题:2² 应为 2ⁿ

右边应为 若真是常数 下一句就不能用 Borel–Cantelli 引理了。

第 3 句 according to Borel–Cantelli Lemma, we have and .

「和有限」来自 不是来自 Borel–Cantelli 引理;「i.o. 概率为 0」才是引理的结论。这里用的是第一引理,不需要独立,最好写明。

易错点原解答的问题:没有保证 cₙ → ∞

题目要求 原解答只要求概率 这推不出 例如 时, 就满足条件,但不趋于 补救:取 例如完整解答里的 放大 只会让概率更小,不影响其他步骤。

第 4、5 句 We can choose s.t. . Then … .

想法是:把固定的容忍度 和已经控制住的门槛联系起来。

易错点原解答的问题:「ε < 1/N」方向写反,最后一个等号也缺理由
  • 要让 (于是概率 需要 超过大门槛 才必然超过小门槛 原文写的 给出的是反方向的包含,不等号就错了。应为:取 使 。
  • 第 3 句证明的是门槛随 变的事件 概率为 0,而这里用的是固定门槛 需要补一句: 时 所以 前一个 i.o. 事件包含在后一个里。更简单的做法是直接用 与 比较(完整解答第 4 步的另一种写法)。
  • 最后从「每个 的 i.o. 概率为 0」到「几乎必然收敛」用的是第 3 讲 第 9 页 命题 B,可以注明。

例子与数值验证

例 1:独立同分布的 Exp(1),把 cₙ 算出来

要 取 于是

前几项:

「违规」次数:违规指 发生。 时 时 期望违规次数

从第 项起再也不违规的概率(各 独立,可以直接相乘):用 Python 算得: 时约 时约 时约

模拟(Python,20 万条路径,每条看前 60 项):平均违规次数 (理论 36.5% 的路径一次也不违规;「最后一次违规在第 1 项或以前」的比例为 与上面的理论值一致;20 万条路径里最晚的一次违规出现在第 20 项左右(这个最大值本身是随机的,换随机种子会在第 17–24 项之间波动;第 项违规的概率只有 第 25 项以后几乎不可能再见到)。几乎所有路径很快就进入 的区域,再也不出来。

例 2:重尾的柯西分布也照样可以

服从标准柯西分布(不必独立),取 则 数值核对: 时 于是 增长得像 那样快,但定理照样成立。尾巴越重,需要的 越大,但永远存在。

例 3:c_n = n 行不行?要看分布
  • 同分布且 就行, a.s.(第 3 讲 第 11 页 推论 8)。例 1 的 Exp(1) 属于这种情况,所以那里的 其实「大材小用」;由 第 5 题,连 (都够了,而 不够。
  • 独立同分布且 (例如柯西): 不行, a.s.(第 3 讲 第 13 页,第 3 题)。

本题说的是:换成足够大的 总可以。 必须随分布调整,不存在对所有序列都通用的

例 4(反例):去掉「实值」或去掉 1/n,结论都会失败
  1. 允许取 :设 令 (在 上)、(在 上)。对任何正数 在 上 不趋于 0。证明坏在第 1 步: 对所有 成立。
  2. 只要求 (少了 :取 (常数),条件满足(概率为 0),可 这种选法只能保证 不能保证趋于 0。

拓展延伸

c_n 还可以取成单调递增

令 则 所以 仍然趋于 0;而 单调不减且 所以「存在单调递增到 的 也成立。一般原则:能用的 放大以后仍然能用。

同一个技巧:「收敛得够快」就能升级成几乎必然收敛

本题的核心是让偏差概率 小到可以求和,然后用第一 Borel–Cantelli 引理。第 3 讲 第 10 页 推论 7(偏差概率可求和 ⇒ 几乎必然收敛)和第 3 讲 第 16 页 子列判别法(依概率收敛的序列,挑出 的子列就几乎必然收敛)用的是同一个 技巧。

如果只要依概率收敛,条件更弱

依概率,是说对每个 (第 3 讲 第 14 页)。只要 就够了,不需要可求和。几乎必然收敛要求偏差概率「趋于 0 得足够快」,这正是两种收敛的差别。

常见疑问与易错点

易错点问:为什么不直接对每个 ε 选一列 cₙ?

答:题目要的是一列 同时对所有 管用。若对 选出不同的序列 最后还得把它们合并成一列。用随 变小的门槛 一次就同时管住了所有 省掉了合并这一步。

易错点问:证明里用到独立性了吗?

答:没有。只用了每个 单独的尾概率(第 1 步)和第一 Borel–Cantelli 引理(第 3 步),二者都不涉及 之间的关系。所以 只依赖每个 的分布:把序列换成另一列同样分布、但相关结构完全不同的序列,同一列 照样有效。例 1 计算「再也不违规的概率」时用乘积,是因为那里额外假设了独立,只影响这个具体数值,不影响定理。

易错点问:第 1 步能不能直接写「取 tₙ 使 P(|Xₙ| > tₙ) = 2⁻ⁿ」?

答:不一定能取到等号。若 只取整数值, 是阶梯函数,可能跳过 这个值。所以要写「这总能做到。

易错点问:为什么一定要 cₙ → ∞,cₙ 有界不行吗?

答:若 就要求 题目把 写进结论,是为了说明「除数可以统一地趋于无穷」。反过来,任何可用的 都能换成 所以这个要求不增加难度,但必须在证明里说到。

小结与自测

小结本题小结
  • 结论:任意一列实值随机变量,都存在确定的 使 a.s.;不需要独立、同分布或矩条件。
  • 构造:取 使 (实值 ⇒ 尾概率趋于 0),令
  • 证明:第一 Borel–Cantelli ⇒ 几乎必然地最终 ⇒ 趋于 0。
  • 原解答要改的地方: 应为 没保证 「应为「
自测

1. 在 上均匀分布(是否独立无所谓)。按完整解答的方法写出一组 并说明这时其实每个 上都有

点开看答案

当 所以可取 (概率 由于 处处成立, 对每个 都成立,用不着 Borel–Cantelli。

2. 判断:「若 对所有 成立,则 a.s.」

点开看答案

错误。条件只给出「几乎必然地最终 即 反例:概率条件成立(概率为 0),但 必须像本题那样让门槛 相对 趋于 0。

3. 设 满足本题结论。证明 也满足,而且单调递增到

点开看答案

所以 后者几乎必然趋于 0,前者也是(夹逼)。单调不减;所以

本页术语中英对照(按出现顺序)
中文English白话解释
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
Borel–Cantelli 引理Borel–Cantelli lemma概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
从上连续continuity from above集合一层层变小(Eₙ ↓ E)且 μ(E₁) < ∞ 时,μ(Eₙ) → μ(E)。
尾概率tail probability随机变量取到「很大的值」的概率,例如 P(X > t) 或 P(|X| ≥ t)。它随 t 增大而下降得越慢,分布的尾巴就越「厚」。
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
独立independence任意有限个事件同时发生的概率等于各自概率的乘积。
可测函数measurable function对每个 a,集合 {f > a} 都可测;这样的函数才能积分。
样本点sample point一个完整的结局 ω;每次试验恰好实现一个样本点。
空集empty set一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。
交集intersection同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。
概率测度probability measure总质量 P(Ω) = 1 的测度。
补集complement样本空间里不属于 A 的元素全体,记作 Aᶜ,对应「A 不发生」。
部分和partial sum级数 a₁ + a₂ + … 的前 n 项之和 Sₙ = a₁ + … + aₙ;级数的值就是 Sₙ 在 n → ∞ 时的极限。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
测度空间measure space三元组 (S, 𝓜, μ):空间、σ-代数、测度。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
可测空间measurable space一个集合加上它上面的一个 σ-代数,例如 (Ω, 𝓕);还没有给出测度。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
独立同分布independent and identically distributed (i.i.d.)一列随机变量相互独立,并且分布都相同,例如反复独立地掷同一颗骰子。
单调递增nondecreasing后一项不小于前一项;单调有界的数列一定有极限。
偏差概率deviation probabilityXₙ 和目标 X 相差超过 ε 的概率 P(|Xₙ − X| > ε)。它趋于 0 就是依概率收敛;对每个 ε 它都可求和时,由 Borel–Cantelli 引理可推出几乎必然收敛。
可求和summable非负数列的级数和有限:Σ aₙ < ∞。例如 Σ 1/n² 可求和,Σ 1/n 不可求和(和是 +∞)。
依概率收敛convergence in probability对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。
子列subsequence从一个数列里按顺序挑出无穷多项组成的新数列。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。