这道题在问什么
不管一列随机变量 多「野」(尾巴多重、彼此之间怎么相关都行),总能找到一列事先定好的正数 使 几乎必然成立。做法:把 取得足够大,使「 超过 的概率不超过 这些概率加起来有限,第一 Borel–Cantelli 引理说这种「超过」只发生有限次;此后一直有
- 考点:第一 Borel–Cantelli 引理(第 3 讲 第 4 页);「对每个 误差事件只发生有限次 ⟺ 几乎必然收敛」(第 3 讲 第 9 页 命题 B);单个随机变量的尾概率趋于 0(从上连续,第 1 讲 第 14 页)。
- 这道题的意义:几乎必然收敛到 0 本身很容易「造」出来,只要除数够大。真正有内容的问题是:除数事先规定好(例如 时还行不行?那是第 3 讲 第 11 页、第 13 页 和本作业 第 3 题 的主题。
- 和其他题的关系:第 2 题、第 4 题、第 5 题 用的都是同一个套路:把「几乎必然」的结论翻译成「某些事件只发生有限次 / 发生无穷多次」,再用 Borel–Cantelli 引理。本题只用第一引理,所以完全不需要独立性。
先补基础
本课的随机变量(random variable)指可测函数 (第 2 讲 第 4 页)。关键词是 对每个样本点 是一个有限实数,不会是 或
这一点是本题成立的根本原因。例如 也只是一个有限数,除以足够大的 就能变小。如果允许 以正概率取 结论就不对了(见「例子」一节的反例)。
设 是随机变量。对正整数 令
- 一个套一个: 推出 所以
- 交集是空集:若 在每个 里,则 对所有 成立, 只能是 与「实值」矛盾。所以
- 从上连续(第 1 讲 第 14 页,概率测度总质量为 1,可以用):
- 实数 也一样: 时 所以
结论:对任意 都存在 使 例: 时 要它 只需
部分和 趋于 1。这里只需要「它有限」。任何一个和有限的正数列(例如 都可以代替
题目与原解答
Let is the probability space, and is a measurable space. Questions are testing: Borel–Cantelli Lemma, probabilistic inequalities and convergence theorems.
- If is any sequence of random variables, there are constants so that a.s.
设 是概率空间, 是测度空间。本次作业考查:Borel–Cantelli 引理、概率不等式和收敛定理。
- 若 是任意一列随机变量,则存在常数 使得 几乎必然成立。
- 开头的说明句有两处小笔误:「Let … is」应为「Let … be」;带测度 的 应叫测度空间(measure space),「可测空间」(measurable space)只指 还没有测度。
- any sequence:任意的序列,不假设独立、不假设同分布、不假设有期望。
- constants: 必须是确定的数,不能随 变。若允许随机的 取 就行,题目就没意思了。
原解答的思路(左栏):
- 取 使
- 于是 由第一 Borel–Cantelli 引理, 只发生有限次;
- 对任意 取 把「误差 放进「误差 里,得到几乎必然收敛。
思路正确,但有笔误、方向写反的不等号和两处没交代的关键点,见「原解答逐行对照」。
思路:怎么想到的
- 把目标翻译成事件。要证 a.s.,由命题 B,只需对每个 证
- 选工具。证明「i.o. 的概率为 0」最省事的工具是第一 Borel–Cantelli 引理:只要概率之和有限,而且不要求独立,正适合「任意序列」。
- 我们手里只有 。 越大, 越小。麻烦在于 是任意的,而 只能选一次,不能依赖
- 诀窍:用趋于 0 的门槛 代替固定的 。如果能做到「从某项起 那么对任何 等 以后误差也 一个门槛同时管住了所有
- 于是只需 例如让第 项 这能做到,因为对固定的 (先补基础)。
- 最后顺手保证 :把 再放大。放大只会让 更小,不会破坏前面的任何东西。
完整解答
设 是 上任意一列实值随机变量。则存在确定的正数 满足 (从而 并且
不需要独立、同分布或任何矩条件。
对每个 单独选一个大数 使 令 第一 Borel–Cantelli 引理给出:几乎必然地,从某项起 即 夹逼得
第 1 步:选 固定 由「先补基础」,(所以可以取一个 使
注意 只依赖 自己的分布,与其他 无关。
第 2 步:定义 令
- 所以 而且
- 所以 (超过更高的门槛,必然超过更低的门槛)。由概率的单调性,
第 3 步:第一 Borel–Cantelli 引理。 令 因为 所以由第 2 步
由第一 Borel–Cantelli 引理(不需要 独立),
第 4 步:在好事件上夹逼。 令 则 取 存在 使所有 都有 即
右边 由夹逼原理,所以 后者的概率
第 4 步的另一种写法(与原解答对应):固定 取正整数 使 对 所以
「无穷多次」不受前面有限项影响,所以 概率为 0。 任意,由命题 B 得 a.s.
原解答逐行对照
第 1 句 Define s.t. .
意思是「选 使得 超过 的概率不超过 这正是完整解答的第 1、2 步。
- 句子里的 从来没有被定义,被「选取」的其实是 应写成:「对每个 取常数 使
- 这样的 为什么存在,原解答没有说。理由是 是实值的,(从上连续,见先补基础)。这正是全题唯一用到「随机变量」性质的地方,不能省。
- 写 说明作者没限定 的符号。应直接取 否则第 3 句里「就不成立。
第 2 句 Then, we have .
两边同除以正数 事件不变,概率也不变。
右边应为 若真是常数 下一句就不能用 Borel–Cantelli 引理了。
第 3 句 according to Borel–Cantelli Lemma, we have and .
「和有限」来自 不是来自 Borel–Cantelli 引理;「i.o. 概率为 0」才是引理的结论。这里用的是第一引理,不需要独立,最好写明。
题目要求 原解答只要求概率 这推不出 例如 时, 就满足条件,但不趋于 补救:取 例如完整解答里的 放大 只会让概率更小,不影响其他步骤。
第 4、5 句 We can choose s.t. . Then … .
想法是:把固定的容忍度 和已经控制住的门槛联系起来。
- 要让 (于是概率 需要 超过大门槛 才必然超过小门槛 原文写的 给出的是反方向的包含,不等号就错了。应为:取 使 。
- 第 3 句证明的是门槛随 变的事件 概率为 0,而这里用的是固定门槛 需要补一句: 时 所以 前一个 i.o. 事件包含在后一个里。更简单的做法是直接用 与 比较(完整解答第 4 步的另一种写法)。
- 最后从「每个 的 i.o. 概率为 0」到「几乎必然收敛」用的是第 3 讲 第 9 页 命题 B,可以注明。
例子与数值验证
要 取 于是
前几项:
「违规」次数:违规指 发生。 时 时 期望违规次数
从第 项起再也不违规的概率(各 独立,可以直接相乘):用 Python 算得: 时约 时约 时约
模拟(Python,20 万条路径,每条看前 60 项):平均违规次数 (理论 36.5% 的路径一次也不违规;「最后一次违规在第 1 项或以前」的比例为 与上面的理论值一致;20 万条路径里最晚的一次违规出现在第 20 项左右(这个最大值本身是随机的,换随机种子会在第 17–24 项之间波动;第 项违规的概率只有 第 25 项以后几乎不可能再见到)。几乎所有路径很快就进入 的区域,再也不出来。
服从标准柯西分布(不必独立),取 则 数值核对: 时 于是 增长得像 那样快,但定理照样成立。尾巴越重,需要的 越大,但永远存在。
- 允许取 :设 令 (在 上)、(在 上)。对任何正数 在 上 不趋于 0。证明坏在第 1 步: 对所有 成立。
- 只要求 (少了 :取 (常数),条件满足(概率为 0),可 这种选法只能保证 不能保证趋于 0。
拓展延伸
c_n 还可以取成单调递增
令 则 所以 仍然趋于 0;而 单调不减且 所以「存在单调递增到 的 也成立。一般原则:能用的 放大以后仍然能用。
同一个技巧:「收敛得够快」就能升级成几乎必然收敛
如果只要依概率收敛,条件更弱
依概率,是说对每个 (第 3 讲 第 14 页)。只要 就够了,不需要可求和。几乎必然收敛要求偏差概率「趋于 0 得足够快」,这正是两种收敛的差别。
常见疑问与易错点
答:题目要的是一列 同时对所有 管用。若对 选出不同的序列 最后还得把它们合并成一列。用随 变小的门槛 一次就同时管住了所有 省掉了合并这一步。
答:没有。只用了每个 单独的尾概率(第 1 步)和第一 Borel–Cantelli 引理(第 3 步),二者都不涉及 之间的关系。所以 只依赖每个 的分布:把序列换成另一列同样分布、但相关结构完全不同的序列,同一列 照样有效。例 1 计算「再也不违规的概率」时用乘积,是因为那里额外假设了独立,只影响这个具体数值,不影响定理。
答:不一定能取到等号。若 只取整数值, 是阶梯函数,可能跳过 这个值。所以要写「这总能做到。
答:若 就要求 题目把 写进结论,是为了说明「除数可以统一地趋于无穷」。反过来,任何可用的 都能换成 所以这个要求不增加难度,但必须在证明里说到。
小结与自测
- 结论:任意一列实值随机变量,都存在确定的 使 a.s.;不需要独立、同分布或矩条件。
- 构造:取 使 (实值 ⇒ 尾概率趋于 0),令
- 证明:第一 Borel–Cantelli ⇒ 几乎必然地最终 ⇒ 趋于 0。
- 原解答要改的地方: 应为 没保证 「应为「
1. 在 上均匀分布(是否独立无所谓)。按完整解答的方法写出一组 并说明这时其实每个 上都有
点开看答案
当 所以可取 (概率 由于 处处成立, 对每个 都成立,用不着 Borel–Cantelli。
2. 判断:「若 对所有 成立,则 a.s.」
点开看答案
错误。条件只给出「几乎必然地最终 即 反例:概率条件成立(概率为 0),但 必须像本题那样让门槛 相对 趋于 0。
3. 设 满足本题结论。证明 也满足,而且单调递增到
点开看答案
所以 后者几乎必然趋于 0,前者也是(夹逼)。单调不减;所以
| 中文 | English | 白话解释 |
|---|---|---|
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 几乎必然收敛 | almost sure convergence | 除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。 |
| Borel–Cantelli 引理 | Borel–Cantelli lemma | 概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 从上连续 | continuity from above | 集合一层层变小(Eₙ ↓ E)且 μ(E₁) < ∞ 时,μ(Eₙ) → μ(E)。 |
| 尾概率 | tail probability | 随机变量取到「很大的值」的概率,例如 P(X > t) 或 P(|X| ≥ t)。它随 t 增大而下降得越慢,分布的尾巴就越「厚」。 |
| 无穷多次 | infinitely often (i.o.) | 「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。 |
| 独立 | independence | 任意有限个事件同时发生的概率等于各自概率的乘积。 |
| 可测函数 | measurable function | 对每个 a,集合 {f > a} 都可测;这样的函数才能积分。 |
| 样本点 | sample point | 一个完整的结局 ω;每次试验恰好实现一个样本点。 |
| 空集 | empty set | 一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。 |
| 交集 | intersection | 同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。 |
| 概率测度 | probability measure | 总质量 P(Ω) = 1 的测度。 |
| 补集 | complement | 样本空间里不属于 A 的元素全体,记作 Aᶜ,对应「A 不发生」。 |
| 部分和 | partial sum | 级数 a₁ + a₂ + … 的前 n 项之和 Sₙ = a₁ + … + aₙ;级数的值就是 Sₙ 在 n → ∞ 时的极限。 |
| 概率空间 | probability space | 三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。 |
| 测度空间 | measure space | 三元组 (S, 𝓜, μ):空间、σ-代数、测度。 |
| 测度 | measure | 给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。 |
| 可测空间 | measurable space | 一个集合加上它上面的一个 σ-代数,例如 (Ω, 𝓕);还没有给出测度。 |
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| 独立同分布 | independent and identically distributed (i.i.d.) | 一列随机变量相互独立,并且分布都相同,例如反复独立地掷同一颗骰子。 |
| 单调递增 | nondecreasing | 后一项不小于前一项;单调有界的数列一定有极限。 |
| 偏差概率 | deviation probability | Xₙ 和目标 X 相差超过 ε 的概率 P(|Xₙ − X| > ε)。它趋于 0 就是依概率收敛;对每个 ε 它都可求和时,由 Borel–Cantelli 引理可推出几乎必然收敛。 |
| 可求和 | summable | 非负数列的级数和有限:Σ aₙ < ∞。例如 Σ 1/n² 可求和,Σ 1/n 不可求和(和是 +∞)。 |
| 依概率收敛 | convergence in probability | 对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。 |
| 子列 | subsequence | 从一个数列里按顺序挑出无穷多项组成的新数列。 |
| 函数 | function / map | f: A → B 给 A 中每个元素指定 B 中唯一一个元素。 |
