这道题在问什么
只取 0 和 1,取 1 的概率是 「依概率收敛到 0」只看每一项单独取 1 的概率,所以它等价于 「几乎必然收敛到 0」要求每条路径上只出现有限个 1,这由两个 Borel–Cantelli 引理精确判定: 时只有有限个 1(第一引理), 且独立时有无穷多个 1(第二引理)。 夹在两者之间:依概率收敛,却几乎必然不收敛。
- 考点:依概率收敛的定义(第 3 讲 第 14 页 定义 10);几乎必然收敛与误差事件(第 3 讲 第 9 页 命题 B);两个 Borel–Cantelli 引理(第 3 讲 第 4 页、第 7 页)。
- 这道题的意义:它给出「依概率收敛但不几乎必然收敛」的最简单的例子,也是小测 2 第 1 题 里的第二个反例。而且它说明:两种收敛的差距,恰好是「与「的差距。
- 和其他题的关系:第 2 题、第 5 题 同样是「第一引理管有限次、第二引理(加独立)管无穷多次」。本题的独立性只在 (ii) 的一个方向上用到,例 4 说明去掉它会怎样。
先补基础
- 伯努利随机变量(Bernoulli random variable):只取 1 和 0 的随机变量,可以想成一枚「正面概率为 的硬币,正面记 1。
- 记 则 时为 1,否则为 0。所以关于 的问题都可以换成关于事件 的问题。
- 本题第 枚硬币的正面概率是 可以随 变化。例如 第 1 枚必出正面,第 2 枚一半一半,第 100 枚只有 1% 的机会出正面。
依概率(in probability),是说对每个
人话:对任何容忍度 「误差超过 的概率越来越小。它只看每个 单独的概率,不关心同一个 在不同 上的表现。例: 在 上均匀分布再除以 所以 依概率。
- 几乎必然:(第 3 讲 第 9 页 定义 6)。等价说法(同页命题 B):对每个
- 只取 0、1 的数列 收敛到 0,当且仅当其中只有有限个 1。理由:若有无穷多个 1,则 无穷多次,不收敛;若只有有限个 1,最后一个 1 之后全是 0,当然收敛到 0。
- 例: 不收敛;(第 4 项以后全是 0)收敛到 0。
- 若 则 部分和 收敛,
- 反过来不对:调和级数 虽然 部分和大约是 Python 算得 增长极慢但没有上限。
- -级数:所以 有限,
- 更细的分界:(用积分 比较)。
题目与原解答
- Let be independent with and . Show that
(i) in probability if and only if , and
(ii) a.s. if and only if .
- 设 相互独立,证明:
(i) 依概率成立,当且仅当
(ii) 几乎必然成立,当且仅当
- 题设的「independent」只在 (ii) 的「⇒」方向用到;(i) 和 (ii) 的「⇐」对任何相关结构都成立。
- 结论 (ii) 里的「⇒」是说:几乎必然收敛 ⇒ 级数有限。通常证它的逆否命题:级数无穷 ⇒ 不几乎必然收敛。
原解答的思路(左栏):
- (i): 时 所以依概率收敛
- (ii):令 则 并注明「⇒」用了独立性。
结论都对,但写得太省:没有交代 的情形,没有说明「几乎必然收敛」和「为什么等价,也没有点明两个方向分别用哪个引理。见「原解答逐行对照」。
思路:怎么想到的
- 0-1 变量的误差事件只有一个。 只取 0、1,所以对 「就是「和 无关;对 它是空集。于是所有问题都归结为事件
- (i) 只看单个概率:依概率收敛就是
- (ii) 看「发生几次」:路径收敛到 0 ⟺ 只有有限个 1 ⟺ 于是几乎必然收敛 ⟺ 而这个概率正是 Borel–Cantelli 引理计算的对象:和有限时为 0,和无穷且独立时为 1。
完整解答
设 相互独立,则
- 依概率 (不需要独立);
- 几乎必然 (「⇐」不需要独立)。
而且 只能是 0 或 1: 时为 1, 时为 0。
先把误差事件 算出来: 时就是 时是空集。(i) 直接由定义得到。(ii) 先证 再用第一引理(⇐)和第二引理的逆否(⇒)。
预备:误差事件。 令 因为 只取 0、1:
- 若 所以
- 若 总成立,所以 概率为 0。
(i) 依概率收敛 ⇔ pₙ → 0
- (⇐) 设 任给 若 若 所以对每个 都趋于 0,即 依概率。
- (⇒) 设 依概率。在定义中取
整个过程只用了每个 自己的分布,没有用独立性。
(ii) 几乎必然收敛 ⇔ ∑ pₙ < ∞
第 1 步:收敛集就是「只有有限个 1」。 固定 数列 只取 0、1,由「先补基础」,它收敛到 0 当且仅当只有有限个 使 即 所以
第 2 步(⇐,不需要独立)。 设 即 由第一 Borel–Cantelli 引理,所以
第 3 步(⇒,用独立性)。 证逆否命题:设 相互独立,所以事件 相互独立;又 由第二 Borel–Cantelli 引理,所以 不几乎必然收敛到 0。
第 4 步:结论。 第 2、3 步合起来就是 (ii);顺便得到 只能是 1(级数有限)或 0(级数无穷)。
第 1 步的另一种写法(用命题 B):由第 3 讲 第 9 页 命题 B, a.s. ⟺ 对每个 由预备, 时事件是空集,自动成立; 时事件都是同一个 所以条件化为一句话:
原解答逐行对照
(i) For , .
想说的是: 时误差概率就是 所以「误差概率趋于 0」等价于「
- 依概率收敛要求每个 原解答只讨论了 应补一句: 时 概率恒为 0,自动趋于 0。
- 「把要证的结论写在了等价号两边,读起来像「应写成: 依概率 对每个 (第一个等价用了 的情形自动成立,第二个等价用了
(ii) Let . Then, .
想说的是:用两个引理判定
- 这里的 必须取在 里。若 等价式的右边永远成立,和 无关。
- 原解答直接写「却没说明左边为什么等价于「 a.s.」。需要补:0-1 数列收敛到 0 ⟺ 只有有限个 1(完整解答第 1 步),或者用命题 B 并指出 对所有 是同一个事件。
- 等价号的两个方向用的是不同的引理:「⇐」是第一引理(不需要独立),「⇒」是第二引理的逆否命题(需要独立)。应当分开写。
Note Note that () holds since 's are independent.
方向标注是对的:在「这个方向上,要用第二引理的逆否命题,所以需要独立。最好写全:「若 由独立性和第二 Borel–Cantelli 引理,
例子与数值验证
| 依概率收敛到 0 | 几乎必然收敛到 0 | |||
|---|---|---|---|---|
| 否 | 否 | 否 | ||
| 是 | 是 | 否 | ||
| 是 | 是 | 否 | ||
| ( | 是 | 是 | 否 | |
| ( | 是 | 有限 | 是 | 是 |
| 是 | 是 | 是 |
读表:几乎必然收敛的分界线落在 与 之间,非常精细;依概率收敛的分界线只是「趋于 0」。 发散得比调和级数还慢:Python 算得到 时部分和约 到 时也只有约 大致像 那样增长,但没有上限。
Python 模拟一条路径,前 项中 的位置是
共 12 个(理论平均 个)。相邻两个 1 之间的间隔越来越长,可按第二引理,几乎每条路径上的 1 都有无穷多个。另一方面,任意固定的 都很小,这就是依概率收敛。
一个精确的计算:从第 项到第 项全是 0 的概率是 (相邻项约掉), 时趋于 0:再长的「全 0」都会被打断。
从第 项(起全是 0 的概率:
所以「最后一个 1 的位置 的概率是 注意 第 1 项必为 1。Python 模拟 2 万条路径(每条看前 2000 项):最后一个 1 就是第 1 项的比例为 (理论 最后一个 1 在前 9 项的比例为 (理论
注意「最后一个 1」可以很晚:由上式,只是以 的速度变小。所以 2 万条路径里,平均约有 条路径的最后一个 1 落在第 2000 项之后,前 2000 项的模拟看不到它们(模拟中「看得见的」最晚一个 1 在第 1893 项,就是被这个观察窗口截住的)。尽管如此,每条路径都只有有限个 1,几乎必然收敛。
设 在 上均匀,令
- 边缘分布和例 2 完全一样:
- 但几乎必然收敛到 0:对固定的 满足这个条件的 只有有限个(最后一个是 当 不是整数时)。例如 时,只有 是 1。所以每个 上
- 证明坏在第 3 步:事件 一个套一个,不独立,第二引理用不上。
- 对照小测 2 第 1 题 的打字机序列:它也是 (第 层的 项各为 却是每个 都碰到无穷多个 1。同样的边缘分布,可以「全收敛」也可以「全不收敛」:只知道每个 判断不了几乎必然收敛;独立性把联合结构定死了,才有本题的判别法。
拓展延伸
推广:独立序列几乎必然收敛到 0 的判别法
同样的论证对一般的独立随机变量成立:
「⇐」是第 3 讲 第 10 页 推论 7(偏差概率可求和),不需要独立;「⇒」:若某个 使级数发散,独立 + 第二引理给出 无穷多次(概率 1),不可能收敛到 0。本题的 0-1 变量是最简单的特例,因为它的误差事件不依赖
Lᵖ 收敛和子列
- 所以对任何 在 中 依概率收敛。
- 依概率收敛的序列一定有几乎必然收敛的子列(第 3 讲 第 16 页)。在 时可以直接看出来:取子列 由第一引理, a.s.。整个序列不收敛,但抽稀之后就收敛了。
0-1 律
本题的副产品「是 Kolmogorov 0-1 律的特例(这里作为已知结论介绍,见 Durrett《Probability: Theory and Examples》第 2.5 节):独立序列的尾事件(改动有限项不影响其是否发生的事件)概率只能是 0 或 1。 就是尾事件。0-1 律只告诉我们「是 0 或 1」,Borel–Cantelli 引理则告诉我们「到底是哪一个」。
常见疑问与易错点
答:没有。依概率收敛只涉及每个 单独的概率 与 之间的关系无关。例 4 中的 不独立,(i) 照样成立。
答:后者,而且更强:几乎每条路径上都有无穷多个 1。若再有 则 同样由第二引理,几乎每条路径上也有无穷多个 0,所以路径在 0、1 之间无穷次跳动,根本不收敛(到任何数)。
答:由本题,依概率收敛 ⟺ 几乎必然收敛 ⟺ 级数有限 ⇒ 各项趋于 0,所以几乎必然收敛 ⇒ 依概率收敛(与第 3 讲 第 14 页 命题 11 一致);反过来, 各项趋于 0 而级数发散,正好是依概率收敛而不几乎必然收敛。
答:对。证明里从没用到单调性。例如 ( 是完全平方数)、(其他 所以几乎必然收敛。
小结与自测
- 0-1 变量的误差事件: 时是 时是空集。
- (i) 依概率收敛 ⟺ 不需要独立。
- (ii) 收敛集 ⇒ 第一引理 ⇒ a.s. 收敛(不需要独立); + 独立 ⇒ 第二引理 ⇒
- 去掉独立,(ii) 的「⇒」失败(
- 原解答要补的地方: 的情形; 要限定在 「a.s. 收敛 ⟺ 的理由;两个方向分别用哪个引理。
1. 独立, 依概率收敛到 0 吗?几乎必然呢?
点开看答案
依概率收敛:不几乎必然收敛:(-级数,由独立性和第二引理, 无穷多次(概率 1)。
2. 独立, 几乎必然收敛到 0 吗?记 为「从第 项起全是 0」, 在 时趋于多少?
点开看答案
几乎必然收敛到 0:(-级数,由第一引理,几乎每条路径只有有限个 1。 随 递增(从第 项起全是 0,从第 项起当然也全是 0),并起来是「只有有限个 1」,概率为 1。由从下连续(第 1 讲 第 13 页),
3. 设 在 上均匀,证明 a.s.,不管 是否有限。这和本题矛盾吗?
点开看答案
取 使 (概率 1)。所以 足够大时 此后 收敛到 0。不矛盾:这些 不独立( 递减时事件一个套一个),本题 (ii) 的「⇒」方向需要独立。
| 中文 | English | 白话解释 |
|---|---|---|
| 依概率收敛 | convergence in probability | 对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。 |
| 几乎必然收敛 | almost sure convergence | 除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。 |
| Borel–Cantelli 引理 | Borel–Cantelli lemma | 概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。 |
| 独立 | independence | 任意有限个事件同时发生的概率等于各自概率的乘积。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 无穷多次 | infinitely often (i.o.) | 「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。 |
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| 当且仅当 | if and only if (iff) | 「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。 |
| 博雷尔 σ-代数 | Borel sigma-algebra | 由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。 |
| 部分和 | partial sum | 级数 a₁ + a₂ + … 的前 n 项之和 Sₙ = a₁ + … + aₙ;级数的值就是 Sₙ 在 n → ∞ 时的极限。 |
| 级数 | series | 无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。 |
| 空集 | empty set | 一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。 |
| 边缘分布 | marginal law | 随机向量中单个坐标的分布,例如 P(X ∈ A) = P((X, Y) ∈ A × ℝ)。 |
| 打字机序列 | typewriter sequence | 在 [0,1) 上从左到右一遍遍扫过、越来越窄的小区间的示性函数列:依概率收敛到 0,却在每一点都不收敛。 |
| 偏差概率 | deviation probability | Xₙ 和目标 X 相差超过 ε 的概率 P(|Xₙ − X| > ε)。它趋于 0 就是依概率收敛;对每个 ε 它都可求和时,由 Borel–Cantelli 引理可推出几乎必然收敛。 |
| 可求和 | summable | 非负数列的级数和有限:Σ aₙ < ∞。例如 Σ 1/n² 可求和,Σ 1/n 不可求和(和是 +∞)。 |
| 子列 | subsequence | 从一个数列里按顺序挑出无穷多项组成的新数列。 |
| Kolmogorov 0-1 律 | Kolmogorov's zero–one law | 独立随机变量序列的尾事件(改动前面有限项不受影响的事件)概率只能是 0 或 1。 |
| 尾事件 | tail event | 改动任意有限个坐标都不影响是否发生的事件,例如「序列 ω₁, ω₂, … 收敛」。 |
| 从下连续 | continuity from below | 集合一层层变大(Eₙ ↑ E)时,测度也跟着收敛:μ(Eₙ) → μ(E)。 |
