高等概率论逐页精讲

作业 1 Borel–Cantelli 引理、概率不等式与收敛定理›Borel–Cantelli 引理的应用

第 4 题 / 共 12 题解答原页 第 2 页证明题

独立伯努利序列:依概率收敛 ⇔ pₙ → 0,几乎必然收敛 ⇔ ∑ pₙ < ∞

Bernoulli sequences: in probability iff pₙ → 0, a.s. iff ∑ pₙ < ∞

解答原页第 2 页(本题所在部分)
解答原页第 2 页(本题部分)· 点击图片看整页

这道题在问什么

人话版一句话版

只取 0 和 1,取 1 的概率是 「依概率收敛到 0」只看每一项单独取 1 的概率,所以它等价于 「几乎必然收敛到 0」要求每条路径上只出现有限个 1,这由两个 Borel–Cantelli 引理精确判定: 时只有有限个 1(第一引理), 且独立时有无穷多个 1(第二引理)。 夹在两者之间:依概率收敛,却几乎必然不收敛。

  • 考点:依概率收敛的定义(第 3 讲 第 14 页 定义 10);几乎必然收敛与误差事件(第 3 讲 第 9 页 命题 B);两个 Borel–Cantelli 引理(第 3 讲 第 4 页、第 7 页)。
  • 这道题的意义:它给出「依概率收敛但不几乎必然收敛」的最简单的例子,也是小测 2 第 1 题 里的第二个反例。而且它说明:两种收敛的差距,恰好是「与「的差距。
  • 和其他题的关系:第 2 题、第 5 题 同样是「第一引理管有限次、第二引理(加独立)管无穷多次」。本题的独立性只在 (ii) 的一个方向上用到,例 4 说明去掉它会怎样。

先补基础

基础补课伯努利随机变量就是示性函数
  • 伯努利随机变量(Bernoulli random variable):只取 1 和 0 的随机变量,可以想成一枚「正面概率为 的硬币,正面记 1。
  • 记 则 时为 1,否则为 0。所以关于 的问题都可以换成关于事件 的问题。
  • 本题第 枚硬币的正面概率是 可以随 变化。例如 第 1 枚必出正面,第 2 枚一半一半,第 100 枚只有 1% 的机会出正面。
基础补课依概率收敛(第 3 讲 p14)

依概率(in probability),是说对每个

人话:对任何容忍度 「误差超过 的概率越来越小。它只看每个 单独的概率,不关心同一个 在不同 上的表现。例: 在 上均匀分布再除以 所以 依概率。

基础补课几乎必然收敛,以及 0-1 数列什么时候收敛到 0
  • 几乎必然:(第 3 讲 第 9 页 定义 6)。等价说法(同页命题 B):对每个
  • 只取 0、1 的数列 收敛到 0,当且仅当其中只有有限个 1。理由:若有无穷多个 1,则 无穷多次,不收敛;若只有有限个 1,最后一个 1 之后全是 0,当然收敛到 0。
  • 例: 不收敛;(第 4 项以后全是 0)收敛到 0。
基础补课两个 Borel–Cantelli 引理(回顾)
  • 第一引理(第 3 讲 第 4 页 定理 2):对任何事件列成立,不需要独立。
  • 第二引理(第 3 讲 第 7 页 定理 4): 相互独立且
  • 相互独立时,事件 相互独立(第 3 讲 第 6 页 补充定义, 是博雷尔集)。
基础补课级数:各项趋于 0 不等于和有限
  • 若 则 部分和 收敛,
  • 反过来不对:调和级数 虽然 部分和大约是 Python 算得 增长极慢但没有上限。
  • -级数:所以 有限,
  • 更细的分界:(用积分 比较)。

题目与原解答

课件原文题目
  1. Let be independent with and . Show that

(i) in probability if and only if , and

(ii) a.s. if and only if .

中文翻译
  1. 设 相互独立,证明:

(i) 依概率成立,当且仅当

(ii) 几乎必然成立,当且仅当

  • 题设的「independent」只在 (ii) 的「⇒」方向用到;(i) 和 (ii) 的「⇐」对任何相关结构都成立。
  • 结论 (ii) 里的「⇒」是说:几乎必然收敛 ⇒ 级数有限。通常证它的逆否命题:级数无穷 ⇒ 不几乎必然收敛。

原解答的思路(左栏):

  1. (i): 时 所以依概率收敛
  2. (ii):令 则 并注明「⇒」用了独立性。

结论都对,但写得太省:没有交代 的情形,没有说明「几乎必然收敛」和「为什么等价,也没有点明两个方向分别用哪个引理。见「原解答逐行对照」。

思路:怎么想到的

  1. 0-1 变量的误差事件只有一个。 只取 0、1,所以对 「就是「和 无关;对 它是空集。于是所有问题都归结为事件
  2. (i) 只看单个概率:依概率收敛就是
  3. (ii) 看「发生几次」:路径收敛到 0 ⟺ 只有有限个 1 ⟺ 于是几乎必然收敛 ⟺ 而这个概率正是 Borel–Cantelli 引理计算的对象:和有限时为 0,和无穷且独立时为 1。

完整解答

定理命题(独立伯努利序列的两种收敛)

设 相互独立,则

  1. 依概率 (不需要独立);
  2. 几乎必然 (「⇐」不需要独立)。

而且 只能是 0 或 1: 时为 1, 时为 0。

推导证明思路

先把误差事件 算出来: 时就是 时是空集。(i) 直接由定义得到。(ii) 先证 再用第一引理(⇐)和第二引理的逆否(⇒)。

预备:误差事件。 令 因为 只取 0、1:

  • 若 所以
  • 若 总成立,所以 概率为 0。

(i) 依概率收敛 ⇔ pₙ → 0

  • (⇐) 设 任给 若 若 所以对每个 都趋于 0,即 依概率。
  • (⇒) 设 依概率。在定义中取

整个过程只用了每个 自己的分布,没有用独立性。

(ii) 几乎必然收敛 ⇔ ∑ pₙ < ∞

第 1 步:收敛集就是「只有有限个 1」。 固定 数列 只取 0、1,由「先补基础」,它收敛到 0 当且仅当只有有限个 使 即 所以

第 2 步(⇐,不需要独立)。 设 即 由第一 Borel–Cantelli 引理,所以

第 3 步(⇒,用独立性)。 证逆否命题:设 相互独立,所以事件 相互独立;又 由第二 Borel–Cantelli 引理,所以 不几乎必然收敛到 0。

第 4 步:结论。 第 2、3 步合起来就是 (ii);顺便得到 只能是 1(级数有限)或 0(级数无穷)。

第 1 步的另一种写法(用命题 B):由第 3 讲 第 9 页 命题 B, a.s. ⟺ 对每个 由预备, 时事件是空集,自动成立; 时事件都是同一个 所以条件化为一句话:

原解答逐行对照

(i) For , .

想说的是: 时误差概率就是 所以「误差概率趋于 0」等价于「

易错点原解答的问题:(i) 漏了 ε ≥ 1,而且写法像循环论证
  • 依概率收敛要求每个 原解答只讨论了 应补一句: 时 概率恒为 0,自动趋于 0。
  • 「把要证的结论写在了等价号两边,读起来像「应写成: 依概率 对每个 (第一个等价用了 的情形自动成立,第二个等价用了

(ii) Let . Then, .

想说的是:用两个引理判定

易错点原解答的问题:ε 没有限定,也没说明 a.s. 收敛为什么等价于 P(Aₙ i.o.) = 0
  • 这里的 必须取在 里。若 等价式的右边永远成立,和 无关。
  • 原解答直接写「却没说明左边为什么等价于「 a.s.」。需要补:0-1 数列收敛到 0 ⟺ 只有有限个 1(完整解答第 1 步),或者用命题 B 并指出 对所有 是同一个事件。
  • 等价号的两个方向用的是不同的引理:「⇐」是第一引理(不需要独立),「⇒」是第二引理的逆否命题(需要独立)。应当分开写。

Note Note that () holds since 's are independent.

方向标注是对的:在「这个方向上,要用第二引理的逆否命题,所以需要独立。最好写全:「若 由独立性和第二 Borel–Cantelli 引理,

例子与数值验证

例 1:几种 pₙ 一览
依概率收敛到 0 几乎必然收敛到 0
否 否 否
是 是 否
是 是 否
( 是 是 否
( 是 有限 是 是
是 是 是

读表:几乎必然收敛的分界线落在 与 之间,非常精细;依概率收敛的分界线只是「趋于 0」。 发散得比调和级数还慢:Python 算得到 时部分和约 到 时也只有约 大致像 那样增长,但没有上限。

例 2:pₙ = 1/n,一条路径上的 1 越来越稀,但永不消失

Python 模拟一条路径,前 项中 的位置是

共 12 个(理论平均 个)。相邻两个 1 之间的间隔越来越长,可按第二引理,几乎每条路径上的 1 都有无穷多个。另一方面,任意固定的 都很小,这就是依概率收敛。

一个精确的计算:从第 项到第 项全是 0 的概率是 (相邻项约掉), 时趋于 0:再长的「全 0」都会被打断。

例 3:pₙ = 1/n²,最后一个 1 出现在哪里

从第 项(起全是 0 的概率:

所以「最后一个 1 的位置 的概率是 注意 第 1 项必为 1。Python 模拟 2 万条路径(每条看前 2000 项):最后一个 1 就是第 1 项的比例为 (理论 最后一个 1 在前 9 项的比例为 (理论

注意「最后一个 1」可以很晚:由上式,只是以 的速度变小。所以 2 万条路径里,平均约有 条路径的最后一个 1 落在第 2000 项之后,前 2000 项的模拟看不到它们(模拟中「看得见的」最晚一个 1 在第 1893 项,就是被这个观察窗口截住的)。尽管如此,每条路径都只有有限个 1,几乎必然收敛。

例 4(反例):去掉独立,(ii) 的「⇒」失败

设 在 上均匀,令

  • 边缘分布和例 2 完全一样:
  • 但几乎必然收敛到 0:对固定的 满足这个条件的 只有有限个(最后一个是 当 不是整数时)。例如 时,只有 是 1。所以每个 上
  • 证明坏在第 3 步:事件 一个套一个,不独立,第二引理用不上。
  • 对照小测 2 第 1 题 的打字机序列:它也是 (第 层的 项各为 却是每个 都碰到无穷多个 1。同样的边缘分布,可以「全收敛」也可以「全不收敛」:只知道每个 判断不了几乎必然收敛;独立性把联合结构定死了,才有本题的判别法。

拓展延伸

推广:独立序列几乎必然收敛到 0 的判别法

同样的论证对一般的独立随机变量成立:

「⇐」是第 3 讲 第 10 页 推论 7(偏差概率可求和),不需要独立;「⇒」:若某个 使级数发散,独立 + 第二引理给出 无穷多次(概率 1),不可能收敛到 0。本题的 0-1 变量是最简单的特例,因为它的误差事件不依赖

Lᵖ 收敛和子列
  • 所以对任何 在 中 依概率收敛。
  • 依概率收敛的序列一定有几乎必然收敛的子列(第 3 讲 第 16 页)。在 时可以直接看出来:取子列 由第一引理, a.s.。整个序列不收敛,但抽稀之后就收敛了。
0-1 律

本题的副产品「是 Kolmogorov 0-1 律的特例(这里作为已知结论介绍,见 Durrett《Probability: Theory and Examples》第 2.5 节):独立序列的尾事件(改动有限项不影响其是否发生的事件)概率只能是 0 或 1。 就是尾事件。0-1 律只告诉我们「是 0 或 1」,Borel–Cantelli 引理则告诉我们「到底是哪一个」。

常见疑问与易错点

易错点问:(i) 用到独立性了吗?

答:没有。依概率收敛只涉及每个 单独的概率 与 之间的关系无关。例 4 中的 不独立,(i) 照样成立。

易错点问:∑pₙ = ∞ 时,Xₙ 只是「不几乎必然收敛到 0」,还是「几乎必然不收敛」?

答:后者,而且更强:几乎每条路径上都有无穷多个 1。若再有 则 同样由第二引理,几乎每条路径上也有无穷多个 0,所以路径在 0、1 之间无穷次跳动,根本不收敛(到任何数)。

易错点问:为什么说两种收敛的差距就是「pₙ → 0」和「∑pₙ < ∞」的差距?

答:由本题,依概率收敛 ⟺ 几乎必然收敛 ⟺ 级数有限 ⇒ 各项趋于 0,所以几乎必然收敛 ⇒ 依概率收敛(与第 3 讲 第 14 页 命题 11 一致);反过来, 各项趋于 0 而级数发散,正好是依概率收敛而不几乎必然收敛。

易错点问:如果 pₙ 不单调(比如忽大忽小),结论还对吗?

答:对。证明里从没用到单调性。例如 ( 是完全平方数)、(其他 所以几乎必然收敛。

小结与自测

小结本题小结
  • 0-1 变量的误差事件: 时是 时是空集。
  • (i) 依概率收敛 ⟺ 不需要独立。
  • (ii) 收敛集 ⇒ 第一引理 ⇒ a.s. 收敛(不需要独立); + 独立 ⇒ 第二引理 ⇒
  • 去掉独立,(ii) 的「⇒」失败(
  • 原解答要补的地方: 的情形; 要限定在 「a.s. 收敛 ⟺ 的理由;两个方向分别用哪个引理。
自测

1. 独立, 依概率收敛到 0 吗?几乎必然呢?

点开看答案

依概率收敛:不几乎必然收敛:(-级数,由独立性和第二引理, 无穷多次(概率 1)。

2. 独立, 几乎必然收敛到 0 吗?记 为「从第 项起全是 0」, 在 时趋于多少?

点开看答案

几乎必然收敛到 0:(-级数,由第一引理,几乎每条路径只有有限个 1。 随 递增(从第 项起全是 0,从第 项起当然也全是 0),并起来是「只有有限个 1」,概率为 1。由从下连续(第 1 讲 第 13 页),

3. 设 在 上均匀,证明 a.s.,不管 是否有限。这和本题矛盾吗?

点开看答案

取 使 (概率 1)。所以 足够大时 此后 收敛到 0。不矛盾:这些 不独立( 递减时事件一个套一个),本题 (ii) 的「⇒」方向需要独立。

本页术语中英对照(按出现顺序)
中文English白话解释
依概率收敛convergence in probability对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
Borel–Cantelli 引理Borel–Cantelli lemma概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。
独立independence任意有限个事件同时发生的概率等于各自概率的乘积。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
当且仅当if and only if (iff)「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。
博雷尔 σ-代数Borel sigma-algebra由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。
部分和partial sum级数 a₁ + a₂ + … 的前 n 项之和 Sₙ = a₁ + … + aₙ;级数的值就是 Sₙ 在 n → ∞ 时的极限。
级数series无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。
空集empty set一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。
边缘分布marginal law随机向量中单个坐标的分布,例如 P(X ∈ A) = P((X, Y) ∈ A × ℝ)。
打字机序列typewriter sequence在 [0,1) 上从左到右一遍遍扫过、越来越窄的小区间的示性函数列:依概率收敛到 0,却在每一点都不收敛。
偏差概率deviation probabilityXₙ 和目标 X 相差超过 ε 的概率 P(|Xₙ − X| > ε)。它趋于 0 就是依概率收敛;对每个 ε 它都可求和时,由 Borel–Cantelli 引理可推出几乎必然收敛。
可求和summable非负数列的级数和有限:Σ aₙ < ∞。例如 Σ 1/n² 可求和,Σ 1/n 不可求和(和是 +∞)。
子列subsequence从一个数列里按顺序挑出无穷多项组成的新数列。
Kolmogorov 0-1 律Kolmogorov's zero–one law独立随机变量序列的尾事件(改动前面有限项不受影响的事件)概率只能是 0 或 1。
尾事件tail event改动任意有限个坐标都不影响是否发生的事件,例如「序列 ω₁, ω₂, … 收敛」。
从下连续continuity from below集合一层层变大(Eₙ ↑ E)时,测度也跟着收敛:μ(Eₙ) → μ(E)。