高等概率论逐页精讲

第 3 讲 Borel–Cantelli、收敛与 Radon–Nikodym›第 1 部分 Borel–Cantelli:事件的重复发生

PDF 第 4 / 47 页幻灯片 4/49定理

第一 Borel–Cantelli 引理:概率之和有限,就只发生有限次

Borel–Cantelli I

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

如果一列事件的概率加起来是有限数,那么以概率 1,这些事件只发生有限次:不需要任何独立性。

上一页(第 3 页)把「 发生无穷多次」写成了事件 这一页给出计算它的概率的第一个工具,也是整讲用得最多的工具之一。

  • 它回答了 目录页 第一个问题的一半:什么时候事件只发生有限次。
  • 另一半「什么时候发生无穷多次」要等到 第 7 页 的第二 Borel–Cantelli 引理,那里需要独立性。
  • 第 2 部分会把它用到误差事件 上,得到「几乎必然收敛」的判别法(第 10 页)。

先补基础

基础补课级数收敛与「尾巴趋于 0」
  • (表示前 项和 趋于一个有限数
  • 尾巴:从第 项加到无穷,因为 所以尾巴
  • 例:尾巴 时约为
  • 反例:(调和级数,第 5 页 证明),它的尾巴永远是 不会变小。
基础补课概率的单调性与可数次可加性
  • 单调性:若 则 (小的集合概率不会更大。)
  • 可数次可加性(countable subadditivity):对任意一列事件 (可以重叠),

直觉:重叠部分在右边被重复计算了,所以右边只会更大。证明见下面「推导」一节。

  • 例:掷骰子,
基础补课几乎必然(almost surely, a.s.)
  • 一个性质「几乎必然成立」,指使它成立的样本点组成的事件概率为 1,也就是说不成立的那部分概率为 0。
  • 例:在 上随机取点 「几乎必然成立,因为 它并不是对每个 都成立。
基础补课Markov 不等式(第 2 讲)

对非负随机变量 和常数 (第 29 页)。理由: 处处成立( 时左边是 否则左边是 两边取期望即得

课件原文逐句精读

课件原文Borel–Cantelli I

Theorem 2 (First Borel–Cantelli lemma)

中文翻译

定理 2(第一 Borel–Cantelli 引理)

  • Theorem 2:定理 2,编号接着上一页的定义 1。
  • lemma(引理):本意是「辅助性的小定理」。Borel–Cantelli 引理虽然证明很短,却是概率论里最常用的工具之一,所以叫「引理」只是历史习惯。
  • First(第一):还有一个「第二」引理在 第 7 页。两者方向相反:第一个给出「只发生有限次」,第二个给出「发生无穷多次」。
  • 课件在标题之下全部留白,定理的陈述和证明由下面补全。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

Theorem 2 (First Borel–Cantelli lemma)|定理 2(第一 Borel–Cantelli 引理)

定理 2(第一 Borel–Cantelli 引理)

设 是任意一列事件。若

则

等价地说:以概率 1,只有有限个 发生;即 也即计数 满足

逐个看条件和结论:

  • 「任意一列事件」:没有要求独立、没有要求互不相交,事件之间怎样相关都可以。这是这个引理好用的根本原因。
  • :概率之和有限。它要求 趋于 0 得足够快,例如 可以, 不行(调和级数发散)。
  • 结论 :「发生无穷多次」这个事件概率为 0。换成补集(第 3 页 性质 1),「从某一步起再也不发生」的概率为 1。
  • 注意结论是「几乎必然」:可能存在个别样本点让 发生无穷多次,但这些样本点合起来概率为 0。
人话版直觉:概率之和就是「平均发生次数」

把每个事件 想成一盏灯, 发生就亮一次。 的期望是 所以所有灯的平均亮灯总次数正是 (下面证明二第 2 步会严格证明)。

  • 平均总次数是有限数,就不可能以正的概率亮无穷多次;否则这部分样本点会把平均值拉成无穷大。
  • 「发生无穷多次」只取决于尾巴:扔掉前面任意有限个事件,一个样本点发生的次数是否无穷不会改变。所以证明一只盯着尾巴 并让
  • 在第 2 部分, 会是「第 步误差超过 第一引理说:只要这些出错概率之和有限,出错就以概率 1 只有有限次,也就是误差最终一直不超过 (第 10 页)。

补写的证明一:用「从第 m 个起的并集」夹逼

推导证明思路

「无穷多次」这个集合被每一个「从第 个起至少发生一个」的集合 包住; 的概率不超过概率之和的尾巴,而收敛级数的尾巴趋于 0。

记

  1. 包含:对每个 都成立。理由:一族集合的交,包含在其中每一个集合里。
  2. 单调性:由第 1 步,
  3. 可数次可加性:
  4. 尾巴趋于 0:(因为 有限。
  5. 夹逼:第 2、3 步合起来,对每个 都有

左边的 是一个不依赖 的固定数,它不超过一列趋于 0 的数中的每一个,所以只能等于 0。(若它等于某个 取 大到尾巴小于 就矛盾了。)

另一种说法: 随 增大而变小(它们的交就是 由从上连续(第 14 页,概率测度总质量为 1,是有限的),

补写的证明二:计数的期望有限

推导证明思路

令 为发生的事件个数。用 MCT 算出 期望有限的非负随机变量几乎必然有限,所以 a.s.,也就是只发生有限次。

  1. 部分和:令 (前 个事件里发生了几个)。由期望的线性和 得
  2. 单调收敛:每一项 所以 随 递增,且 由 MCT(第 36 页),
  1. 期望有限 ⇒ 几乎必然有限:对每个正整数 由 Markov 不等式,

右边在 时趋于 0,左边不依赖 所以 4. 翻译回事件:第 3 页 的计数刻画说 所以

补充两种证明各有什么好处

证明一只用到概率的单调性和可数次可加性,最基本。证明二多给了一个信息:平均发生次数 还能用 Markov 不等式估计「发生很多次」的概率,比如 下一页(第 5 页)会看到:证明二里「只是 的充分条件,不是必要条件。

例子

例 1:直接验证,并把证明一的界算成数字

取 为长度。令 则

条件:理由:对 右边相加时中间项互相抵消(「裂项相消」),所以

取 得

证明一的数值:取 得 取 得 越来越小,所以只能是 0。

直接验证:固定 ⟺ ⟺ 满足它的正整数 只有有限个,所以 ( 表示不超过 的最大整数)。比如 时 时 每个 上都只发生有限次,与定理一致。

例 2:事件之间怎样相关都可以

一台机器第 天出故障的概率是 各天的故障之间可能有复杂的关联(例如前一天坏了,第二天更容易坏),我们一概不知道。

  • 条件:
  • 结论:以概率 1,机器只出有限次故障。
  • 证明二还告诉我们:平均故障次数 由 Markov 不等式,

这里完全没有用到各天是否独立。

例 3(反例):概率之和无穷时,引理什么也不说

取任意事件 令 对所有 成立(同一个事件重复写无穷多次)。

  • 条件不满足。
  • 若 它属于每一个 发生无穷多次;若 一次也不发生。所以 既不是 0 也不是 1。

这说明「和有限」这个条件不能去掉;也说明没有独立性时,和为无穷也推不出「概率为 1」。

推导:一步一步来

可数次可加性的证明。 设 把它们「去重」:

  1. 是从 里挖掉一部分得到的。
  2. 两两不交:若 已经挖掉了 所以
  3. 任取 设 是第一个包含 的 的下标,则 反过来由第 1 步,
  4. 于是

第二个等号是可数可加性( 两两不交,第 12 页),不等号是单调性(

一个反方向的下界: 它说明:想要 至少得有

  1. 对每个 和每个 由单调性 对 取上确界,
  2. 递减、交为 由从上连续(第 14 页),
  3. 右边 在 时的极限,按定义就是 (第 40 页)。第 1 步的不等式对每个 成立,取极限后仍成立,得到结论。

例:例 3 中 而 下界恰好取到;第 3 页 的例 2 中下界是 实际值是 1。所以若 对无穷多个 成立,则 一定不是 0。

动手试一试动手试一试:概率之和有限,正面只出现有限次

把硬币选成「正面概率越来越小」:第 次正面的概率是 而 多点几次「重新抛一遍」,你会看到正面总在前面几次出现,之后就再也不出现——这正是第一 Borel–Cantelli 引理:

常见疑问与易错点

易错点问:第一 Borel–Cantelli 引理需要事件独立吗?

答:不需要。两种证明里都只用了单调性、可数次可加性(或 MCT 与 Markov 不等式),从头到尾没有用到事件之间的关系。这正是它比第二引理(第 7 页,需要独立)好用的地方。

易错点问:反过来,P(A_n i.o.) = 0 能推出 ∑P(A_n) < ∞ 吗?

答:不能。第 5 页 给出反例:每个样本点上都只发生有限次,但

易错点问:「以概率 1 只发生有限次」是不是说存在一个固定的上限,比如最多 10 次?

答:不是。它只说每个(几乎每个)样本点上发生的次数 是有限数,但这个有限数可以因 而异、可以任意大。例 1 里 越靠近 0, 越大,没有统一的上限。

易错点问:P(A_n i.o.) = 0,是不是 {A_n i.o.} 就是空集?

答:不一定。概率为 0 的集合可以非空。例如在 上令 点 属于所有 发生无穷多次;但 的长度是 0。定理只保证「坏的样本点」合起来概率为 0。

小结与自测

小结本页小结
  • 第一 Borel–Cantelli 引理:即以概率 1 只发生有限次。
  • 不需要独立性,事件之间怎样相关都行。
  • 证明一:
  • 证明二:(MCT),期望有限的非负随机变量几乎必然有限。
  • 逆命题不成立;和为无穷时第一引理不给任何结论。
自测

1. 设 事件之间的关系未知。能否断定以概率 1 只有有限个 发生?

点开看答案

能。(指数大于 1 的 -级数收敛),由第一 Borel–Cantelli 引理,不需要知道事件是否独立。

2. 在例 2 中,平均故障次数是多少?用 Markov 不等式估计「故障至少 4 次」的概率上界。

点开看答案

3. 填空:证明一的关键包含关系是 ______,关键不等式是 ______。

点开看答案

(对每个 (可数次可加性)。

本页术语中英对照(按出现顺序)
中文English白话解释
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
独立independence任意有限个事件同时发生的概率等于各自概率的乘积。
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
Borel–Cantelli 引理Borel–Cantelli lemma概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
级数series无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。
集合set把一些对象放在一起当成一个整体,例如 {1,2,3}。
次可加性subadditivity并集的测度不超过各部分测度之和:μ(A ∪ B) ≤ μ(A) + μ(B)。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
样本点sample point一个完整的结局 ω;每次试验恰好实现一个样本点。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
两两不交pairwise disjoint一列集合中任意两个都没有公共元素,对应「任意两件事不会同时发生」。
补集complement样本空间里不属于 A 的元素全体,记作 Aᶜ,对应「A 不发生」。
从上连续continuity from above集合一层层变小(Eₙ ↓ E)且 μ(E₁) < ∞ 时,μ(Eₙ) → μ(E)。
概率测度probability measure总质量 P(Ω) = 1 的测度。
单调收敛定理monotone convergence theorem (MCT)非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。
部分和partial sum级数 a₁ + a₂ + … 的前 n 项之和 Sₙ = a₁ + … + aₙ;级数的值就是 Sₙ 在 n → ∞ 时的极限。
Markov 不等式Markov's inequalityX ≥ 0 时 P(X ≥ t) ≤ E X / t:期望小,取大值的概率就小。
可数可加性countable additivity两两不交的可数个集合,并集的测度等于各自测度之和。
下界lower bound数集 A 的下界是一个数 m,A 里每个数都 ≥ m。例如 0 和 −3 都是 (0,1] 的下界;所有下界中最大的那个叫下确界。
上确界supremum (sup)最小的上界。最大值不一定存在,但有上界的实数集一定有上确界。
上界upper bound数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。