高等概率论逐页精讲

第 3 讲 Borel–Cantelli、收敛与 Radon–Nikodym›第 2 部分 随机变量的收敛:误差与子列

PDF 第 9 / 47 页幻灯片 9/49定义

几乎必然收敛:把「收敛」翻译成误差事件

Almost-sure convergence and error events

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

几乎必然,是说「在其上 的样本点」合起来概率为 1。把极限的定义逐字翻译成集合运算,就得到一个非常好用的等价说法:对每个 误差事件 以概率 1 只发生有限次。

这是第 2 部分「随机变量的收敛:误差与子列」的第一页,它完成了 目录页 所说的接口:把第 1 部分关于事件的结论,用到误差事件 上。

  • 上一部分的主角是「事件发生无穷多次」
  • 这一页说明:随机变量不收敛,恰好就是某个误差事件发生了无穷多次;
  • 于是下一页(第 10 页)马上可以用第一 Borel–Cantelli 引理得到几乎必然收敛的判别法。

先补基础

基础补课数列极限的精确定义

实数序列 收敛到 记作 定义为:

读法:你随便给一个容忍度 我都能找到一个时刻 从那以后误差再也不超过

  • 例:给 取 给 取 一般地取 即可。
  • 反例: 不收敛到任何 取 若 所有奇数项 与 的距离至少是 1;若 所有偶数项 与 的距离大于 1。无论从哪里开始,都有项的误差超过
  • 用量词写:三个量词,正好对应三层集合运算(下面会用到)。
基础补课只用 ε = 1/k 就够了

上面的定义要求「对每个 这有不可数多个 但它等价于只要求「对每个

  • 一方面, 也是正数,所以前者推出后者;
  • 另一方面,任给 总有正整数 使 (取 若从某时刻起误差 那误差当然也

把不可数多个条件换成可数多个,是为了能用可数次并、交和可数次可加性。

基础补课随机变量序列在一个 ω 上就是一个数列

随机变量是函数 (第 4 页)。固定一个样本点 , 就是一串普通的实数,可以问它收不收敛到 不同的 上答案可能不同,于是得到一个集合:

课件原文逐句精读

课件原文Almost-sure convergence and error events

Throughout this section, and are real-valued random variables on .

Definition 6 (Almost-sure convergence)

中文翻译

在本节中, 和 都是概率空间 上的实值随机变量。

定义 6(几乎必然收敛)

  • Throughout this section:「在本节(第 2 部分)中始终如此」。后面 第 10 页–第 18 页 的 都满足这里的设定。
  • real-valued(实值):每个 都是有限的实数,不取 这保证误差 总是一个有意义的有限数(不会出现
  • random variables on :所有随机变量定义在同一个概率空间上。这一点很重要:要比较 和 它们必须读的是同一个
  • Definition 6 (Almost-sure convergence):定义 6,几乎必然收敛。蓝条标题里还有 error events(误差事件),说明这一页还要用误差事件刻画这种收敛。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

Definition 6 (Almost-sure convergence)|定义 6(几乎必然收敛)

定义 6(几乎必然收敛)

称 几乎必然收敛(converges almost surely)到 记作 a.s. 或 如果

也称「以概率 1 收敛」(with probability one)。

  • 这是「逐点收敛」的概率版本:在几乎每一个样本点 上,数列 都收敛到
  • 允许有例外的样本点(在那里不收敛,或者收敛到别的数),但例外点合起来概率必须为 0。
  • 对照第 1 讲的「几乎处处」(a.e.,第 43 页):几乎必然就是概率测度下的几乎处处。
人话版:一个个平行世界

把每个样本点 想成一个「平行世界」。在世界 里,我们看到一整串数 和一个目标值

  • 画一条以 为中心、半宽为 的「管子」。在世界 里收敛,意思是:不管管子多细,这串数跳出管子的次数都是有限的,最后一次跳出之后就永远待在管子里。
  • 几乎必然收敛:几乎所有世界(概率为 1 的那些)都是这样。不同世界里「最后一次跳出」的时刻可以不同,没有统一的时刻表。
  • 下面的命题 B 就是把「跳出管子的次数有限」写成「误差事件只发生有限次」。

补写:用误差事件写出收敛集

命题 A(收敛集的误差事件表示)

取补集:

特别地,所以定义 6 里的概率是有意义的。

怎么读:三层集合运算对应极限定义的三个量词。

极限定义里的话 集合运算
对每个容忍度 (交 ↔ 对所有)
存在一个时刻 (并 ↔ 存在)
此后所有 误差都 (交 ↔ 对所有)

中间两层 正是 第 3 页 的「最终总是」(ev.)。所以一句话:收敛 = 对每个容忍度,误差最终总是在容忍度之内;不收敛 = 存在某个容忍度,误差超出它无穷多次。

补写:几乎必然收敛的误差事件判别

定理命题 B(几乎必然收敛 ⟺ 每个误差事件只发生有限次)
推导证明

(⇒) 设 固定

  1. 若 按极限定义(用这个 存在 使所有 都有 也就是误差超过 的情况只可能出现在 只有有限次。所以
  2. 这说明 由单调性,它的概率

(⇐) 设对每个 都有

  1. 特别地,对 (也成立。
  2. 由命题 A 和可数次可加性(第 4 页),
  1. 所以

要点:(⇐)里必须先把「每个 换成可数多个 才能用可数次可加性。如果直接对不可数多个 取并,可数次可加性就用不上了。

例子

例 1:几乎必然收敛,但不是处处收敛

在 上令

  • 若 例如 时
  • 若 不收敛到 0。

所以 a.s.。例外集 长度为 0。

用误差事件验证命题 B:取 对 最终小于 只发生有限次;只有 发生无穷多次。所以 概率为 0。

例 2:独立的「偶尔亮一下」不收敛到 0

设 相互独立,令 ( 发生时取 1,否则取 0)。 a.s. 吗?

  • 取
  • 由第二 Borel–Cantelli 引理(第 7 页),
  • 命题 B 的条件在 处失败,所以 不几乎必然收敛到 0。

更进一步: 也相互独立(第 6 页 命题 A),所以 几乎每条路径上 既无穷多次取 1、又无穷多次取 0,根本不收敛。

例 3:同样的概率,嵌套的事件却收敛

第 5 页 的 (在 上),令 对每个 当 时 所以 处处成立。

和例 2 对比:两者每一步都有 单看每个 的分布完全一样,几乎必然收敛与否却截然不同。几乎必然收敛不只取决于每个 的分布,还取决于它们在同一个 上怎样关联。

推导:一步一步来

命题 A 的证明。 固定 记 (都是有限实数)。

  1. 由基础补课, ⟺ 对每个 存在 使对所有
  2. 「对所有 ⟺ (交 ↔ 对所有)。
  3. 「存在 使……」⟺ (并 ↔ 存在)。
  4. 「对每个 ⟺ (交 ↔ 对所有)。
  5. 补集:由德摩根律,外层交变并;中间 的补是 (第 3 页 性质 1),而

可测性。 是随机变量(可测函数的差仍可测,这是测度论的标准结论,这里当作已知),所以 再经过可数次交、并,仍在 里(第 9 页)。

常见疑问与易错点

易错点问:几乎必然收敛和处处收敛有什么区别?为什么要允许例外?

答:处处收敛要求每一个 上都收敛;几乎必然收敛允许一个概率为 0 的例外集。概率为 0 的集合对任何概率、期望都没有影响,要求处处收敛既没有必要,也常常做不到(例 1 中的 概率论里几乎所有「收敛」结论都是几乎必然意义下的。

易错点问:误差事件里用「> ε」还是「≥ ε」有关系吗?

答:没有关系。对每个 用「和对每个 用「是等价的,因为 而 也是一个正数。极限定义里的「和「同样可以互换。

易错点问:几乎必然的极限是唯一的吗?

答:在「几乎必然相等」的意义下唯一。若 a.s. 且 a.s.,则在两个收敛集的交集上(概率仍为 1),实数列的极限唯一,所以 于是 在一个零概率集上改动 的值,它仍然是几乎必然极限。

易错点问:只看每个 X_n 的分布,能判断是否几乎必然收敛吗?

答:不能。例 2 与例 3 中每个 的分布相同(取 1 的概率都是 结论却相反。几乎必然收敛关心的是同一个 上整条路径的行为,它依赖于 之间的关系。

小结与自测

小结本页小结
  • 定义 6: a.s. ⟺
  • 收敛集 三层运算对应「所以它是一个事件。
  • 不收敛集
  • 判别: a.s. ⟺ 对每个 这把收敛问题变成了 Borel–Cantelli 能处理的问题。
自测

1. 在 上令 a.s. 吗?误差事件 是什么?

点开看答案

与 无关。 在 时是 在 时是 只发生有限次(对每个 所以 处处成立,当然也几乎必然成立。

2. 填空: ______。为什么这里用「而不是「

点开看答案

因为「不收敛」是「收敛」的否定:收敛要求每个容忍度都最终满足(交),否定之后变成存在某个容忍度被突破无穷多次(并)。

3. 判断:若对每个 都有 则 a.s.。

点开看答案

错。例 2 中 但 不几乎必然收敛到 0。「每一步出错的概率趋于 0」比「出错只有有限次」弱,这就是 第 14 页 的「依概率收敛」。

本页术语中英对照(按出现顺序)
中文English白话解释
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
样本点sample point一个完整的结局 ω;每次试验恰好实现一个样本点。
集合set把一些对象放在一起当成一个整体,例如 {1,2,3}。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
子列subsequence从一个数列里按顺序挑出无穷多项组成的新数列。
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
Borel–Cantelli 引理Borel–Cantelli lemma概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。
不可数uncountable无论怎么排都排不成一列,例如区间 [0,1] 里的全体实数。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
次可加性subadditivity并集的测度不超过各部分测度之和:μ(A ∪ B) ≤ μ(A) + μ(B)。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
逐点收敛pointwise convergence对定义域里的每一个点 x,数列 fₙ(x) 都收敛到 f(x);这样得到的函数 f 叫逐点极限。
几乎处处almost everywhere (a.e.)除了一个测度为 0 的集合之外都成立;零测集上的值不影响积分。
概率测度probability measure总质量 P(Ω) = 1 的测度。
补集complement样本空间里不属于 A 的元素全体,记作 Aᶜ,对应「A 不发生」。
独立independence任意有限个事件同时发生的概率等于各自概率的乘积。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
德摩根律De Morgan's laws「并的补 = 补的交」「交的补 = 补的并」,把「非(A 或 B)」变成「非 A 且非 B」。
可测函数measurable function对每个 a,集合 {f > a} 都可测;这样的函数才能积分。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
交集intersection同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。
依概率收敛convergence in probability对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。