高等概率论逐页精讲

第 3 讲 Borel–Cantelli、收敛与 Radon–Nikodym›第 3 部分 期望与密度的收敛

PDF 第 20 / 47 页幻灯片 20/49定理

依概率收敛下的控制收敛定理:一个共同的可积上界就够了

Dominated convergence in probability

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

把第 1 讲控制收敛定理里的「几乎必然收敛」换成更弱的「依概率收敛」,结论照样成立:只要所有 被同一个可积的 管住,就有

  • 上一页 第 19 页 的尖峰说明:没有可积上界,收敛了期望也可能不跟着收敛。
  • 这一页说明:有了共同的可积上界,连依概率收敛都够用。这很重要,因为很多时候我们只知道依概率收敛(比如 第 15 页 的打字机序列根本不几乎必然收敛),第 1 讲的 DCT 用不上。
  • 证明分两页:这一页先证「极限 是可积的」(Proof: the limit is integrable);下一页 第 21 页 证「
  • 两页的共同工具是 第 16 页 的子列判别法:它是连接「依概率收敛」和「几乎必然收敛」的桥。

先补基础

基础补课依概率收敛和几乎必然收敛
  • 几乎必然收敛(第 9 页 定义 6):看的是每个 上整条数列。
  • 依概率收敛(第 14 页 定义 10):对每个 看的是每一步坏事件的概率。
  • 前者推出后者(第 14 页 命题 11),反之不成立。反例是 第 15 页 的打字机序列:一个宽度越来越小的「窗口」一遍遍扫过 窗口宽度趋于 0,所以依概率收敛到 0;但每个点被扫过无穷多次,所以在任何点上都不收敛。
基础补课子列与子列判别法(第 16 页定理 12)
  • 子列(subsequence):从 里按原来的顺序挑出无穷多项,下标 严格递增,得到 记作 例:偶数项 ((
  • 子列判别法(第 16 页 定理 12): 当且仅当 的每一个子列都还有一个子列(「子子列」)几乎必然收敛到
  • 本页只用它的一个推论:依概率收敛的序列,一定有某个子列几乎必然收敛(把整个序列本身当成那个「子列」即可)。
  • 例:打字机序列里,每一轮扫描的第一个窗口 组成的子列,对每个 当 后都等于 0,所以几乎必然收敛到 0。
基础补课可积、L¹ 与 |𝔼Z| ≤ 𝔼|Z|
  • 可积(integrable),记作 意思是 (第 43 页、第 22 页)。只有可积的 才能放心地谈 (不会出现
  • 收敛:即「平均误差」趋于 0。
  • 第 1 讲命题 35(第 43 页):可积的 满足 直觉:先取绝对值再平均,正负不会互相抵消,所以不会更小。
基础补课可数个「几乎必然」可以同时成立

若对每个 都有 那么 理由:由可数次可加性(第 4 页),

例:「对每个 几乎必然」可以升级为「几乎必然地,对所有 同时有 只对可数个事件成立,所以下标必须是 这样可数的。

课件原文逐句精读

课件原文Dominated convergence in probability

Theorem 15 (A common integrable bound)

Proof: the limit is integrable

中文翻译

(标题:依概率收敛下的控制收敛)

定理 15(共同的可积上界)

证明:极限是可积的

  • 标题 Dominated convergence in probability:dominated(被控制的)指 被一个函数 从上面压住;in probability(依概率)指收敛方式换成了依概率收敛。合起来:「依概率收敛版本的控制收敛定理」。
  • Theorem 15 (A common integrable bound):定理 15,括号里的名字把条件说全了——common(共同的:一个 管所有 integrable(可积的:bound(上界:
  • Proof: the limit is integrable:证明的第一部分,先证极限 可积。为什么要先证这个?因为定理的结论里要用到 和 得先确认它们是有限的数。
  • 课件在这两个标题下留白,下面补全。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

Theorem 15 (A common integrable bound)|定理 15(共同的可积上界)

定理 15(共同的可积上界:依概率收敛下的控制收敛定理)

设 是 上的实值随机变量,若存在随机变量 满足

则

  1. 几乎必然,特别地 可积;
  2. ( 收敛);

逐个看条件:

  • :只要求依概率收敛。和第 1 讲 DCT(第 44 页 定理 36)相比,这是唯一的改动,而且是把条件放宽了。
  • :上界本身必须可积。 可以无界(比如 只要平均值有限。
  • 对每个 :同一个 管住所有的 尖峰(第 19 页)里每个 都不超过常数 但没有共同的可积上界,结论就失败了。
  • 「几乎必然」就够:零概率集上 超过 不影响任何期望。

逐个看结论:

  • 结论 1 保证 是有限的数,后两条结论才有意义。注意它是推出来的,不是假设。
  • 结论 2 最强:平均误差趋于 0。
  • 结论 3 由结论 2 立刻得到: 都可积(由期望的线性和命题 35,
第 1 讲 DCT(第 44 页) 本页定理 15
收敛方式 几乎必然 依概率(更弱)
上界 共同可积上界 共同可积上界
结论 相同,外加 a.s.
人话版为什么依概率收敛也够?

期望只关心「值有多大 × 概率有多大」。依概率收敛保证误差大于 的概率趋于 0;共同的可积上界保证在这些小概率事件上,误差的值不会大到把期望撑起来(像尖峰那样)。两者合起来,平均误差就趋于 0。至于误差在哪些 上、按什么顺序出现(这是几乎必然收敛关心的),期望根本不在乎。

Proof: the limit is integrable|证明:极限是可积的

推导证明思路

依概率收敛不能直接在每个 上取极限。先用子列判别法取出一个几乎必然收敛的子列,在这个子列上把不等式 取极限,得到

  1. 取一个几乎必然收敛的子列:因为 由子列判别法(第 16 页 定理 12),存在下标 使 几乎必然。记
  2. 让所有不等式同时成立:对每个 事件 的概率为 1。记 由先补基础,
  3. 一个好的事件:令 它的补集是 概率不超过 所以
  4. 在每个好的 上取极限:固定 一方面 绝对值是连续函数,所以 另一方面 对所有 成立。极限保持不等号(见下面的推导),所以
  1. 结论: 在 上成立,即几乎必然成立。由积分的单调性(零概率集不影响期望,第 43 页),证毕。
另一种证法:不用子列,直接用依概率收敛的定义

固定 和任意的

  1. 包含关系:理由:若 且 由三角不等式
  2. 取概率:
  3. 令 :右边趋于 0,左边与 无关,所以
  4. 令 :可数个零概率事件之并,概率为 0。所以 几乎必然。

这个证法和第 1 讲 BCT(第 46 页)板书里证 的办法是同一个思路。

补充剩下的一半(下一页)

为什么不能直接对整个序列用第 1 讲的 DCT?因为 DCT 要求几乎必然收敛,而 可能根本不几乎必然收敛(打字机序列)。对第 1 步的子列用 DCT,只能得到 管不到其余的项。第 21 页 用「反证 + 再取子子列」解决这个问题。

例子

例 1:打字机序列——第 1 讲 DCT 用不上,定理 15 用得上

第 15 页 的打字机序列:在 上,

  • 依概率收敛到 0:对 而 时 所以趋于 0。
  • 不几乎必然收敛:每一轮扫描(固定 都恰好有一个窗口盖住 所以 无穷多次, 也无穷多次。第 1 讲 DCT 的条件不满足。
  • 共同可积上界:取
  • 定理 15 的结论:直接验证:例如 时,
例 2:上界无界但可积

仍在 上,令 ( 处随便定义,比如 0), 为例 1 的打字机序列,

  • 上界:且 但 在 0 附近无界,有界收敛定理用不上。
  • 依概率收敛到 0:概率
  • 不几乎必然收敛:对 无穷多次,此时 时
  • 定理 15 的结论:直接验证:设 窗口是

其中 是因为两边平方后等价于 即

例 3(反例):条件「共同」不能去掉

尖峰 (第 19 页):每个 都被自己的常数 管住,但没有一个可积的 管住全部(最小的候选 期望无穷)。定理 15 不适用,结论也确实失败:

推导:一步一步来

极限保持不等号。 设实数列 且对所有 都有 要证

  1. 反设 取
  2. 由极限的定义,存在 使 时 于是
  3. 这与「对所有 矛盾。所以

注意严格不等号不一定保持: 对所有 成立,极限却是 不是 本页只需要「

为下一页准备:误差也被控制。 由结论 1 和三角不等式,几乎必然地

而 所以误差 有共同的可积上界 特别地 是有限数。第 21 页 对误差用 DCT 时,控制函数就是这个

结论 3 为什么需要可积性。 等式 是期望的线性(第 43 页 命题 35),它要求 都可积;否则可能出现 结论 1 和 正好保证了这一点。

常见疑问与易错点

易错点问:为什么一定要「共同」的上界?每个 X_n 自己可积不行吗?

答:不行。尖峰的每个 都可积(甚至都有界(但结论失败。「共同」上界的作用是阻止质量逃走:如果 对所有 成立,那么在一个概率很小的事件 上, 对所有 一起很小, 没法在越来越小的事件上堆出固定大小的期望。

易错点问:定理 15 的结论里有几乎必然收敛吗?

答:没有。结论是 收敛,不是几乎必然收敛。例 1 的打字机序列满足定理的全部条件,但它在任何点上都不收敛。 收敛不推出几乎必然收敛。

易错点问:𝔼X_n → 𝔼X 和 𝔼|X_n − X| → 0 哪个更强?

答:后者更强,由 推出前者。反过来不对:在 上令 (对所有 都一样),则 但 期望相等只说明「正负误差互相抵消」,不说明误差小。

易错点问:为什么证明要绕道子列?直接对 X_n 取极限不行吗?

答:要从 推出 需要在每个 上让 再用「极限保持不等号」。依概率收敛不给出任何一个 上的收敛(打字机序列处处不收敛)。子列判别法正好补上这个缺口:虽然整列不行,但总有一个子列几乎必然收敛,而这就够推出 了。

小结与自测

小结本页小结
  • 定理 15:且存在 对每个 有 a.s. a.s.,
  • 与第 1 讲 DCT 的唯一区别:几乎必然收敛放宽为依概率收敛。
  • 「极限可积」的证明:子列判别法取几乎必然收敛的子列 → 在好的 上对 取极限 → a.s.。
  • 由此误差有共同可积上界 这是下一页用 DCT 的关键。
自测

1. 在打字机序列(例 1)中,求 在 时的值,并说明定理 15 的哪些条件成立。

点开看答案

窗口宽度 所以 条件:定理 15 给出 与 一致。

2. 判断:若 且对所有 都有 则

点开看答案

正确。取 这是定理 15 的特例(依概率收敛下的有界收敛定理)。

3. 「极限是可积的」这一步的证明中,为什么要先把「对每个 a.s.」升级为「a.s. 对所有 同时成立」?

点开看答案

因为「极限保持不等号」要求在同一个 上,所有 都满足 每个 各自的例外集可能不同;把可数个例外集并起来,总概率仍为 0(可数次可加性),这样才能找到一个概率为 1 的事件,在上面所有不等式同时成立。

本页术语中英对照(按出现顺序)
中文English白话解释
控制收敛定理dominated convergence theorem (DCT)fₙ → f 几乎处处且 |fₙ| ≤ g、g 可积时,∫fₙ → ∫f。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
依概率收敛convergence in probability对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。
上界upper bound数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
打字机序列typewriter sequence在 [0,1) 上从左到右一遍遍扫过、越来越窄的小区间的示性函数列:依概率收敛到 0,却在每一点都不收敛。
子列subsequence从一个数列里按顺序挑出无穷多项组成的新数列。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
当且仅当if and only if (iff)「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。
次可加性subadditivity并集的测度不超过各部分测度之和:μ(A ∪ B) ≤ μ(A) + μ(B)。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
补集complement样本空间里不属于 A 的元素全体,记作 Aᶜ,对应「A 不发生」。
三角不等式triangle inequality|a + b| ≤ |a| + |b|:分两段走的总路程不会比直接走更短。推广有 |∫f| ≤ ∫|f|、E|X + Y| ≤ E|X| + E|Y|,以及 Lᵖ 范数的 Minkowski 不等式。
有界收敛定理bounded convergence theorem (BCT)有限测度上一致有界、几乎处处收敛的函数列,积分收敛;是 DCT 的特例。