高等概率论逐页精讲

第 3 讲 Borel–Cantelli、收敛与 Radon–Nikodym›第 2 部分 随机变量的收敛:误差与子列

PDF 第 17 / 47 页幻灯片 17/49定理

连续映射定理:依概率收敛能「穿过」在极限处连续的函数

Continuous mappings

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

若 把它们都代进同一个函数 只要 在 几乎必然会落到的那些点上连续,就有 例如 证明是上一页子列判别法的第一次实战。

这是第 2 部分「随机变量的收敛」的倒数第二页。

  • 上一页 第 16 页 的定理 12 说:依概率收敛 ⟺ 每个子列都有几乎必然收敛的子子列。那一页最后总结了一个「通用套路」:先挑子子列,在子子列上用逐点的工具,再回到整个序列。本页的逐点工具是「连续函数保持数列的极限」。
  • 标题里的 random limit(随机的极限)提醒你:极限 不是一个固定的数,而是随 变化的随机变量。所以不要求 处处连续,只要求它在 「真的会去的地方」连续。
  • 下一页 第 18 页 把 取成门槛函数 它在 处有一个间断点。那里会看到:极限 一旦以正概率停在间断点上,结论就可能失败。
  • 实用意义:统计里常先证明估计量 接着就想知道 是否也收敛。本定理一次回答所有这类问题。

先补基础

基础补课函数在一点连续:数列的说法
  • 设 在点 连续的意思是:只要实数列 就有 也就是「输入靠近 输出就靠近
  • 等价的 ε-δ 说法:对每个 存在 使 时 本页主要用数列的说法。
  • 例: 在每一点连续。理由:若 则 第一个因子趋于 0,第二个因子趋于 (有界),乘积趋于 0。
  • 反例:( 取 1,否则取 0)在 处不连续:但 它在其他点都连续(第 18 页 先补基础有逐点验证)。
  • 在集合 的每一点连续:对每个 上面的条件都成立。注意数列 可以取 外面的点——这里说的是 作为整个 上的函数在这些点连续。
基础补课把随机变量代进函数:g(X)
  • 是这样一个随机变量:在样本点 上取值 先用 把 读成一个实数,再用 加工这个实数。
  • 要让 仍是随机变量(能谈 这样的概率),要求 博雷尔可测:对每个博雷尔集 是博雷尔集。这时 是事件(第 4 页「复合保持可测」)。
  • 连续函数自动博雷尔可测( 是开集,第 29 页 易错点),所以 都是随机变量。门槛函数不连续,但 是区间,它也博雷尔可测。
基础补课子列判别法(第 16 页定理 12)

当且仅当: 的每个子列 都有子子列 几乎必然收敛到 (第 16 页)。

  • (⇒)方向把「依概率」换成「子子列上几乎必然」,这样就能在每个 上谈数列的极限;
  • (⇐)方向把结论换回「依概率」。用它时必须对每个子列都做到,只做一个不够(第 16 页 的 Remark)。

课件原文逐句精读

课件原文Continuous mappings

Theorem 13 (Continuity at the random limit)

Proof

中文翻译

(标题:连续映射)

定理 13(在随机极限处的连续性)

证明

  • Continuous mappings:mapping 是映射、函数,continuous mapping 是连续映射。标题说这一页研究「把收敛的随机变量代进连续函数会怎样」。这个结论通常叫连续映射定理(continuous mapping theorem)。
  • Theorem 13:定理 13,编号接着 第 16 页 的定理 12。正文留白。
  • Continuity at the random limit:continuity 是连续性,at the random limit 是「在随机的极限处」。这个名字已经点出了条件的精髓:不要求 处处连续,只要求 在极限值 处连续;而 随 变化,所以条件写成「 以概率 1 落在 的连续点上」。
  • Proof:定理 13 的证明,留白。
  • 设定沿用 第 9 页、第 14 页: 是同一个概率空间 上的实值随机变量。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

Theorem 13 (Continuity at the random limit)|定理 13(在随机极限处的连续性)

定理 13(连续映射定理:在随机极限处连续即可)

设 是 上的实值随机变量, 博雷尔可测。设 是博雷尔集, 在 的每一点连续,并且

  1. 若 则
  2. (几乎必然版本)若 几乎必然,则 几乎必然。

特别地,若 在 上处处连续(取 条件 自动成立),则 推出

逐个看条件:

  • 博雷尔可测:保证 是随机变量,结论里的 才有意义。 连续时自动成立。
  • 在 的每一点连续: 是「好点」的集合。 可以在 外有间断点:门槛函数取 倒数函数取
  • :极限 几乎必然落在好点上。只对极限 有要求,对 没有要求—— 落到间断点上也没关系(见易错点)。 是博雷尔集, 才是事件。
  • 结论 1 是本页的主角;结论 2 是证明里要用的逐点版本,本身也常用。
人话版:只要「目的地」处没有悬崖

把 想成一个走向目的地 的人, 是一张地形图, 是这个人脚下的海拔。人走到目的地附近时,海拔会不会也接近目的地的海拔?只要地形在目的地处没有悬崖( 在 处连续)就会。别处有悬崖不要紧,人不在那里停下。如果目的地恰好在悬崖边上( 是间断点),从悬崖上方走过来和从下方走过来,海拔就差了一截——这就是 第 18 页 的反例。

Proof|证明

推导证明思路

先证几乎必然版本:在一个概率为 1 的事件上,数列 收敛到一个连续点 连续性直接给出 依概率版本走 第 16 页 的套路:任取子列,挑出几乎必然收敛的子子列,套用几乎必然版本,再用子列判别法的另一个方向回到依概率收敛。

第一步:几乎必然版本(结论 2)。

  1. 好事件:令 是事件(第 9 页), 是事件( 是博雷尔集)。由假设 所以 即
  2. 固定一个好的 :记 这是一串普通的实数,(因为 而且 (因为
  3. 用连续性: 在 处连续,按数列的说法(先补基础),即
  4. 结论:这对 中的每个 成立,而 所以 几乎必然。

第二步:依概率版本(结论 1)。 记 要证 按定理 12 的(⇐)方向,只需证明: 的每个子列都有几乎必然收敛到 的子子列。

  1. 任取一个子列:下标 对应的 就是 ——同一组下标。
  2. 原序列的这个子列仍依概率收敛:理由:对每个 数列 是趋于 0 的数列 的子列,也趋于 0(第 16 页 先补基础)。
  3. 挑子子列:由定理 12(⇒),存在 使 几乎必然(
  4. 套用第一步:第一步对任何几乎必然收敛到 的序列都成立。把它用在序列 上,得 几乎必然,即 几乎必然。
  5. 回到整个序列:第 1 步的子列是任取的,所以 的每个子列都有几乎必然收敛到 的子子列。由定理 12(⇐),即 证毕。
补充为什么不能「直接」证

依概率收敛不给出任何一个 上的数列收敛(打字机序列处处不收敛,第 15 页),「连续函数保持数列极限」无处可用。子列判别法的作用是临时造出一个几乎必然收敛的子子列,让逐点工具有用武之地;第 5 步再靠「每个子列都行」把结论还给整个序列。注意第 4 步用的例外零概率集随子列而变,但这不要紧:每个子子列只需要它自己的那个概率为 1 的好事件。

另一种证法(g 处处连续时):截断 + 一致连续

这个证法不用子列,直接估计概率,还能看清 的「陡峭程度」是怎样被控制住的。它用到微积分里的一个事实(这里当作已知结论使用):连续函数在有界闭区间上一致连续——对区间 和 存在同一个 使区间里任意两点只要 就有

固定 和

  1. 截断:事件 (随 递减,交集是空集( 取有限的实数值)。由从上连续(第 14 页),取 使
  2. 一致连续:对区间 取 使区间里 时
  3. 包含关系:若 且 则 都在 里(因为 所以 取逆否:
  1. 取概率:后一项趋于 0(第 14 页:用 还是 定义依概率收敛是等价的),所以 可以任意小,所以这个概率趋于 0。

第 1 步的截断不能省。像 这样的函数,离原点越远越陡,同样的输入误差会被放大成越来越大的输出误差,没有一个 在整条实轴上都管用。好在 落得很远的概率很小,可以把那部分直接扔进

例子

例 1:平方——为什么 Xₙ² →ᴾ X² 值得一个定理

用定理 13: 处处连续,所以 推出

直接验证时会遇到的困难:第一个因子依概率很小,第二个因子却可能很大。看一个具体例子:设 服从参数为 1 的指数分布(

  • 收敛得非常好:误差恒为 每个 都一样。
  • 平方以后,误差是 可以取任意大的值,所以对每个 这个误差在某些 上都任意大。平方把「一致地小」的误差变成了「不一致」的误差。
  • 依概率收敛仍然成立。取 当 时 于是

时为 时为 时约为 小到可以忽略。确实趋于 0。

误差大的 是那些 很大的样本点,它们的概率随 增大而越来越小。定理 13 的两种证法分别用「子子列」和「截断」处理了这件事。

例 2:倒数——只要极限不以正概率等于 0

令 (并规定 (在 0 处随便补一个值,让 在整个 上有定义)。 在每个 处连续,在 0 处不连续。取 它是博雷尔集。

  • 若 :定理 13 给出 特别地,若 (常数 比如样本均值收敛到一个非零的期望),则
  • 若 :可能失败。取 所以 时 不收敛。原因:极限的全部质量都在间断点 0 上。
例 3:门槛函数——下一页的预告

只在 处间断。取 条件 就是

  • 条件成立时,定理 13 给出 第 18 页 由此推出阈值概率收敛:
  • 条件不成立时:结论失败。第 18 页 会进一步说明,阈值概率的偏差最多是
例 4:取整——间断点有无穷多个也可以

(不超过 的最大整数)在每个整数处跳一下,在非整数处连续。取

  • 若 服从 上的均匀分布,则 (可数个零概率事件之并),条件成立。
  • 所以 推出 两个整数之差的绝对值要么是 0、要么 所以 结论就是 近似值和真值取整后不一样的概率趋于 0。

推导:一步一步来

两个序列一起:和与乘积

设 (都在同一个概率空间上)。

和:用三角不等式直接证。若 且 则 取逆否再取概率:

乘积:直接估计会遇到例 1 的困难,用子列判别法「挑两次」:

  1. 任取子列 由定理 12(⇒),挑出子子列 使 几乎必然。
  2. 是 的子列,仍依概率收敛到 再挑一次,得到它的子列 使 几乎必然。 是几乎必然收敛序列 的子列,仍几乎必然收敛到
  3. 在两个概率为 1 的收敛事件之交上(概率仍为 1),两个实数列同时收敛,乘积也收敛:
  4. 是所取子列 的子子列,而 是任取的,由定理 12(⇐),

同样的办法给出二元版本: 连续时,取 就又回到了

一张对照表:间断点与需要的条件

函数 间断点 定理 13 需要的条件 不满足时
无 无 —
可能失败(例 3)
补 可能失败(例 2)
所有整数 可能失败
狄利克雷函数 每一点 无法满足 可能失败(易错点)

常见疑问与易错点

易错点问:Xₙ 落在 g 的间断点上,会不会出问题?

答:不会,定理只要求极限 几乎必然落在连续点上。例: 服从 上的均匀分布,( 时取 0)。 以概率 等于间断点 0,但 而 取 几乎必然,结论照样成立。

易错点问:「g 在 C 的每一点连续」能换成「g 只看 C 上的点是连续的」吗?

答:不能。例:狄利克雷函数 (有理数取 1,无理数取 0),只看 上的点, 恒为 0,「看起来」连续; 服从 上的均匀分布时 但取 (有理数,且 则 几乎必然,问题在于: 作为 上的函数,在每个无理点处都不连续(旁边总有有理数),定理 13 的条件其实不满足。

易错点问:g(Xₙ) →ᴾ g(X) 之后,𝔼g(Xₙ) → 𝔼g(X) 吗?

答:不一定。取 尖峰 但 (第 19 页)。要让期望跟着收敛,还需要可积上界:若 有界,则由 第 20 页 定理 15(取 得 第 18 页 对门槛函数用的就是这个思路。

易错点问:反过来,g(Xₙ) →ᴾ g(X) 能推出 Xₙ →ᴾ X 吗?

答:一般不能, 可能把不同的值「压」到一起。例: 服从 上的均匀分布,当然收敛;但 不趋于 0。

小结与自测

小结本页小结
  • 定理 13: 博雷尔可测、在博雷尔集 的每一点连续、则 几乎必然收敛也同样保持。
  • 证明:几乎必然版本在好事件上逐点用连续性;依概率版本「任取子列 → 定理 12 挑子子列 → 套用几乎必然版本 → 定理 12 回到整列」。
  • 只看极限落在哪里: 可以碰到间断点, 不能以正概率停在间断点上。
  • 例子: 处处适用; 要 门槛函数要 (下一页)。
  • 定理只保证依概率收敛穿过 不保证期望收敛;后者还需要可积上界(第 19 页–第 21 页)。
自测

1. 设 问 ( 时规定这一项为 依概率收敛到什么?用了定理 13 的哪个

点开看答案

收敛到 函数 (只在 0 处间断,取 极限是常数 3,条件成立。

2. 设 服从 上的均匀分布, 趋于 0 吗?

点开看答案

趋于 0。 只在 (处间断,而 (可数个点,每点概率为 0)。由定理 13,两者都是整数,差的绝对值大于 等价于不相等,所以不相等的概率趋于 0。

3. 设 吗?哪个条件不满足?

点开看答案

不收敛:(因为 误差恒为 1。 只在 0 处间断,而 极限的全部质量都在间断点上,「(不满足。

本页术语中英对照(按出现顺序)
中文English白话解释
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
子列subsequence从一个数列里按顺序挑出无穷多项组成的新数列。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
依概率收敛convergence in probability对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。
集合set把一些对象放在一起当成一个整体,例如 {1,2,3}。
样本点sample point一个完整的结局 ω;每次试验恰好实现一个样本点。
博雷尔 σ-代数Borel sigma-algebra由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
当且仅当if and only if (iff)「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
打字机序列typewriter sequence在 [0,1) 上从左到右一遍遍扫过、越来越窄的小区间的示性函数列:依概率收敛到 0,却在每一点都不收敛。
空集empty set一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。
交集intersection同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。
从上连续continuity from above集合一层层变小(Eₙ ↓ E)且 μ(E₁) < ∞ 时,μ(Eₙ) → μ(E)。
指数分布exponential distributionP(X > x) = e^(−λx)(x ≥ 0)的分布,均值 1/λ,常用来描述等待时间。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
三角不等式triangle inequality|a + b| ≤ |a| + |b|:分两段走的总路程不会比直接走更短。推广有 |∫f| ≤ ∫|f|、E|X + Y| ≤ E|X| + E|Y|,以及 Lᵖ 范数的 Minkowski 不等式。
狄利克雷函数Dirichlet function在有理点取 1、无理点取 0 的函数;黎曼不可积,勒贝格积分为 0。
有理数rational number能写成分数 p/q 的数,全体有理数记作 ℚ;它们可数,却在数轴上处处稠密。
上界upper bound数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。