这一页在讲什么
若 把它们都代进同一个函数 只要 在 几乎必然会落到的那些点上连续,就有 例如 证明是上一页子列判别法的第一次实战。
这是第 2 部分「随机变量的收敛」的倒数第二页。
- 上一页 第 16 页 的定理 12 说:依概率收敛 ⟺ 每个子列都有几乎必然收敛的子子列。那一页最后总结了一个「通用套路」:先挑子子列,在子子列上用逐点的工具,再回到整个序列。本页的逐点工具是「连续函数保持数列的极限」。
- 标题里的 random limit(随机的极限)提醒你:极限 不是一个固定的数,而是随 变化的随机变量。所以不要求 处处连续,只要求它在 「真的会去的地方」连续。
- 下一页 第 18 页 把 取成门槛函数 它在 处有一个间断点。那里会看到:极限 一旦以正概率停在间断点上,结论就可能失败。
- 实用意义:统计里常先证明估计量 接着就想知道 是否也收敛。本定理一次回答所有这类问题。
先补基础
- 设 在点 连续的意思是:只要实数列 就有 也就是「输入靠近 输出就靠近
- 等价的 ε-δ 说法:对每个 存在 使 时 本页主要用数列的说法。
- 例: 在每一点连续。理由:若 则 第一个因子趋于 0,第二个因子趋于 (有界),乘积趋于 0。
- 反例:( 取 1,否则取 0)在 处不连续:但 它在其他点都连续(第 18 页 先补基础有逐点验证)。
- 在集合 的每一点连续:对每个 上面的条件都成立。注意数列 可以取 外面的点——这里说的是 作为整个 上的函数在这些点连续。
课件原文逐句精读
Theorem 13 (Continuity at the random limit)
Proof
(标题:连续映射)
定理 13(在随机极限处的连续性)
证明
- Continuous mappings:mapping 是映射、函数,continuous mapping 是连续映射。标题说这一页研究「把收敛的随机变量代进连续函数会怎样」。这个结论通常叫连续映射定理(continuous mapping theorem)。
- Theorem 13:定理 13,编号接着 第 16 页 的定理 12。正文留白。
- Continuity at the random limit:continuity 是连续性,at the random limit 是「在随机的极限处」。这个名字已经点出了条件的精髓:不要求 处处连续,只要求 在极限值 处连续;而 随 变化,所以条件写成「 以概率 1 落在 的连续点上」。
- Proof:定理 13 的证明,留白。
- 设定沿用 第 9 页、第 14 页: 是同一个概率空间 上的实值随机变量。
补全课件留白
课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。
Theorem 13 (Continuity at the random limit)|定理 13(在随机极限处的连续性)
设 是 上的实值随机变量, 博雷尔可测。设 是博雷尔集, 在 的每一点连续,并且
- 若 则
- (几乎必然版本)若 几乎必然,则 几乎必然。
特别地,若 在 上处处连续(取 条件 自动成立),则 推出
逐个看条件:
- 博雷尔可测:保证 是随机变量,结论里的 才有意义。 连续时自动成立。
- 在 的每一点连续: 是「好点」的集合。 可以在 外有间断点:门槛函数取 倒数函数取
- :极限 几乎必然落在好点上。只对极限 有要求,对 没有要求—— 落到间断点上也没关系(见易错点)。 是博雷尔集, 才是事件。
- 结论 1 是本页的主角;结论 2 是证明里要用的逐点版本,本身也常用。
把 想成一个走向目的地 的人, 是一张地形图, 是这个人脚下的海拔。人走到目的地附近时,海拔会不会也接近目的地的海拔?只要地形在目的地处没有悬崖( 在 处连续)就会。别处有悬崖不要紧,人不在那里停下。如果目的地恰好在悬崖边上( 是间断点),从悬崖上方走过来和从下方走过来,海拔就差了一截——这就是 第 18 页 的反例。
Proof|证明
先证几乎必然版本:在一个概率为 1 的事件上,数列 收敛到一个连续点 连续性直接给出 依概率版本走 第 16 页 的套路:任取子列,挑出几乎必然收敛的子子列,套用几乎必然版本,再用子列判别法的另一个方向回到依概率收敛。
第一步:几乎必然版本(结论 2)。
- 好事件:令 是事件(第 9 页), 是事件( 是博雷尔集)。由假设 所以 即
- 固定一个好的 :记 这是一串普通的实数,(因为 而且 (因为
- 用连续性: 在 处连续,按数列的说法(先补基础),即
- 结论:这对 中的每个 成立,而 所以 几乎必然。
第二步:依概率版本(结论 1)。 记 要证 按定理 12 的(⇐)方向,只需证明: 的每个子列都有几乎必然收敛到 的子子列。
- 任取一个子列:下标 对应的 就是 ——同一组下标。
- 原序列的这个子列仍依概率收敛:理由:对每个 数列 是趋于 0 的数列 的子列,也趋于 0(第 16 页 先补基础)。
- 挑子子列:由定理 12(⇒),存在 使 几乎必然(
- 套用第一步:第一步对任何几乎必然收敛到 的序列都成立。把它用在序列 上,得 几乎必然,即 几乎必然。
- 回到整个序列:第 1 步的子列是任取的,所以 的每个子列都有几乎必然收敛到 的子子列。由定理 12(⇐),即 证毕。
依概率收敛不给出任何一个 上的数列收敛(打字机序列处处不收敛,第 15 页),「连续函数保持数列极限」无处可用。子列判别法的作用是临时造出一个几乎必然收敛的子子列,让逐点工具有用武之地;第 5 步再靠「每个子列都行」把结论还给整个序列。注意第 4 步用的例外零概率集随子列而变,但这不要紧:每个子子列只需要它自己的那个概率为 1 的好事件。
另一种证法(g 处处连续时):截断 + 一致连续
这个证法不用子列,直接估计概率,还能看清 的「陡峭程度」是怎样被控制住的。它用到微积分里的一个事实(这里当作已知结论使用):连续函数在有界闭区间上一致连续——对区间 和 存在同一个 使区间里任意两点只要 就有
固定 和
- 截断:事件 (随 递减,交集是空集( 取有限的实数值)。由从上连续(第 14 页),取 使
- 一致连续:对区间 取 使区间里 时
- 包含关系:若 且 则 都在 里(因为 所以 取逆否:
- 取概率:后一项趋于 0(第 14 页:用 还是 定义依概率收敛是等价的),所以 可以任意小,所以这个概率趋于 0。
第 1 步的截断不能省。像 这样的函数,离原点越远越陡,同样的输入误差会被放大成越来越大的输出误差,没有一个 在整条实轴上都管用。好在 落得很远的概率很小,可以把那部分直接扔进
例子
用定理 13: 处处连续,所以 推出
直接验证时会遇到的困难:第一个因子依概率很小,第二个因子却可能很大。看一个具体例子:设 服从参数为 1 的指数分布(
- 收敛得非常好:误差恒为 每个 都一样。
- 平方以后,误差是 可以取任意大的值,所以对每个 这个误差在某些 上都任意大。平方把「一致地小」的误差变成了「不一致」的误差。
- 依概率收敛仍然成立。取 当 时 于是
时为 时为 时约为 小到可以忽略。确实趋于 0。
误差大的 是那些 很大的样本点,它们的概率随 增大而越来越小。定理 13 的两种证法分别用「子子列」和「截断」处理了这件事。
令 (并规定 (在 0 处随便补一个值,让 在整个 上有定义)。 在每个 处连续,在 0 处不连续。取 它是博雷尔集。
- 若 :定理 13 给出 特别地,若 (常数 比如样本均值收敛到一个非零的期望),则
- 若 :可能失败。取 所以 时 不收敛。原因:极限的全部质量都在间断点 0 上。
(不超过 的最大整数)在每个整数处跳一下,在非整数处连续。取
- 若 服从 上的均匀分布,则 (可数个零概率事件之并),条件成立。
- 所以 推出 两个整数之差的绝对值要么是 0、要么 所以 结论就是 近似值和真值取整后不一样的概率趋于 0。
推导:一步一步来
两个序列一起:和与乘积
设 (都在同一个概率空间上)。
和:用三角不等式直接证。若 且 则 取逆否再取概率:
乘积:直接估计会遇到例 1 的困难,用子列判别法「挑两次」:
- 任取子列 由定理 12(⇒),挑出子子列 使 几乎必然。
- 是 的子列,仍依概率收敛到 再挑一次,得到它的子列 使 几乎必然。 是几乎必然收敛序列 的子列,仍几乎必然收敛到
- 在两个概率为 1 的收敛事件之交上(概率仍为 1),两个实数列同时收敛,乘积也收敛:
- 是所取子列 的子子列,而 是任取的,由定理 12(⇐),
同样的办法给出二元版本: 连续时,取 就又回到了
一张对照表:间断点与需要的条件
| 函数 | 间断点 | 定理 13 需要的条件 | 不满足时 |
|---|---|---|---|
| 无 | 无 | — | |
| 可能失败(例 3) | |||
| 补 | 可能失败(例 2) | ||
| 所有整数 | 可能失败 | ||
| 狄利克雷函数 | 每一点 | 无法满足 | 可能失败(易错点) |
常见疑问与易错点
答:不会,定理只要求极限 几乎必然落在连续点上。例: 服从 上的均匀分布,( 时取 0)。 以概率 等于间断点 0,但 而 取 几乎必然,结论照样成立。
答:不能。例:狄利克雷函数 (有理数取 1,无理数取 0),只看 上的点, 恒为 0,「看起来」连续; 服从 上的均匀分布时 但取 (有理数,且 则 几乎必然,问题在于: 作为 上的函数,在每个无理点处都不连续(旁边总有有理数),定理 13 的条件其实不满足。
答:一般不能, 可能把不同的值「压」到一起。例: 服从 上的均匀分布,当然收敛;但 不趋于 0。
小结与自测
1. 设 问 ( 时规定这一项为 依概率收敛到什么?用了定理 13 的哪个
点开看答案
收敛到 函数 (只在 0 处间断,取 极限是常数 3,条件成立。
2. 设 服从 上的均匀分布, 趋于 0 吗?
点开看答案
趋于 0。 只在 (处间断,而 (可数个点,每点概率为 0)。由定理 13,两者都是整数,差的绝对值大于 等价于不相等,所以不相等的概率趋于 0。
3. 设 吗?哪个条件不满足?
点开看答案
不收敛:(因为 误差恒为 1。 只在 0 处间断,而 极限的全部质量都在间断点上,「(不满足。
| 中文 | English | 白话解释 |
|---|---|---|
| 函数 | function / map | f: A → B 给 A 中每个元素指定 B 中唯一一个元素。 |
| 几乎必然收敛 | almost sure convergence | 除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。 |
| 子列 | subsequence | 从一个数列里按顺序挑出无穷多项组成的新数列。 |
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 依概率收敛 | convergence in probability | 对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。 |
| 集合 | set | 把一些对象放在一起当成一个整体,例如 {1,2,3}。 |
| 样本点 | sample point | 一个完整的结局 ω;每次试验恰好实现一个样本点。 |
| 博雷尔 σ-代数 | Borel sigma-algebra | 由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 区间 | interval | 数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。 |
| 当且仅当 | if and only if (iff) | 「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。 |
| 概率空间 | probability space | 三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。 |
| 打字机序列 | typewriter sequence | 在 [0,1) 上从左到右一遍遍扫过、越来越窄的小区间的示性函数列:依概率收敛到 0,却在每一点都不收敛。 |
| 空集 | empty set | 一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。 |
| 交集 | intersection | 同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。 |
| 从上连续 | continuity from above | 集合一层层变小(Eₙ ↓ E)且 μ(E₁) < ∞ 时,μ(Eₙ) → μ(E)。 |
| 指数分布 | exponential distribution | P(X > x) = e^(−λx)(x ≥ 0)的分布,均值 1/λ,常用来描述等待时间。 |
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| 可数 | countable | 元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。 |
| 三角不等式 | triangle inequality | |a + b| ≤ |a| + |b|:分两段走的总路程不会比直接走更短。推广有 |∫f| ≤ ∫|f|、E|X + Y| ≤ E|X| + E|Y|,以及 Lᵖ 范数的 Minkowski 不等式。 |
| 狄利克雷函数 | Dirichlet function | 在有理点取 1、无理点取 0 的函数;黎曼不可积,勒贝格积分为 0。 |
| 有理数 | rational number | 能写成分数 p/q 的数,全体有理数记作 ℚ;它们可数,却在数轴上处处稠密。 |
| 上界 | upper bound | 数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。 |
| 可积 | integrable (L¹) | ∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。 |