这一页在讲什么
如果 那么「在 下依概率收敛」自动推出「在 下依概率收敛」,「-几乎必然收敛」自动推出「-几乎必然收敛」。原因很简单:收敛失败的事件在 下概率很小(或为 0),绝对连续保证它在 下概率也很小(或为 0)。
- 这是第 4 部分里把「换测度」和第 2 部分「随机变量的收敛」接起来的一页。
- 上一页 第 29 页 的推论 19 说「 概率小 ⇒ 概率小」。依概率收敛说的恰好是「误差事件的概率趋于 0」,把推论 19 套上去就得到本页的结论。
- 这一页也会说明哪些东西不能转移:绝对连续不成立时收敛会失败;即使绝对连续,期望的收敛也不会自动转移。
- 后面第 5 部分用 抽样、再换回 时,这一页保证「样本均值收敛」这类结论在两个概率之间来回搬运是安全的。
先补基础
课件原文逐句精读
Convergence in probability
依概率收敛
- 课件只印了一个小标题,下面的命题与证明都是板书,下一节补出。
- 蓝条标题 Convergence under a fixed change of measure:「在一个固定的换测度下的收敛」。固定的意思是:只有一个 它不随 变化。如果每个 用不同的 结论可以失败(见例 4)。
- 所谓「换测度」(change of measure):随机变量 作为 上的函数完全不变,变的只是「用哪个概率去衡量事件」。
补全课件留白
课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。
Convergence in probability|依概率收敛
设 是 上的概率测度, 是实值随机变量。
- 若 在 下依概率收敛,则 在 下依概率收敛。
- 若 -几乎必然,则 -几乎必然。
第 1 条:固定误差门槛 误差事件 满足 由推论 19 的序列版本得 第 2 条:不收敛事件 满足 由绝对连续的定义得
第 1 条的证明,一步一步来:
- 固定 令误差事件 它是事件,因为 可测。
- 由假设( 下依概率收敛),
- 要证 任给 (这是我们希望 小于的目标)。由推论 19(第 29 页),存在 使得任何事件 只要 就有
- 由第 2 步,存在 使得 时
- 于是 时 因为 是任意的,这就是
- 也是任意的,所以 在 下依概率收敛。
注意第 3 步用的是同一个 管住所有的 ——这正是推论 19 里「 与事件无关」的用处。
第 2 条的证明:
- 令 由「先补基础」,
- 由假设,
- 由绝对连续的定义(第 26 页 定义 17),也就是
第 2 条只用到了定义 17,连 Radon–Nikodym 定理都不需要。
把每个 想成一条轨道,轨道上写着一串数 这些轨道是固定的,换测度不会改动任何一条。 和 只是两副不同的眼镜:它们对「命运会挑中哪条轨道」给出不同的可能性。
- 「-几乎必然收敛」:不收敛的那些坏轨道,在 眼里合起来可能性为 0。
- 「 眼里可能性为 0 的轨道, 也认为可能性为 0。
- 所以坏轨道在 眼里可能性也为 0——这就是第 2 条。第 1 条背后是同一个想法,只是把「可能性为 0」换成「可能性很小」,于是需要推论 19 这种定量版本。
第 1 条的另一个证明:用子列判别法(选读)
本讲 第 16 页 的子列判别法说: 依概率收敛,当且仅当 的每个子列都有一个更小的子列几乎必然收敛到
设 在 下依概率收敛。任取一个子列 由判别法(在 下)它有子列 满足 -几乎必然收敛;由本页第 2 条,它也 -几乎必然收敛。于是每个子列都有 -几乎必然收敛的子列,再由判别法(在 下)得 在 下依概率收敛。这个证明完全不用密度
什么不会自动转移
- 收敛速度会变: 仍趋于 0,但可能比 快,也可能慢(例 1)。
- 期望的收敛不会转移: 推不出 (例 3)。原因是 (第 32 页),权重 可能恰好在 很大的地方也很大。
- 反方向不成立: 下收敛推不出 下收敛,除非 也成立。两个方向都成立(相互绝对连续,第 35 页)时,两种收敛在 下完全等价。
例子
对 误差事件是
| 一般 | |||
|---|---|---|---|
| 0.25 | 0.01 | ||
| 密度 | 0.0625 | 0.0001 | |
| 密度 | 0.5 | 0.1 |
计算:三行都趋于 0,但快慢不同: 在误差区域 附近小,收敛更快; 在那里大,收敛更慢。
(一定取到 0 这一点)。取尖峰 (第 19 页),
- 下:对每个 当 时 所以只在 一点不收敛,而 于是 -几乎必然;也依概率收敛:
- 下: 只看 这一点,而 所以 对所有 成立,既不依概率收敛,也不几乎必然收敛。
- 问题出在哪: 而 恰好把全部质量放在了 看不见的那个「坏点」上。
的密度 令
- 下的期望:
- 下依概率收敛(本页命题保证):
- 但 下的期望:不趋于 0。
- 原因:权重 恰好在 的「尖峰」所在的 上很大,把 下很小的期望放大了。
在 下依概率收敛。若每个 换一个概率 上的均匀分布(密度 则 对每个 都成立,但
「在 下看 并不趋于 0。本页命题只对一个固定的 成立。
常见疑问与易错点
答:没有变。 是 上的同一个函数,每个 对应的值一样。变的只是「哪些 更可能出现」。所以「这件事本身(事件 不变,变的只是它的概率——而绝对连续保证概率 1 仍是概率 1。
答:依概率收敛只关心「坏事件的概率」,推论 19 能控制它;期望还关心「坏事件上的数值有多大」。例 3 中坏事件的 -概率趋于 0,但坏事件上 的值 增长得足够快,乘起来不趋于 0。要让期望也收敛,还需要额外的条件(例如本讲 第 20 页 的共同可积上界)。
答:是 但在 下极限「更不唯一」。依概率收敛的极限只在几乎必然意义下唯一:若 且 (都在 下依概率),则 因为 的零概率事件至少和 一样多,所以在 下可以当极限的函数也更多。例如 是 上的均匀分布时,任何只在 上与 不同的 都同样是 下的极限。
答:不能。取 为 上的均匀分布, 下 几乎必然,当然收敛到 0;但 对所有 成立, 下不依概率收敛到 0。方向必须是「从被控制的一方(到控制之下的一方(
小结与自测
- (固定)时: 下依概率收敛 ⇒ 下依概率收敛(用推论 19);-几乎必然收敛 ⇒ -几乎必然收敛(只用定义 17)。
- 随机变量本身不变,变的只是衡量事件的概率。
- 不绝对连续时会失败(点质量 + 尖峰);收敛速度可以改变;期望的收敛不会自动转移;方向不能反过来。
1. 设 且 -几乎必然。用一句话说明为什么 -几乎必然。
点开看答案
不收敛事件 满足 由绝对连续,即
2. 的密度 求 并判断 下是否依概率收敛到 0。
点开看答案
对任意 误差事件都是 ( 时是空集),所以 下依概率收敛到 0,而且比 下(快得多。
3. 判断:若 且 则
点开看答案
错误。例 3 就是反例:但 能转移的只是「依概率收敛」:由 Markov 不等式 再由本页命题得 下依概率收敛到 0。
| 中文 | English | 白话解释 |
|---|---|---|
| 依概率收敛 | convergence in probability | 对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。 |
| 几乎必然收敛 | almost sure convergence | 除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 绝对连续 | absolute continuity | 函数版:小区间总长很小时增量总和也很小;测度版:Q ≪ P,P 为零的事件 Q 也为零。 |
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 换测度 | change of measure | 用 E_Q[X] = E_P[X · dQ/dP] 在两个概率之间换算期望。 |
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| 无穷多次 | infinitely often (i.o.) | 「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。 |
| 可数 | countable | 元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。 |
| 测度 | measure | 给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。 |
| 函数 | function / map | f: A → B 给 A 中每个元素指定 B 中唯一一个元素。 |
| 概率测度 | probability measure | 总质量 P(Ω) = 1 的测度。 |
| Radon–Nikodym 导数 | Radon–Nikodym derivative | Q ≪ P 时存在 L = dQ/dP ≥ 0,使 Q(A) = ∫_A L dP;它是「换测度的密度」。 |
| 子列 | subsequence | 从一个数列里按顺序挑出无穷多项组成的新数列。 |
| 当且仅当 | if and only if (iff) | 「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| 上界 | upper bound | 数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。 |
| 可积 | integrable (L¹) | ∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。 |
| 下极限 | limit inferior (lim inf) | 数列「尾部的最小可能值」的极限;对集合则表示「从某一项起一直发生」。 |
| 点质量 | point mass (Dirac measure) | 把全部质量 1 放在一个点上:δ₀(E) = 1 当且仅当 0 ∈ E。 |
| 空集 | empty set | 一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。 |
| Markov 不等式 | Markov's inequality | X ≥ 0 时 P(X ≥ t) ≤ E X / t:期望小,取大值的概率就小。 |