高等概率论逐页精讲

第 3 讲 Borel–Cantelli、收敛与 Radon–Nikodym›第 4 部分 Radon–Nikodym 与换测度

PDF 第 30 / 47 页幻灯片 30/49定理

固定换测度下的收敛:ℙ 下收敛,ℚ 下也收敛

Convergence under a fixed change of measure

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

如果 那么「在 下依概率收敛」自动推出「在 下依概率收敛」,「-几乎必然收敛」自动推出「-几乎必然收敛」。原因很简单:收敛失败的事件在 下概率很小(或为 0),绝对连续保证它在 下概率也很小(或为 0)。

  • 这是第 4 部分里把「换测度」和第 2 部分「随机变量的收敛」接起来的一页。
  • 上一页 第 29 页 的推论 19 说「 概率小 ⇒ 概率小」。依概率收敛说的恰好是「误差事件的概率趋于 0」,把推论 19 套上去就得到本页的结论。
  • 这一页也会说明哪些东西不能转移:绝对连续不成立时收敛会失败;即使绝对连续,期望的收敛也不会自动转移。
  • 后面第 5 部分用 抽样、再换回 时,这一页保证「样本均值收敛」这类结论在两个概率之间来回搬运是安全的。

先补基础

基础补课两种收敛回顾

设 是 上的实值随机变量。

  • 依概率收敛(第 14 页 的定义 10):对每个 (意思是「误差超过 这个坏事件的概率越来越小。
  • 几乎必然收敛(第 9 页 的定义 6):意思是除了一个零概率事件外,每条「路径」上的数列都收敛。
  • 在本部分,两个概率同时出现,所以要说清楚「在哪个概率下」:「 下依概率收敛」「-几乎必然收敛」等等。
基础补课「不收敛」这件事是一个事件

令 它可以写成

读法:「存在某个 使得误差大于 的情形发生了无穷多次」(「无穷多次」就是 见 第 3 页)。右边由可数次并、交构成,每一块都是事件,所以 可以谈它的概率。

课件原文逐句精读

课件原文课件印刷文字

Convergence in probability

中文翻译

依概率收敛

  • 课件只印了一个小标题,下面的命题与证明都是板书,下一节补出。
  • 蓝条标题 Convergence under a fixed change of measure:「在一个固定的换测度下的收敛」。固定的意思是:只有一个 它不随 变化。如果每个 用不同的 结论可以失败(见例 4)。
  • 所谓「换测度」(change of measure):随机变量 作为 上的函数完全不变,变的只是「用哪个概率去衡量事件」。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

Convergence in probability|依概率收敛

命题(固定换测度下的收敛)

设 是 上的概率测度, 是实值随机变量。

  1. 若 在 下依概率收敛,则 在 下依概率收敛。
  2. 若 -几乎必然,则 -几乎必然。
推导证明思路

第 1 条:固定误差门槛 误差事件 满足 由推论 19 的序列版本得 第 2 条:不收敛事件 满足 由绝对连续的定义得

第 1 条的证明,一步一步来:

  1. 固定 令误差事件 它是事件,因为 可测。
  2. 由假设( 下依概率收敛),
  3. 要证 任给 (这是我们希望 小于的目标)。由推论 19(第 29 页),存在 使得任何事件 只要 就有
  4. 由第 2 步,存在 使得 时
  5. 于是 时 因为 是任意的,这就是
  6. 也是任意的,所以 在 下依概率收敛。

注意第 3 步用的是同一个 管住所有的 ——这正是推论 19 里「 与事件无关」的用处。

第 2 条的证明:

  1. 令 由「先补基础」,
  2. 由假设,
  3. 由绝对连续的定义(第 26 页 定义 17),也就是

第 2 条只用到了定义 17,连 Radon–Nikodym 定理都不需要。

人话版:同一批「轨道」,换一副眼镜看

把每个 想成一条轨道,轨道上写着一串数 这些轨道是固定的,换测度不会改动任何一条。 和 只是两副不同的眼镜:它们对「命运会挑中哪条轨道」给出不同的可能性。

  • 「-几乎必然收敛」:不收敛的那些坏轨道,在 眼里合起来可能性为 0。
  • 「 眼里可能性为 0 的轨道, 也认为可能性为 0。
  • 所以坏轨道在 眼里可能性也为 0——这就是第 2 条。第 1 条背后是同一个想法,只是把「可能性为 0」换成「可能性很小」,于是需要推论 19 这种定量版本。
第 1 条的另一个证明:用子列判别法(选读)

本讲 第 16 页 的子列判别法说: 依概率收敛,当且仅当 的每个子列都有一个更小的子列几乎必然收敛到

设 在 下依概率收敛。任取一个子列 由判别法(在 下)它有子列 满足 -几乎必然收敛;由本页第 2 条,它也 -几乎必然收敛。于是每个子列都有 -几乎必然收敛的子列,再由判别法(在 下)得 在 下依概率收敛。这个证明完全不用密度

什么不会自动转移

  • 收敛速度会变: 仍趋于 0,但可能比 快,也可能慢(例 1)。
  • 期望的收敛不会转移: 推不出 (例 3)。原因是 (第 32 页),权重 可能恰好在 很大的地方也很大。
  • 反方向不成立: 下收敛推不出 下收敛,除非 也成立。两个方向都成立(相互绝对连续,第 35 页)时,两种收敛在 下完全等价。

例子

例 1:收敛保住了,速度变了

对 误差事件是

一般
0.25 0.01
密度 0.0625 0.0001
密度 0.5 0.1

计算:三行都趋于 0,但快慢不同: 在误差区域 附近小,收敛更快; 在那里大,收敛更慢。

例 2(反例):不绝对连续时,收敛会失败

(一定取到 0 这一点)。取尖峰 (第 19 页),

  • 下:对每个 当 时 所以只在 一点不收敛,而 于是 -几乎必然;也依概率收敛:
  • 下: 只看 这一点,而 所以 对所有 成立,既不依概率收敛,也不几乎必然收敛。
  • 问题出在哪: 而 恰好把全部质量放在了 看不见的那个「坏点」上。
例 3:期望的收敛不会跟着转移

的密度 令

  • 下的期望:
  • 下依概率收敛(本页命题保证):
  • 但 下的期望:不趋于 0。
  • 原因:权重 恰好在 的「尖峰」所在的 上很大,把 下很小的期望放大了。
例 4:为什么要求换测度是「固定」的

在 下依概率收敛。若每个 换一个概率 上的均匀分布(密度 则 对每个 都成立,但

「在 下看 并不趋于 0。本页命题只对一个固定的 成立。

常见疑问与易错点

易错点问:两个概率下,随机变量 X_n 是不是也变了?

答:没有变。 是 上的同一个函数,每个 对应的值一样。变的只是「哪些 更可能出现」。所以「这件事本身(事件 不变,变的只是它的概率——而绝对连续保证概率 1 仍是概率 1。

易错点问:既然依概率收敛能转移,为什么期望的收敛不能?

答:依概率收敛只关心「坏事件的概率」,推论 19 能控制它;期望还关心「坏事件上的数值有多大」。例 3 中坏事件的 -概率趋于 0,但坏事件上 的值 增长得足够快,乘起来不趋于 0。要让期望也收敛,还需要额外的条件(例如本讲 第 20 页 的共同可积上界)。

易错点问:在 ℚ 下,极限还是原来的 X 吗?

答:是 但在 下极限「更不唯一」。依概率收敛的极限只在几乎必然意义下唯一:若 且 (都在 下依概率),则 因为 的零概率事件至少和 一样多,所以在 下可以当极限的函数也更多。例如 是 上的均匀分布时,任何只在 上与 不同的 都同样是 下的极限。

易错点问:如果 ℚ ≪ ℙ,在 ℚ 下依概率收敛能推出在 ℙ 下依概率收敛吗?

答:不能。取 为 上的均匀分布, 下 几乎必然,当然收敛到 0;但 对所有 成立, 下不依概率收敛到 0。方向必须是「从被控制的一方(到控制之下的一方(

小结与自测

小结本页小结
  • (固定)时: 下依概率收敛 ⇒ 下依概率收敛(用推论 19);-几乎必然收敛 ⇒ -几乎必然收敛(只用定义 17)。
  • 随机变量本身不变,变的只是衡量事件的概率。
  • 不绝对连续时会失败(点质量 + 尖峰);收敛速度可以改变;期望的收敛不会自动转移;方向不能反过来。
自测

1. 设 且 -几乎必然。用一句话说明为什么 -几乎必然。

点开看答案

不收敛事件 满足 由绝对连续,即

2. 的密度 求 并判断 下是否依概率收敛到 0。

点开看答案

对任意 误差事件都是 ( 时是空集),所以 下依概率收敛到 0,而且比 下(快得多。

3. 判断:若 且 则

点开看答案

错误。例 3 就是反例:但 能转移的只是「依概率收敛」:由 Markov 不等式 再由本页命题得 下依概率收敛到 0。

本页术语中英对照(按出现顺序)
中文English白话解释
依概率收敛convergence in probability对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
绝对连续absolute continuity函数版:小区间总长很小时增量总和也很小;测度版:Q ≪ P,P 为零的事件 Q 也为零。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
换测度change of measure用 E_Q[X] = E_P[X · dQ/dP] 在两个概率之间换算期望。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
概率测度probability measure总质量 P(Ω) = 1 的测度。
Radon–Nikodym 导数Radon–Nikodym derivativeQ ≪ P 时存在 L = dQ/dP ≥ 0,使 Q(A) = ∫_A L dP;它是「换测度的密度」。
子列subsequence从一个数列里按顺序挑出无穷多项组成的新数列。
当且仅当if and only if (iff)「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
上界upper bound数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。
下极限limit inferior (lim inf)数列「尾部的最小可能值」的极限;对集合则表示「从某一项起一直发生」。
点质量point mass (Dirac measure)把全部质量 1 放在一个点上:δ₀(E) = 1 当且仅当 0 ∈ E。
空集empty set一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。
Markov 不等式Markov's inequalityX ≥ 0 时 P(X ≥ t) ≤ E X / t:期望小,取大值的概率就小。