高等概率论逐页精讲

第 3 讲 Borel–Cantelli、收敛与 Radon–Nikodym›第 4 部分 Radon–Nikodym 与换测度

PDF 第 34 / 47 页幻灯片 34/49定理

Radon–Nikodym 导数的链式法则:连换两次测度,密度相乘

Chain rule for Radon–Nikodym derivatives

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

先从 换到 再从 换到第三个概率 那么「直接从 换到 的密度就是两段密度的乘积:

它看起来像分数约分,但其实是一个要证明的命题:证明只用两样东西——期望换算公式(命题 21)和密度的唯一性。

  • 这是命题 21(第 32 页、第 33 页)证完之后的第一个应用,也是 第 28 页「唯一性是识别工具」那句话的第一次实战。
  • 下一页 第 35 页 会把 取成 本身,从链式法则直接读出倒数公式
  • 第 42 页「高斯平移的复合」要把两次平移合成一次,用的也是这里的「密度相乘」。

先补基础

基础补课第三个概率 Q̃ 与「绝对连续的传递」
  • 读作「Q 波浪」(Q tilde),只是同一个可测空间 上第三个概率测度的名字。课件没有印出命题正文,本站选用这个记号,和 第 27 页 里的预告一致。
  • 「是两句话的合写: 并且 (定义 17,第 26 页)。
  • 传递性:一种关系如果满足「 与 有关系、 与 有关系 ⇒ 与 有关系」,就叫传递的。例如 ⇒ 命题 22 的第 1 条说「是传递的。
基础补课中学的链式法则:名字从哪里来
  • 若 是 的函数、 又是 的函数,则
  • 例:所以 直接算 一致。
  • 含义:「变化率」一段一段地相乘。Radon–Nikodym 导数是「概率的变化率」(第 27 页 角度二),所以也有同样形状的公式。
基础补课本页要用的两件工具
  1. 命题 21(第 32 页、第 33 页): 时,对每个非负可测
  2. 唯一性(第 28 页):如果非负可测函数 满足「 对所有 成立」,那么 与 几乎必然相等。所以要认出一个 Radon–Nikodym 导数,只需要验证定义。

课件原文逐句精读

课件原文课件印刷文字

Proposition 22 (Chain rule)

Proof

中文翻译

命题 22(链式法则)

证明

  • 课件只印了命题的名字和「Proof」这个标签,命题的内容和证明都是板书,下一节补全。
  • Chain rule(链式法则):借用了微积分里的名字,因为结论和 形状一样。
  • 蓝条标题 Chain rule for Radon–Nikodym derivatives:Radon–Nikodym 导数的链式法则。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

Proposition 22 (Chain rule)|命题 22(链式法则)

命题 22(链式法则)

设 是 上的概率测度,并且 那么

  1. -几乎必然。

逐条理解:

  • 两个条件要「首尾相接」: 保证 存在, 保证 存在(定理 18,第 27 页)。少了任何一个,右边的某个因子就没有定义(见例 5)。
  • 第 1 条: 认为不可能的事, 也认为不可能; 认为不可能的事, 也认为不可能。所以 认为不可能的事, 也认为不可能。这保证左边的 存在。
  • 第 2 条的人话:把 Radon–Nikodym 导数想成「放大倍数」(第 31 页)。如果在某个 附近, 给的概率是 的 2 倍, 给的概率又是 的 3 倍,那么 给的概率就是 的 倍。
  • 为什么只说 -几乎必然:Radon–Nikodym 导数本来就只在几乎必然意义下唯一(第 28 页),在一个 -零概率事件上改动任何一边,等式都可能在那里失效,但作为密度没有区别。

Proof|证明

推导证明思路

第 1 条:零概率事件沿着 一路传下去。第 2 条:记 用命题 21 验证乘积 满足「 关于 的密度」的定义,再用唯一性认出它。

由定理 18(第 27 页),可以取定 和 它们都是取值在 的可测函数。

第 1 条的证明。

  1. 取 设
  2. 因为 所以
  3. 因为 所以
  4. 是任意的 -零概率事件,所以

第 2 条的证明。

  1. 候选函数:令 它是两个非负有限可测函数的乘积,所以非负、有限、可测。
  2. 验证定义:对任意
    注意第二个等号:命题 21 的「这里是 它非负、可测,但一般不是简单函数,所以必须用 第 33 页 证完的第 3 步。
  3. 识别:第 2 步说 满足「对所有 这正是 关于 的密度的定义。由唯一性(第 28 页), -几乎必然。

证毕。顺便注意:第 2 步本身就说明 有关于 的密度 由 第 26 页 的命题,这已经推出 第 1 条单独证一遍,是因为它本身就是一个有用的结论(传递性),而且证明只有两行。

右边为什么不依赖于 L₂ 的版本(选读)

只在 -几乎必然的意义下唯一。设 是另一个版本,它和 只在一个 -零概率事件 上不同。那么 和 只可能在 上不同(在 的地方两个乘积都是 0)。而

函数 的积分为 0,由零积分原理(第 28 页 基础补课)而 所以两个乘积 -几乎必然相等: 的零概率事件里, 的那一部分一定是 的零概率事件。这句话下一页还会用到。

两个直接推论

  • 连换多次:若 则 并且
    证明见下面「推导」一节。 是连乘号,
  • 比值形式:在命题 22 的条件下,如果还有 -几乎必然,那么在 上把第 2 条两边同除以 得
    也就是说:两个概率相对于同一个参照概率的密度都知道时,它们之间的密度就是两个密度之比。第 5 部分计算重要性抽样的权重,用的就是这种「密度之比」(第 35 页、第 38 页)。下一页还会说明: 时,条件 可以由 推出,不必单独检查。

例子

例 1:三点空间,逐点验证

(第 27 页 例 1),每个点在三个概率下都为正,所以所有绝对连续都成立,离散情形的密度就是逐点比值。

点 乘积 直接算

检查:

例 2:两次换硬币

抛一枚硬币,公平(正面概率 0.5);正面概率 0.9;正面概率 0.6。

  • (第 31 页 例 1)。
  • 乘积:
  • 直接:一致。
例 3:零概率点上随便取值也没关系

  • 条件: 没有非空零概率事件,所以 的零概率事件只有 和 而 所以
  • 在 是 在 是 在 可以取任意非负数,因为 比如取 7。
  • 乘积:直接算 一致。
  • 那个随便取的 7 被 「乘没了」。这就是上面选读里说的: 的零概率点里,只有 的部分才会影响乘积,而那部分对 也是零概率。
例 4:连续情形,用比值形式求中间的密度

的密度 的密度

  • 先猜: 在 上处处成立,比值形式提示 这里还没有检查 所以先把它当作猜测。
  • 再验证定义(用命题 21):对任意事件 所以 确实是 关于 的密度;由 第 26 页 的命题,这也顺便证明了
  • 链式法则:回到
  • 「先猜、再验证定义、最后由唯一性认定」是求 Radon–Nikodym 导数最常用的办法,第 38 页求重要性抽样的权重也是这样做的。
例 5(反例):链条断了,「约分」就不成立

是 上的均匀分布(

  • 成立(两者相同), 也成立;但 不成立:
  • 于是 不存在。事实上找不到任何函数 使 在 上左边是 右边是 1。
  • 教训:链式法则的「约分」需要链条上每一环的绝对连续。

推导:一步一步来

推导证明思路

对换测度的次数 做数学归纳: 时公式就是定义;假设 次时成立,把前 次看成「一次」,再用一次命题 22。

命题:设 并且 (则 并且 -几乎必然。

  1. :右边只有一个因子 等式自动成立。
  2. 归纳假设:设 时结论成立,即 并且 -几乎必然。
  3. 用一次命题 22:因为 且 得 并且 -几乎必然。
  4. 代入:把第 2 步的等式代进第 3 步。两个函数 -几乎必然相等,各乘上同一个函数后仍然 -几乎必然相等;两个「-几乎必然」的等式只在两个零概率事件的并上可能失效,而这个并的概率仍是 0。于是 -几乎必然。

数值例子:抛 次硬币,依次把正面概率从 换到 再换到 一个有 个正面的结局上,由 第 31 页「推导」一节的公式,

乘积是 正好等于直接从 换到 的密度

常见疑问与易错点

易错点问:看起来就是约分,为什么还要证明?

答: 不是两个数相除,而是一个由「对所有事件 成立的积分等式」定义出来的函数(第 27 页)。「约分」只是助记;它成立要靠命题 21 和唯一性,而且需要绝对连续的条件——例 5 中链条断了一环,「约分」就完全失效。

易错点问:为什么证明里一定要用 p33 的「非负可测函数」版本,而不能只用简单函数版本?

答:第 2 条证明中代入命题 21 的函数是 密度 一般取无穷多个值(例 4 中 不是简单函数,只有 第 33 页 证完的一般版本才能用。

易错点问:dQ̃/dQ 只在 ℚ-几乎必然意义下确定,乘积却说 ℙ-几乎必然,会不会不一致?

答:不会。 的零概率事件可能不是 的零概率事件( 的零集更多),但在这些事件上改动 只会在 的部分影响乘积,而那一部分对 是零概率(上面选读的证明,以及例 3)。所以乘积在 -几乎必然意义下是确定的。

易错点问:由链式法则能推出 ℙ ≪ Q̃ 吗?

答:不能。链式法则只沿着 这一个方向传递。例 3 中 而 所以 反方向要成立,需要密度处处为正,这是下一页的内容。

小结与自测

小结本页小结
  • 命题 22: ⇒ 并且 -几乎必然。
  • 证明 = 用命题 21 验证乘积满足密度的定义 + 用唯一性认出它。
  • 人话:放大倍数一段一段相乘;连换 次就连乘 个密度。
  • 比值形式:参照概率相同时,两个概率之间的密度是两个密度之比(分母要
  • 条件不可少:链条上任一环不绝对连续,「约分」就失效。
自测

1. 求 并用链式法则求 再直接核对。

点开看答案

乘积 直接:一致。

2. 判断:若 且 则

点开看答案

错误。链式法则只给出 例 3 是反例:但

3. 求 并验证它在 下的期望是 1。

点开看答案

比值形式提示 验证定义:对任意事件 由命题 21,所以它确实是密度。取 得

本页术语中英对照(按出现顺序)
中文English白话解释
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
可测空间measurable space一个集合加上它上面的一个 σ-代数,例如 (Ω, 𝓕);还没有给出测度。
概率测度probability measure总质量 P(Ω) = 1 的测度。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
Radon–Nikodym 导数Radon–Nikodym derivativeQ ≪ P 时存在 L = dQ/dP ≥ 0,使 Q(A) = ∫_A L dP;它是「换测度的密度」。
可测函数measurable function对每个 a,集合 {f > a} 都可测;这样的函数才能积分。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
简单函数simple function只取有限个值的可测函数,是若干示性函数的线性组合,图像像台阶。
重要性抽样importance sampling从另一个更合适的分布抽样,再乘以权重纠正,从而减小估计的方差。
绝对连续absolute continuity函数版:小区间总长很小时增量总和也很小;测度版:Q ≪ P,P 为零的事件 Q 也为零。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
换测度change of measure用 E_Q[X] = E_P[X · dQ/dP] 在两个概率之间换算期望。