这一页在讲什么
先从 换到 再从 换到第三个概率 那么「直接从 换到 的密度就是两段密度的乘积:
它看起来像分数约分,但其实是一个要证明的命题:证明只用两样东西——期望换算公式(命题 21)和密度的唯一性。
- 这是命题 21(第 32 页、第 33 页)证完之后的第一个应用,也是 第 28 页「唯一性是识别工具」那句话的第一次实战。
- 下一页 第 35 页 会把 取成 本身,从链式法则直接读出倒数公式
- 第 42 页「高斯平移的复合」要把两次平移合成一次,用的也是这里的「密度相乘」。
先补基础
- 若 是 的函数、 又是 的函数,则
- 例:所以 直接算 一致。
- 含义:「变化率」一段一段地相乘。Radon–Nikodym 导数是「概率的变化率」(第 27 页 角度二),所以也有同样形状的公式。
课件原文逐句精读
Proposition 22 (Chain rule)
Proof
命题 22(链式法则)
证明
- 课件只印了命题的名字和「Proof」这个标签,命题的内容和证明都是板书,下一节补全。
- Chain rule(链式法则):借用了微积分里的名字,因为结论和 形状一样。
- 蓝条标题 Chain rule for Radon–Nikodym derivatives:Radon–Nikodym 导数的链式法则。
补全课件留白
课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。
Proposition 22 (Chain rule)|命题 22(链式法则)
设 是 上的概率测度,并且 那么
- -几乎必然。
逐条理解:
- 两个条件要「首尾相接」: 保证 存在, 保证 存在(定理 18,第 27 页)。少了任何一个,右边的某个因子就没有定义(见例 5)。
- 第 1 条: 认为不可能的事, 也认为不可能; 认为不可能的事, 也认为不可能。所以 认为不可能的事, 也认为不可能。这保证左边的 存在。
- 第 2 条的人话:把 Radon–Nikodym 导数想成「放大倍数」(第 31 页)。如果在某个 附近, 给的概率是 的 2 倍, 给的概率又是 的 3 倍,那么 给的概率就是 的 倍。
- 为什么只说 -几乎必然:Radon–Nikodym 导数本来就只在几乎必然意义下唯一(第 28 页),在一个 -零概率事件上改动任何一边,等式都可能在那里失效,但作为密度没有区别。
Proof|证明
第 1 条:零概率事件沿着 一路传下去。第 2 条:记 用命题 21 验证乘积 满足「 关于 的密度」的定义,再用唯一性认出它。
由定理 18(第 27 页),可以取定 和 它们都是取值在 的可测函数。
第 1 条的证明。
- 取 设
- 因为 所以
- 因为 所以
- 是任意的 -零概率事件,所以
第 2 条的证明。
- 候选函数:令 它是两个非负有限可测函数的乘积,所以非负、有限、可测。
- 验证定义:对任意 注意第二个等号:命题 21 的「这里是 它非负、可测,但一般不是简单函数,所以必须用 第 33 页 证完的第 3 步。
- 识别:第 2 步说 满足「对所有 这正是 关于 的密度的定义。由唯一性(第 28 页), -几乎必然。
证毕。顺便注意:第 2 步本身就说明 有关于 的密度 由 第 26 页 的命题,这已经推出 第 1 条单独证一遍,是因为它本身就是一个有用的结论(传递性),而且证明只有两行。
右边为什么不依赖于 L₂ 的版本(选读)
只在 -几乎必然的意义下唯一。设 是另一个版本,它和 只在一个 -零概率事件 上不同。那么 和 只可能在 上不同(在 的地方两个乘积都是 0)。而
函数 的积分为 0,由零积分原理(第 28 页 基础补课)而 所以两个乘积 -几乎必然相等: 的零概率事件里, 的那一部分一定是 的零概率事件。这句话下一页还会用到。
两个直接推论
- 连换多次:若 则 并且证明见下面「推导」一节。 是连乘号,
- 比值形式:在命题 22 的条件下,如果还有 -几乎必然,那么在 上把第 2 条两边同除以 得也就是说:两个概率相对于同一个参照概率的密度都知道时,它们之间的密度就是两个密度之比。第 5 部分计算重要性抽样的权重,用的就是这种「密度之比」(第 35 页、第 38 页)。下一页还会说明: 时,条件 可以由 推出,不必单独检查。
例子
抛一枚硬币,公平(正面概率 0.5);正面概率 0.9;正面概率 0.6。
- (第 31 页 例 1)。
- 乘积:
- 直接:一致。
- 条件: 没有非空零概率事件,所以 的零概率事件只有 和 而 所以
- 在 是 在 是 在 可以取任意非负数,因为 比如取 7。
- 乘积:直接算 一致。
- 那个随便取的 7 被 「乘没了」。这就是上面选读里说的: 的零概率点里,只有 的部分才会影响乘积,而那部分对 也是零概率。
是 上的均匀分布(
- 成立(两者相同), 也成立;但 不成立:
- 于是 不存在。事实上找不到任何函数 使 在 上左边是 右边是 1。
- 教训:链式法则的「约分」需要链条上每一环的绝对连续。
推导:一步一步来
对换测度的次数 做数学归纳: 时公式就是定义;假设 次时成立,把前 次看成「一次」,再用一次命题 22。
命题:设 并且 (则 并且 -几乎必然。
- :右边只有一个因子 等式自动成立。
- 归纳假设:设 时结论成立,即 并且 -几乎必然。
- 用一次命题 22:因为 且 得 并且 -几乎必然。
- 代入:把第 2 步的等式代进第 3 步。两个函数 -几乎必然相等,各乘上同一个函数后仍然 -几乎必然相等;两个「-几乎必然」的等式只在两个零概率事件的并上可能失效,而这个并的概率仍是 0。于是 -几乎必然。
数值例子:抛 次硬币,依次把正面概率从 换到 再换到 一个有 个正面的结局上,由 第 31 页「推导」一节的公式,
乘积是 正好等于直接从 换到 的密度
常见疑问与易错点
答: 不是两个数相除,而是一个由「对所有事件 成立的积分等式」定义出来的函数(第 27 页)。「约分」只是助记;它成立要靠命题 21 和唯一性,而且需要绝对连续的条件——例 5 中链条断了一环,「约分」就完全失效。
答:第 2 条证明中代入命题 21 的函数是 密度 一般取无穷多个值(例 4 中 不是简单函数,只有 第 33 页 证完的一般版本才能用。
答:不会。 的零概率事件可能不是 的零概率事件( 的零集更多),但在这些事件上改动 只会在 的部分影响乘积,而那一部分对 是零概率(上面选读的证明,以及例 3)。所以乘积在 -几乎必然意义下是确定的。
答:不能。链式法则只沿着 这一个方向传递。例 3 中 而 所以 反方向要成立,需要密度处处为正,这是下一页的内容。
小结与自测
- 命题 22: ⇒ 并且 -几乎必然。
- 证明 = 用命题 21 验证乘积满足密度的定义 + 用唯一性认出它。
- 人话:放大倍数一段一段相乘;连换 次就连乘 个密度。
- 比值形式:参照概率相同时,两个概率之间的密度是两个密度之比(分母要
- 条件不可少:链条上任一环不绝对连续,「约分」就失效。
1. 求 并用链式法则求 再直接核对。
点开看答案
乘积 直接:一致。
2. 判断:若 且 则
点开看答案
错误。链式法则只给出 例 3 是反例:但
3. 求 并验证它在 下的期望是 1。
点开看答案
比值形式提示 验证定义:对任意事件 由命题 21,所以它确实是密度。取 得
| 中文 | English | 白话解释 |
|---|---|---|
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| 可测空间 | measurable space | 一个集合加上它上面的一个 σ-代数,例如 (Ω, 𝓕);还没有给出测度。 |
| 概率测度 | probability measure | 总质量 P(Ω) = 1 的测度。 |
| 函数 | function / map | f: A → B 给 A 中每个元素指定 B 中唯一一个元素。 |
| Radon–Nikodym 导数 | Radon–Nikodym derivative | Q ≪ P 时存在 L = dQ/dP ≥ 0,使 Q(A) = ∫_A L dP;它是「换测度的密度」。 |
| 可测函数 | measurable function | 对每个 a,集合 {f > a} 都可测;这样的函数才能积分。 |
| 几乎必然收敛 | almost sure convergence | 除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。 |
| 测度 | measure | 给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 简单函数 | simple function | 只取有限个值的可测函数,是若干示性函数的线性组合,图像像台阶。 |
| 重要性抽样 | importance sampling | 从另一个更合适的分布抽样,再乘以权重纠正,从而减小估计的方差。 |
| 绝对连续 | absolute continuity | 函数版:小区间总长很小时增量总和也很小;测度版:Q ≪ P,P 为零的事件 Q 也为零。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| 换测度 | change of measure | 用 E_Q[X] = E_P[X · dQ/dP] 在两个概率之间换算期望。 |