高等概率论逐页精讲

第 3 讲 Borel–Cantelli、收敛与 Radon–Nikodym›第 5 部分 抽样中的应用

PDF 第 42 / 47 页幻灯片 42/49定理

高斯平移的复合:先挪到 a、再挪到 b,等于一步挪到 b

Composition of Gaussian shifts

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

上一页的 让 现在再换一次测度,得到第三个概率 让 第二段权重必须以当前均值 为中心:用链式法则把两段权重相乘,指数里的项逐一抵消,得到 ——和「一步从 0 挪到 的公式完全一样。

  • 这一页是链式法则(命题 22,第 34 页)在连续情形的第一个具体检验:两条路线(两步走、一步走)必须给出同一个密度,否则链式法则或我们的计算就有错。
  • 它还教一条实用规则:从非标准的正态出发再平移时,先减去当前均值。课件小标题 centered at the current mean 说的就是这个。
  • 下一页 第 43 页 回到一步平移,取 去抽稀有事件。

先补基础

基础补课中心化:减去当前均值
  • 若在 下 令 则在 下 理由:对任意 这里用了上一页的结论
  • 「中心化」(centering)就是减去均值,把中心挪回 0。例:某次 则 表示「比当前均值高 1.5」。
基础补课链式法则回顾(命题 22)
  • 第三个概率记作 (读作「Q 波浪」),和 第 34 页 的记号一致。
  • 命题 22:若 且 则 并且 -几乎必然。人话:放大倍数一段一段相乘。
  • 比值形式(第 34 页):若 则
基础补课本页要用的展开
  • 例:
  • 例:
  • 指数合并:所以两段权重相乘,就是把两个指数相加。

课件原文逐句精读

课件原文课件印刷文字

A second shift centered at the current mean

中文翻译

以当前均值为中心的第二次平移

逐词看:

  • a second shift(第二次平移):上一页 第 41 页 是第一次平移,把 的均值从 0 挪到 这一页在此基础上再挪一次,从 挪到
  • the current mean(当前均值):做完第一次换测度后, 在 下的均值是 (第 41 页「推导」第 2 条算过 「当前」强调:现在的参照概率是 不再是
  • centered at(以……为中心):第二段权重的公式里, 要以 的形式出现,也就是先中心化再代公式。
  • 蓝条标题 Composition of Gaussian shifts:高斯平移的复合。「复合」指一个接一个地做,就像函数的复合

这一页要回答两个问题:(1)第二段权重应该长什么样?(2)两段合起来,是不是等于一步到位?课件只印了小标题,内容是板书,下面补全。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

A second shift centered at the current mean|以当前均值为中心的第二次平移

设定。 是 第 41 页 造出的概率:在 下 再固定一个 目标是造 使 在 下服从

第 1 步:在 下找一个标准正态变量。 由基础补课, 在 下服从

第 2 步:把上一页的命题用在 上。 上一页的命题只用到一件事:「有一个概率,在它之下某个随机变量是标准正态」。把那里的 换成 其中平移量 就得到

上一页的命题保证:这个权重处处为正、在 下期望为 1,所以 是概率,并且在 下

第 3 步:翻译回 所以对任意

最后一步用了 于是在 下 。

另一条路:用「密度之比」核对第二段权重。 在 下 的密度是 目标密度是 按 第 41 页 的思路,权重应是两者之比:

再把第 2 步的「中心化形式」展开:

两者相同。所以 「以当前均值为中心」的公式,正是 的密度除以 的密度。

用链式法则把两次平移合起来

条件。 由关于 的密度定义, 由关于 的密度定义,由 第 26 页 的命题,命题 22 的条件满足。

相乘。 由命题 22,

其中指数

逐项展开。 三块分别是

  1. (原样保留)。

按类型合并(表中「—」表示这一块没有这种项):

项的类型 第 1 块 第 2 块 第 3 块 合计
含 —
含 —
含
含 — —

所以

与一步到位比较。 直接用 第 41 页,把平移量 换成 得到的概率 满足 两者密度完全相同,所以对每个事件

两步走和一步走得到的是同一个概率测度,不只是 的分布相同。

人话版像换外币:汇率相乘

把 想成三种货币,Radon–Nikodym 导数是「汇率」(第 32 页 的比喻)。人民币先换美元、再把美元换欧元,总汇率等于两段汇率相乘,并且等于人民币直接换欧元的汇率——前提是两段报价用的是同一个中间货币。「以当前均值为中心」就相当于第二段必须按「美元」报价(以 为参照),而不是又按「人民币」报价(以 为参照)。

补充分步平移在实际中有什么用

实际的重要性抽样里,最好的平移量往往事先不知道,常见做法是先小挪一步、根据样本再调整、再挪一步。本页保证:无论中间走了多少步,最后的样本权重都可以统一写成相对于原概率 的一个密度(这里是 而估计 下的量只需要这一个总权重。

命题(高斯平移的复合)

设在 下 令 那么

  1. 是概率测度,并且在 下
  2. 因此 与「从 一步平移 得到的概率在所有事件上都相等。

为什么一定要「以当前均值为中心」

一个很自然的错误:直接照抄上一页的公式,把平移量写成 却忘了中心化,用 当第二段权重。检查它能不能归一化:

所以 除非 或 它不等于 1,造出来的「概率」总质量是 根本不是概率。

如果硬要把它归一化(除以它的期望 得到

恰好就是中心化的公式。「以当前均值为中心」不是随意的写法,而是归一化逼出来的。 原因也很好理解:上一页公式 里的 其实是「 减去 下的均值 0」;参照概率换成 之后,要减去的就是 下的均值

例子

例 1:a = 1,b = 3,代数字核对
  • 第一段:
  • 第二段:
  • 相乘:直接公式 一致。
  • 在 处:直接 在 处:直接
  • 三个概率下 的可能性:每挪一步,事件 就变得更常见。
例 2:往回挪(b = 0)就是倒数密度
  • 取
  • 链式法则:所以 挪过去再挪回来,回到原来的概率。
  • 于是 这正是 第 35 页 的倒数密度,也是上一页命题的第 3 条。验证:
例 3:分两小步挪,和一大步一样

把 拆成

  • 第一步(从 0 挪
  • 第二步(从 再挪 以 为中心):
  • 相乘:指数是 和一步挪 相同。
例 4(反例):不中心化,总质量就不是 1

(若错误地取第二段权重 则由上面的计算,按它定义的 不是概率。对比正确的 两者只差常数因子 这个因子恰好就是中心化时减掉的

推导:一步一步来

推导证明思路

把上面的计算写成一个对任意两个均值都成立的公式;再用 第 34 页 的「连换多次」推论,说明任意多步平移的复合都等于一步平移。

  1. 任意两个正态之间的密度之比。 对任意 把上面「另一条路」中的 换成 同样的展开给出
    就是 第 41 页, 就是本页的第二段权重。
  2. 相乘就是分数约分。 这些比值都是正数,可以像普通分数一样约分:
    这是验证本页结论最快的办法;上面按类型合并的表格,是把同一件事用指数写出来。
  3. 任意多步。 取任意一串点 第 步从 挪到 权重是 由 第 34 页 的「连换多次」推论,总密度是连乘积,中间的分子分母两两约掉:
    这种「中间项全部抵消」的乘积叫望远镜乘积(像把一节节套筒收起来)。
  4. 结论。 不管怎么分段,只要每一段都以当前均值为中心,最终的概率都等于一步平移 的概率。例 3 是 每步 的情形。

常见疑问与易错点

易错点问:d Q̃/dℚ 和 d Q̃/dℙ,哪个才是 Q̃ 的「密度」?

答:都是,只是参照的概率不同。同一个 相对 的放大倍数是 相对 的放大倍数是 两者由链式法则联系。用哪一个,取决于你手里的样本是从哪个概率抽出来的。

易错点问:b 可以比 a 小吗?

答:可以, 为负就是往左挪。例:第二段权重 它随 增大而减小,把质量往左搬。例 2 的 是一个特例。

易错点问:两个概率都让 X ~ N(b,1),它们是不是一定相等?

答:不一定。 的分布只描述「和 有关的事件」。如果 里还有一枚和 无关的硬币,你可以在平移 的同时把硬币换成偏的: 仍然服从 但概率测度已经不同。本页能断言 靠的是两者关于 的密度相同,而不仅仅是 的分布相同。

易错点问:链式法则的条件在这里一定满足吗?

答:满足,而且更强。三段密度 都处处为正,所以 两两相互绝对连续(第 35 页),往哪个方向换都可以。

小结与自测

小结本页小结
  • 在 下 时,先中心化 再平移 它就是密度之比
  • 链式法则:两段相乘,指数中含 的项全部抵消,得 与一步平移相同,所以是同一个概率测度。
  • 不中心化的权重 在 下期望是 不满足归一化。
  • 给出倒数密度 分多少步平移结果都一样(望远镜乘积)。
自测

1. 取 写出 乘上 验证结果是

点开看答案

相乘:指数 而 一致。

2. 若错误地用 (即 却没有中心化)作为第二段权重,它在 下的期望是多少?正确的权重是什么?

点开看答案

正确的权重是 它等于错误权重除以

3. 用 第 34 页 的比值形式,从 和 直接求 并说明它与中心化公式相同。

点开看答案

所以 上面「另一条路」已经展开验证过 所以两者相同。

本页术语中英对照(按出现顺序)
中文English白话解释
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
换测度change of measure用 E_Q[X] = E_P[X · dQ/dP] 在两个概率之间换算期望。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
概率测度probability measure总质量 P(Ω) = 1 的测度。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
Radon–Nikodym 导数Radon–Nikodym derivativeQ ≪ P 时存在 L = dQ/dP ≥ 0,使 Q(A) = ∫_A L dP;它是「换测度的密度」。
重要性抽样importance sampling从另一个更合适的分布抽样,再乘以权重纠正,从而减小估计的方差。
绝对连续absolute continuity函数版:小区间总长很小时增量总和也很小;测度版:Q ≪ P,P 为零的事件 Q 也为零。