44 稀有事件抽样：配方算出精确的二阶矩 · 第3讲

这一页在讲什么

人话版一句话版

上一页的估计量 $\overset{p}{^}_{n}$ 有多准，取决于单个样本 $W = 1_{{X > b}} e^{- b X + b^{2} /2}$ 在 $Q$ 下的方差（第 37 页）。均值已知是 $p_{b} ，$ 所以只差二阶矩 $E_{Q} W^{2} 。$ 这一页用「换回 $P 」$ 和「配方」两步，精确算出

E_{Q} W^{2} = e^{b^{2}} p_{2 b} .

接着第 43 页：那里证明了 $\overset{p}{^}_{n}$ 无偏，并且 $0 \leq W \leq e^{- b^{2} /2} 。$ 这一页把方差算到精确值。
两个小标题：The second moment under $Q$ （ $Q$ 下的二阶矩）把问题变成一个积分；Completing the square（配方）把这个积分算出来。
为什么「精确」难得：大多数重要性抽样问题，方差只能靠模拟去估计。高斯情形可以写出闭式，于是能精确比较各种方案的好坏（第 45 页）。

先补基础

基础补课方差 = 二阶矩 − 均值的平方

$Var W = E W^{2} - (E W)^{2} 。$ 这里 $E_{Q} W = p_{b}$ 已知（第 43 页），所以

Var_{Q} W = E_{Q} W^{2} - p_{b}^{2} .

再由第 37 页， $n$ 个样本平均后的均方误差是 $E (\overset{p}{^}_{n} - p_{b})^{2} = \frac{Var _{Q} W}{n} 。$

基础补课示性函数和指数的平方

$1_{A}^{2} = 1_{A} ：$ 0 的平方是 0，1 的平方是 1。
$(e^{u})^{2} = e^{2 u} 。$
所以 $W^{2} = 1_{{X > b}} e^{- 2 b X + b^{2}} 。$

基础补课配方（这次是加号）

第 41 页用过 $x^{2} - 2 a x = (x - a)^{2} - a^{2} 。$ 这里需要加号的版本：

x^{2} + 2 b x = (x + b)^{2} - b^{2} .

验证：右边展开是 $x^{2} + 2 b x + b^{2} - b^{2} 。$ $ϕ (x + b)$ 是中心在 $- b$ 的钟形曲线，即标准正态向左平移 $b 。$

基础补课平移换元

令 $z = x + b ，$ 则 $x$ 从 $b$ 走到 $\infty$ 时 $z$ 从 $2 b$ 走到 $\infty ：$

\int_{b}^{\infty} ϕ (x + b) d x = \int_{2 b}^{\infty} ϕ (z) d z = \overset{ˉ}{Φ} (2 b) = p_{2 b} .

课件原文逐句精读

课件原文Gaussian rare-event sampling: exact second moment

The second moment under $Q$ （留白）

Completing the square（留白）

中文翻译

蓝条标题：高斯稀有事件抽样：精确的二阶矩。

$Q$ 下的二阶矩（课件留白）

配方（课件留白）

（两部分内容见下一节。）

exact：精确的，不是近似或上界。下一页的「直接的界」（a direct bound）才是近似。
second moment：二阶矩，即平方的期望 $E W^{2} 。$
completing the square：配方，把二次式凑成「完全平方 + 常数」。

补全课件留白

补充说明

课件此处留白（课堂板书），以下内容由本站根据标准教材补写，记号与本课件保持一致；如与老师课堂写法不同，以老师为准。

The second moment under ℚ｜ℚ 下的二阶矩

记 $R = \frac{d P}{d Q} = e^{- b X + b^{2} /2} ，$ 则 $W = 1_{{X > b}} R 。$

思路：把一个 $R$ 「花掉」，换回 $P 。$ $W^{2} = 1_{{X > b}} R \cdot R 。$ 把前一半 $V := 1_{{X > b}} R \geq 0$ 看成一个整体，用反向期望公式 $E_{Q} [V R] = E_{P} V$ （第 35 页）：

E_{Q} W^{2} = E_{Q} [V 1_{{X > b}} R \cdot R] = E_{P} [1_{{X > b}} R] = E_{P} [1_{{X > b}} e^{- b X + b^{2} /2}] .

读法： $Q$ 下的二阶矩，等于权重在 $P$ 下、在事件 ${X > b}$ 上的平均。对照第 43 页： $E_{Q} W = E_{P} 1_{{X > b}} ，$ 权重被完全「花掉」；二阶矩多了一个权重，花掉一个还剩一个。

在 $P$ 下 $X$ 有密度 $ϕ ，$ 所以（第 41 页「有密度时怎么算期望」）

E_{Q} W^{2} = \int_{b}^{\infty} e^{- b x + b^{2} /2} ϕ (x) d x .

补充另一条路：直接在 ℚ 下积分

也可以不换回 $P ，$ 直接用 $Q$ 下的密度 $ϕ (x - b) ：$ $E_{Q} W^{2} = \int_{b}^{\infty} e^{- 2 b x + b^{2}} ϕ (x - b) d x 。$ 由第 43 页的恒等式 $e^{- b x + b^{2} /2} ϕ (x - b) = ϕ (x) ，$ 被积函数等于 $e^{- b x + b^{2} /2} ϕ (x) ，$ 和上面完全一样。两条路殊途同归。

Completing the square｜配方

第 1 步：合并指数。 $ϕ (x) = (2 π)^{- 1/2} e^{- x^{2} /2} ，$ 所以被积函数是 $(2 π)^{- 1/2}$ 乘以 $e$ 的

- b x + \frac{b ^{2}}{2} - \frac{x ^{2}}{2}

次方。

第 2 步：配方。 每一步都写出来：

- b x + \frac{b ^{2}}{2} - \frac{x ^{2}}{2} = - \frac{1}{2} (x^{2} + 2 b x) + \frac{b ^{2}}{2} = - \frac{1}{2} ((x + b)^{2} - b^{2}) + \frac{b ^{2}}{2} = - \frac{( x + b ) ^{2}}{2} + \frac{b ^{2}}{2} + \frac{b ^{2}}{2} = - \frac{( x + b ) ^{2}}{2} + b^{2} . （提出 - \frac{1}{2} ） （配方 x^{2} + 2 b x = (x + b)^{2} - b^{2} ） （乘进去）

第 3 步：认出平移后的密度。

e^{- b x + b^{2} /2} ϕ (x) = (2 π)^{- 1/2} e^{- (x + b)^{2} /2} \cdot e^{b^{2}} = e^{b^{2}} ϕ (x + b) .

第 4 步：积分。 常数 $e^{b^{2}}$ 提出来，再平移换元：

E_{Q} W^{2} = e^{b^{2}} \int_{b}^{\infty} ϕ (x + b) d x = e^{b^{2}} \int_{2 b}^{\infty} ϕ (z) d z = e^{b^{2}} p_{2 b} .

命题（精确二阶矩与方差）

对第 43 页的估计量，

E_{Q} W^{2} = e^{b^{2}} p_{2 b}, Var_{Q} W = e^{b^{2}} p_{2 b} - p_{b}^{2}, E (\overset{p}{^}_{n} - p_{b})^{2} = \frac{e ^{b^{2}} p _{2 b} - p _{b}^{2}}{n} .

图解：一个巨大的数乘一个极小的数

$e^{b^{2}}$ 增长得极快， $p_{2 b}$ 缩小得更快，两者相乘：

$b$	$e^{b^{2}}$	$p_{2 b}$	$E_{Q} W^{2} = e^{b^{2}} p_{2 b}$	$p_{b}^{2}$	$Var_{Q} W$	$\frac{Var _{Q} W}{p _{b}^{2}}$
1	$2.72$	$0.0228$	$0.0618$	$0.0252$	$0.0367$	$1.46$
2	$54.6$	$3.17 \times 1 0^{- 5}$	$1.73 \times 1 0^{- 3}$	$5.18 \times 1 0^{- 4}$	$1.21 \times 1 0^{- 3}$	$2.34$
3	$8103$	$9.87 \times 1 0^{- 10}$	$7.99 \times 1 0^{- 6}$	$1.82 \times 1 0^{- 6}$	$6.17 \times 1 0^{- 6}$	$3.39$
4	$8.89 \times 1 0^{6}$	$6.22 \times 1 0^{- 16}$	$5.53 \times 1 0^{- 9}$	$1.00 \times 1 0^{- 9}$	$4.52 \times 1 0^{- 9}$	$4.51$
5	$7.20 \times 1 0^{10}$	$7.62 \times 1 0^{- 24}$	$5.49 \times 1 0^{- 13}$	$8.22 \times 1 0^{- 14}$	$4.67 \times 1 0^{- 13}$	$5.68$

最后一列最重要：它是单个样本的「相对方差」。 $p_{b}$ 从 $0.16$ 缩小到 $2.9 \times 1 0^{- 7} ，$ 它只从 1.46 涨到 5.68。由第 37 页，要让相对误差降到 10%，需要的样本数约为 $100 \times \frac{Var _{Q} W}{p _{b}^{2}} ：$ $b = 1$ 到 $5$ 分别约 146、234、339、451、568 个。

例子

例 1：b = 4 的模拟检验

第 43 页例 2 的那次模拟（ $n = 10000 ）$ 里， $W_{i}^{2}$ 的样本平均是 $5.47 \times 1 0^{- 9} ，$ 与精确值 $e^{16} p_{8} \approx 5.53 \times 1 0^{- 9}$ 相差约 1%。由命题，相对误差的理论值是

\frac{Var _{Q} W / n}{p _{4}} = \frac{4.52 \times 1 0 ^{- 9} /1 0 ^{4}}{3.17 \times 1 0 ^{- 5}} \approx 2.1%,

和用样本方差估出来的 2.1% 一致。

例 2：用同样的配方处理任意平移量 a

如果把中心挪到 $a$ 而不是 $b$ （ $Q_{a}$ 下 $X \sim N (a, 1) ），$ 估计量是 $W_{a} = 1_{{X > b}} e^{- a X + a^{2} /2} 。$ 完全相同的两步：

换回 $P ：$ $E_{Q_{a}} W_{a}^{2} = E_{P} [1_{{X > b}} e^{- a X + a^{2} /2}] ；$
配方： $- a x + \frac{a ^{2}}{2} - \frac{x ^{2}}{2} = - \frac{( x + a ) ^{2}}{2} + a^{2} 。$

于是

E_{Q_{a}} W_{a}^{2} = e^{a^{2}} \int_{b}^{\infty} ϕ (x + a) d x = e^{a^{2}} p_{a + b} .

$a = 0$ （不换测度）： $E W_{0}^{2} = p_{b} ，$ 正是伯努利抽样（ $1^{2} = 1 ）。$
$a = b ：$ 回到本页的 $e^{b^{2}} p_{2 b} 。$

第 45 页会用这个公式比较不同的 $a 。$

例 3：b = 1 时直接核对

$e^{1} \times p_{2} = 2.718 \times 0.02275 \approx 0.0618 。$ 另一方面，按定义直接数值积分 $\int_{1}^{\infty} e^{- x + 1/2} ϕ (x) d x ，$ 也得到约 0.0618。 $p_{1}^{2} \approx 0.0252 ，$ 方差约 0.0367。和伯努利抽样的方差 $p_{1} (1 - p_{1}) \approx 0.133$ 相比，已经小了约 3.6 倍； $b$ 越大，这个倍数越惊人（第 45 页）。

拓展延伸

理想的换测度：方差为 0，但用不了

设想抽样分布取 $Q^{*} = P (\cdot ∣ X > b) ，$ 即在 $P$ 下以事件 ${X > b}$ 为条件。这时每个样本都落在 ${X > b}$ 里，并且在这个事件上 $\frac{d P}{d Q ^{*}} = p_{b}$ 是常数，所以 $W^{*} = 1_{{X > b}} \cdot p_{b} = p_{b}$ 恒为常数，方差为 0：一个样本就给出精确答案。可惜写出 $W^{*}$ 需要先知道 $p_{b} ，$ 而这正是要估计的量，所以它只是一个理想目标。

本页的平移 $N (b, 1)$ 可以看成对 $Q^{*}$ 的模仿。在 $X > b$ 的条件下， $X$ 大多落在 $b$ 稍右一点的地方：条件均值 $E [X ∣ X > b] = \frac{ϕ ( b )}{p _{b}} ，$ $b = 2, 3, 4, 5$ 时约为 $2.37 、$ $3.28 、$ $4.23 、$ $5.19 ，$ 接近 $b + \frac{1}{b} 。$ 把抽样中心挪到 $b ，$ 就把样本送到了「真正重要」的区域。这就是相对方差只随 $b$ 线性增长、而不像伯努利抽样那样按 $\frac{1}{p _{b}}$ 爆炸的原因。

用中心极限定理给出误差棒

$\overset{p}{^}_{n}$ 是 $n$ 个独立同分布的 $W_{i}$ 的平均。由中心极限定理（作业 2 第 4 题的「先补基础」）， $n$ 很大时 $\frac{p ^ _{n} - p _{b}}{Var _{Q} W / n}$ 近似服从标准正态分布，所以区间

\overset{p}{^}_{n} \pm 1.96 Var_{Q} W / n

以大约 95% 的概率盖住真值 $p_{b} 。$ $b = 4 、$ $n = 1 0^{4}$ 时，半宽约为 $p_{4}$ 的 $1.96 \times 2.1% \approx 4.2% 。$ 实际中 $Var_{Q} W$ 未知，用样本方差代替；由 Slutsky 定理（作业 2 第 9 题），这样的区间仍然近似有 95% 的覆盖率。

常见疑问与易错点

易错点问：e^{b²} 这么大，方差不会爆炸吗？

答：不会，因为它乘的是 $p_{2 b} ，$ 而 $p_{2 b} \approx \frac{ϕ ( 2 b )}{2 b} = \frac{e ^{- 2 b^{2}}}{2 b 2 π}$ 缩小得更快。乘积约为 $\frac{e ^{- b^{2}}}{2 b 2 π} ，$ 和 $p_{b}^{2} \approx \frac{e ^{- b^{2}}}{2 π b ^{2}}$ 是同一个量级，两者之比约为 $b π /2 ，$ 只随 $b$ 线性增长。

易错点问：为什么

E_{Q} W^{2}

不是

p_{b}^{2} ？

答： $E W^{2} = (E W)^{2}$ 只在 $W$ 是常数时成立，此时方差为 0。这里 $W$ 有时是 0（未命中），有时是不同的正数，所以 $E_{Q} W^{2} > p_{b}^{2} ，$ 差值就是方差。

易错点问：配方这一步有没有好记的口诀？

答：有：钟形曲线乘上一个指数因子，等于把它平移，再乘一个常数。准确地说，对任何实数 $c ，$

e^{c x} ϕ (x) = e^{c^{2} /2} ϕ (x - c),

因为 $- \frac{x ^{2}}{2} + c x = - \frac{( x - c ) ^{2}}{2} + \frac{c ^{2}}{2} 。$ 本页取 $c = - b ：$ $e^{- b x} ϕ (x) = e^{b^{2} /2} ϕ (x + b) ，$ 再乘上权重里本来就有的 $e^{b^{2} /2} ，$ 正好得到 $e^{b^{2}} ϕ (x + b) 。$ 第 43 页用过的恒等式 $e^{- b x + b^{2} /2} ϕ (x - b) = ϕ (x)$ 也是这句口诀的特例（把 $x - b$ 看成新的变量）。

易错点问：「花掉一个 R」那一步为什么合法？

答：反向期望公式 $E_{Q} [V \frac{d P}{d Q}] = E_{P} V$ 对任何非负可测的 $V$ 都成立（第 35 页）。这里 $V = 1_{{X > b}} R$ 是 $X$ 的非负可测函数，满足条件。

小结与自测

小结本页小结

$W^{2} = 1_{{X > b}} R^{2} ，$ 用反向期望公式花掉一个 $R ：$ $E_{Q} W^{2} = E_{P} [1_{{X > b}} e^{- b X + b^{2} /2}] 。$
配方 $- b x + \frac{b ^{2}}{2} - \frac{x ^{2}}{2} = - \frac{( x + b ) ^{2}}{2} + b^{2} ，$ 得 $E_{Q} W^{2} = e^{b^{2}} p_{2 b} 。$
方差 $e^{b^{2}} p_{2 b} - p_{b}^{2} ；$ 相对方差只随 $b$ 缓慢增长， $b = 4$ 时约 4.5。
任意平移量 $a ：$ $E_{Q_{a}} W_{a}^{2} = e^{a^{2}} p_{a + b} 。$

自测

1. 取 $b = 2 ，$ 用 $p_{2} \approx 0.02275 、$ $p_{4} \approx 3.167 \times 1 0^{- 5}$ 算出 $E_{Q} W^{2}$ 和 $Var_{Q} W 。$

点开看答案

$E_{Q} W^{2} = e^{4} p_{4} \approx 54.60 \times 3.167 \times 1 0^{- 5} \approx 1.729 \times 1 0^{- 3} ；$ $Var_{Q} W \approx 1.729 \times 1 0^{- 3} - 0.0227 5^{2} \approx 1.729 \times 1 0^{- 3} - 5.18 \times 1 0^{- 4} \approx 1.21 \times 1 0^{- 3} 。$

2. 对一般的 $a$ 验证配方 $- a x + \frac{a ^{2}}{2} - \frac{x ^{2}}{2} = - \frac{( x + a ) ^{2}}{2} + a^{2} 。$

点开看答案

右边 $= - \frac{x ^{2} + 2 a x + a ^{2}}{2} + a^{2} = - \frac{x ^{2}}{2} - a x - \frac{a ^{2}}{2} + a^{2} = - \frac{x ^{2}}{2} - a x + \frac{a ^{2}}{2} ，$ 与左边相同。

3. $b = 4$ 时，重要性抽样要多少个样本才能让相对误差降到 1%？

点开看答案

相对误差 $\approx \frac{Var _{Q} W}{n p _{4}^{2}} = \frac{4.51}{n} 。$ 令它等于 $0.01 ，$ 得 $n \approx \frac{4.51}{1 0 ^{- 4}} \approx 4.5 \times 1 0^{4} 。$ 伯努利抽样则要约 $\frac{1}{1 0 ^{- 4} p _{4}} \approx 3.2 \times 1 0^{8}$ 个。

本页术语中英对照（按出现顺序）

中文	English	白话解释
方差	variance	Var X = E[(X − E X)²]，衡量随机变量围绕均值的波动大小。
阶矩	moment	E[\|X\|ᵖ] 叫 p 阶（绝对）矩；它有限与否反映尾部有多「重」。
重要性抽样	importance sampling	从另一个更合适的分布抽样，再乘以权重纠正，从而减小估计的方差。
事件	event	样本空间的（允许谈概率的）子集；实现的 ω 落在里面，就说事件发生。
上界	upper bound	数集 A 的上界是一个数 M，A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界；所有上界中最小的那个叫上确界。
期望	expectation	随机变量对概率测度的积分 E[X] = ∫ X dP，也就是「加权平均」。
函数	function / map	f: A → B 给 A 中每个元素指定 B 中唯一一个元素。
换测度	change of measure	用 E_Q[X] = E_P[X · dQ/dP] 在两个概率之间换算期望。
分布	law / distribution	X 把概率「推」到取值空间上得到的测度：L(X)(B) = P(X ∈ B)。
独立同分布	independent and identically distributed (i.i.d.)	一列随机变量相互独立，并且分布都相同，例如反复独立地掷同一颗骰子。
中心极限定理	central limit theorem (CLT)	独立同分布、方差 σ² 有限时，(Sₙ − nμ)/(σ√n) 依分布收敛到标准正态分布：大量独立小误差之和近似正态。
标准正态分布	standard normal distribution	均值 0、方差 1 的正态分布 N(0, 1)，密度 exp(−x²/2)/√(2π)，分布函数记作 Φ。
区间	interval	数轴上的一段，[a,b] 包含端点，(a,b) 不包含端点。
Slutsky 定理	Slutsky's theorem	Xₙ 依分布收敛到 X，Yₙ 依概率收敛到常数 c，则 Xₙ + Yₙ 依分布收敛到 X + c，XₙYₙ 依分布收敛到 cX。
可测函数	measurable function	对每个 a，集合 {f > a} 都可测；这样的函数才能积分。