39 重要性抽样：奇点被抵消，估计量变得有界 · 第3讲

这一页在讲什么

人话版一句话版

用上一页选的密度 $q (x) = (1 - α) x^{- α}$ 抽样，每个样本返回

\frac{h ( X )}{q ( X )} = \frac{X ^{- α} e ^{- X}}{( 1 - α ) X ^{- α}} = \frac{e ^{- X}}{1 - α} .

分子分母里的 $X^{- α}$ 互相抵消，奇点消失了。返回值永远夹在 $\frac{e ^{- 1}}{1 - α}$ 和 $\frac{1}{1 - α}$ 之间，是有界的，所以对每个 $0 < α < 1$ 方差都有限。均匀抽样在 $α \geq \frac{1}{2}$ 时做不到这一点（第 36 页）。

这是第 5 部分「抽样中的应用」的第四页。

第 38 页选好了抽样密度 $q ，$ 并证明重要性抽样估计量 $\hat{I}_{n}^{IS} = \frac{1}{n} \sum \frac{h ( X _{i} )}{q ( X _{i} )}$ 无偏。
本页分析这个估计量：每一项化简成什么、有多大、方差是多少。
第 40 页解决最后一个实际问题：怎样用均匀随机数抽出服从 $q$ 的 $X_{i} 。$

先补基础

基础补课加权估计量：样本值 × 权重

$\frac{h ( X )}{q ( X )} = h (X) \cdot \frac{1}{q ( X )} ，$ 其中 $\frac{1}{q} = \frac{d P}{d Q}$ 是「权重」（第 38 页的常见疑问）： $Q$ 抽得多的地方（ $q > 1 ）$ 打折，抽得少的地方（ $q < 1 ）$ 加权。课件小标题里的 weighted estimator（加权估计量）就是这个意思。

基础补课有界的随机变量，方差一定有限，而且有明确上界

若 $m \leq Y \leq M ，$ 取中点 $c = \frac{m + M}{2} ，$ 则 $∣ Y - c ∣ \leq \frac{M - m}{2} 。$ 又因为方差是「到均值的平均平方距离」，不超过到任何常数 $c$ 的平均平方距离（ $E (Y - c)^{2} = Var Y + (E Y - c)^{2} \geq Var Y ），$ 所以

Var Y \leq E (Y - c)^{2} \leq (\frac{M - m}{2})^{2} = \frac{( M - m ) ^{2}}{4} .

基础补课方差公式（回顾）

对处处为正的抽样密度 $q$ （第 38 页「推导」，来自第 35 页）：

Var_{Q} (\frac{h}{q}) = E_{Q} [(\frac{h}{q})^{2}] - I^{2} = E_{P} [\frac{h ^{2}}{q}] - I^{2} .

第二个等号是反向期望公式： $Q$ 下的 $(\frac{h}{q})^{2}$ 花掉一个 $\frac{1}{q} ，$ 变成 $P$ 下的 $\frac{h ^{2}}{q} 。$

课件原文逐句精读

课件原文Importance sampling: cancellation of the singularity

The bounded weighted estimator（以下留白）

中文翻译

蓝条标题：重要性抽样：奇点的抵消。

有界的加权估计量（课件留白，见下一节。）

cancellation：抵消、约掉。这里指分子 $h$ 和分母 $q$ 里相同的奇异因子 $x^{- α}$ 约掉。
singularity：奇点，即 $x \to 0$ 时 $h (x) \to \infty$ 的地方（第 36 页）。
bounded：有界，存在一个常数 $M$ 使所有取值都 $\leq M 。$
weighted estimator：加权估计量，见「先补基础」。

补全课件留白

补充说明

课件此处留白（课堂板书），以下内容由本站根据标准教材补写，记号与本课件保持一致；如与老师课堂写法不同，以老师为准。

The bounded weighted estimator｜有界的加权估计量

命题（有界的加权估计量）

设 $X_{1}, \dots, X_{n}$ 独立同分布，密度为 $q (x) = (1 - α) x^{- α}$ （ $0 < x < 1 ）。$ 令

R_{i} = \frac{h ( X _{i} )}{q ( X _{i} )}, \hat{I}_{n}^{IS} = \frac{1}{n} i = 1 \sum n R_{i} .

则

抵消： $R_{i} = \frac{e ^{- X_{i}}}{1 - α} ；$
有界： $\frac{e ^{- 1}}{1 - α} < R_{i} < \frac{1}{1 - α} ；$
无偏： $E \hat{I}_{n}^{IS} = I ；$
方差有限：

Var R_{i} = \frac{1}{1 - α} \int_{0}^{1} x^{- α} e^{- 2 x} d x - I^{2} \leq \frac{( 1 - e ^{- 1} ) ^{2}}{4 ( 1 - α ) ^{2}},

所以均方误差 $E (\hat{I}_{n}^{IS} - I)^{2} = \frac{Var R _{1}}{n} \to 0 。$

推导证明思路

第 1 条是代数化简；第 2 条用 $e^{- x}$ 在 $(0, 1)$ 上的单调性；第 3 条是第 38 页已证的结论；第 4 条中的等式用「先补基础」的方差公式，不等式用「有界变量的方差上界」。

第 1 步（抵消）：对每个 $x \in (0, 1) ，$

\frac{h ( x )}{q ( x )} = \frac{x ^{- α} e ^{- x}}{( 1 - α ) x ^{- α}} = \frac{e ^{- x}}{1 - α} .

$x^{- α} > 0 ，$ 可以放心约掉。代入 $x = X_{i}$ 即得。

第 2 步（有界）： $e^{- x}$ 严格递减， $0 < x < 1$ 时 $e^{- 1} < e^{- x} < 1 。$ 除以正数 $1 - α$ 即得。

第 3 步（无偏）：见第 38 页第 4 步。也可以直接验证：

E R_{i} = \int_{0}^{1} \frac{e ^{- x}}{1 - α} (1 - α) x^{- α} d x = \int_{0}^{1} x^{- α} e^{- x} d x = I .

第 4 步（方差）：由方差公式，

E_{P} [\frac{h ^{2}}{q}] = \int_{0}^{1} \frac{x ^{- 2 α} e ^{- 2 x}}{( 1 - α ) x ^{- α}} d x = \frac{1}{1 - α} \int_{0}^{1} x^{- α} e^{- 2 x} d x \leq \frac{1}{1 - α} \int_{0}^{1} x^{- α} d x = \frac{1}{( 1 - α ) ^{2}} < \infty.

所以 $Var R_{i} = \frac{1}{1 - α} \int_{0}^{1} x^{- α} e^{- 2 x} d x - I^{2}$ 有限。由第 2 条， $M - m = \frac{1 - e ^{- 1}}{1 - α} ，$ 再用「有界变量的方差上界」得到不等式。最后由第 37 页，均方误差是 $\frac{Var R _{1}}{n} 。$ $■$

图解：两面墙相除，墙就没了

在 $(0, 1)$ 上画三条曲线（取 $α = 0.7 ）：$

$h (x) = x^{- 0.7} e^{- x} ：$ 靠近 0 时像一面墙一样冲向无穷（第 36 页的图解）；
$q (x) = 0.3 x^{- 0.7} ：$ 也是一面墙，冲上去的「速度」和 $h$ 完全一样；
两者之比 $\frac{h}{q} = \frac{e ^{- x}}{0.3} ：$ 一条平缓下降的曲线，从 $x = 0$ 处的 $3.33$ 降到 $x = 0.5$ 处的 $2.02 ，$ 再降到 $x = 1$ 处的 $1.23 。$

均匀抽样时，返回值是 $h$ 本身，墙脚下的点返回巨大的数；用 $q$ 抽样时，墙脚下的点虽然多，返回的却是平缓曲线上的值，再也没有离谱的样本。

和均匀抽样比一比

$α$	$I$	均匀抽样方差 $Var h (U)$	重要性抽样方差 $Var R$	上界 $\frac{( 1 - e ^{- 1} ) ^{2}}{4 ( 1 - α ) ^{2}}$	返回值范围
$0.3$	$0.9881$	$0.650$	$0.0782$	$0.204$	$(0.526, 1.429)$
$0.5$	$1.4936$	$\infty$	$0.1616$	$0.400$	$(0.736, 2)$
$0.7$	$2.7393$	$\infty$	$0.4175$	$1.110$	$(1.226, 3.333)$

$α = 0.3$ 时两种方法的方差都有限，重要性抽样小了约 8.3 倍，也就是说同样的精度只需要约 $\frac{1}{8}$ 的样本（第 45 页的「方差之比 = 样本数之比」）。
$α \geq \frac{1}{2}$ 时均匀抽样的方差是无穷，误差没有 $\frac{σ}{n}$ 的尺度（第 37 页）；重要性抽样的方差仍然是一个普通的有限数。
「上界」一列只用到了有界性，比精确值大 2～3 倍，但不需要任何数值积分。
$α = 0.7$ 的 $0.4175$ 和第 38 页例 2 表中 $β = 0.7$ 的 $0.42$ 是同一个数。

例子

例 1：α = 0.5，四个样本手算

$q (x) = 0.5 x^{- 1/2} ，$ 返回值 $R = \frac{e ^{- X}}{0.5} = 2 e^{- X} 。$ 设已经从 $q$ 抽到 $X = 0.01, 0.16, 0.49, 0.81$ （怎么抽见第 40 页例 1）：

$X_{i}$	$R_{i} = 2 e^{- X_{i}}$
$0.01$	$1.9801$
$0.16$	$1.7043$
$0.49$	$1.2253$
$0.81$	$0.8897$

$\hat{I}_{4}^{IS} = \frac{1.9801 + 1.7043 + 1.2253 + 0.8897}{4} \approx 1.450 ，$ 真值 $I \approx 1.4936 。$ 注意 $X = 0.01$ 离奇点很近，可它返回的 $1.98$ 一点也不离谱：所有 $R_{i}$ 都在 $(0.736, 2)$ 里。若用均匀抽样，在 $u = 0.01$ 处返回 $h (0.01) = 0.0 1^{- 0.5} e^{- 0.01} \approx 9.90 ，$ 是真值的 6.6 倍。

例 2：α = 0.7，同一串随机数，两种方法的样本均值

用 Python 生成同一串均匀随机数，分别喂给两种方法（均匀抽样直接用 $u ；$ 重要性抽样先变换成 $X = u^{1/0.3} ，$ 见第 40 页），记录前 $n$ 个样本的平均值。真值 $I \approx 2.7393 ：$

随机种子	方法	$n = 100$	$n = 1000$	$n = 1 0^{4}$	$n = 1 0^{5}$
1	均匀	3.054	2.386	2.679	2.636
1	重要性	2.724	2.708	2.740	2.739
2	均匀	1.618	2.189	3.209	2.795
2	重要性	2.626	2.736	2.745	2.738
3	均匀	1.937	2.375	2.719	2.665
3	重要性	2.628	2.744	2.739	2.743

均匀抽样到 $n = 1 0^{5}$ 还在 2.64～2.80 之间摇摆（种子 2 在 $n = 1 0^{4}$ 时甚至跳到 3.21：偶然抽到一个极靠近 0 的点）。它最终也会收敛（大数定律只要求 $E h (U) < \infty ），$ 但没有 $\frac{σ}{n}$ 的速度保证。
重要性抽样稳定得多：理论标准差 $0.4175/ n$ 在 $n = 100, 1000, 1 0^{4}, 1 0^{5}$ 时分别约为 $0.065, 0.020, 0.0065, 0.0020 ，$ 表中的偏差都在这个量级之内。

例 3：要 1% 的相对误差需要多少样本

由第 37 页，相对误差 $\approx \frac{Var R / n}{I} 。$ 令它等于 $0.01 ，$ 得 $n \approx \frac{Var R}{( 0.01 I ) ^{2}} ：$

$α = 0.3 ：$ $n \approx \frac{0.0782}{( 0.009881 ) ^{2}} \approx 801 ；$
$α = 0.5 ：$ $n \approx \frac{0.1616}{( 0.014936 ) ^{2}} \approx 724 ；$
$α = 0.7 ：$ $n \approx \frac{0.4175}{( 0.027393 ) ^{2}} \approx 556 。$

均匀抽样在 $α \geq \frac{1}{2}$ 时给不出这样的数字，因为方差是无穷。

常见疑问与易错点

易错点问：奇点刚好抵消，是巧合吗？

答：不是，是设计出来的。第 38 页选 $q$ 时就是「保留 $h$ 的奇异因子 $x^{- α} 、$ 丢掉温和因子 $e^{- x} 」，$ 所以 $\frac{h}{q}$ 只剩温和的那一部分 $\frac{e ^{- x}}{1 - α} 。$ 一般的原则是：让 $q$ 承担 $h$ 里最难对付的部分。

易错点问：为什么 α 越大，所需样本反而越少？

答：抵消之后，返回值 $\frac{e ^{- X}}{1 - α}$ 的「相对波动」只取决于 $e^{- X}$ 在 $q$ 下有多分散。 $α$ 越大， $q$ 越把 $X$ 挤向 0，而 0 附近 $e^{- X} \approx 1$ 几乎不变，相对波动就小。这和均匀抽样正好相反：对均匀抽样， $α$ 越大越糟。

易错点问：上一页例 2 里 β ≈ 0.74 的方差更小，为什么课件用 β = α？

答：（见第 38 页例 2 的表。） $β = α$ 让返回值变成简单的有界函数 $\frac{e ^{- x}}{1 - α} ，$ 有界性一眼可见，分析和编程都最干净； $β = 0.74$ 的方差 0.26 和 0.42 是同一量级，改进有限。实际中「简单、有保证」往往比「数值上最优」更重要。

易错点问：有界就够了吗？还要独立吗？

答：无偏只需要每个 $X_{i}$ 的分布是 $q ；$ 方差公式 $\frac{Var R _{1}}{n}$ 需要 $X_{1}, \dots, X_{n}$ 独立（第 37 页的交叉项为 0）。

小结与自测

小结本页小结

抵消： $\frac{h ( x )}{q ( x )} = \frac{e ^{- x}}{1 - α} ，$ 奇异因子 $x^{- α}$ 约掉。
有界：每个样本返回值都在 $(\frac{e ^{- 1}}{1 - α}, \frac{1}{1 - α})$ 里。
方差： $Var R = \frac{1}{1 - α} \int_{0}^{1} x^{- α} e^{- 2 x} d x - I^{2} \leq \frac{( 1 - e ^{- 1} ) ^{2}}{4 ( 1 - α ) ^{2}} ，$ 对所有 $0 < α < 1$ 都有限。
效果： $α = 0.7$ 时约 556 个样本就能达到 1% 相对误差，而均匀抽样连误差尺度都没有。

自测

1. 取 $α = 0.3 。$ 写出返回值 $R ，$ 它的取值范围是什么？

点开看答案

$R = \frac{e ^{- X}}{0.7} 。$ 因为 $e^{- 1} < e^{- X} < 1 ，$ $R \in (\frac{e ^{- 1}}{0.7}, \frac{1}{0.7}) \approx (0.526, 1.429) 。$

2. 证明：若 $m \leq Y \leq M ，$ 则 $Var Y \leq \frac{( M - m ) ^{2}}{4} 。$

点开看答案

取 $c = \frac{m + M}{2} ，$ 则 $∣ Y - c ∣ \leq \frac{M - m}{2} 。$ 又 $E (Y - c)^{2} = Var Y + (E Y - c)^{2} \geq Var Y ，$ 所以 $Var Y \leq E (Y - c)^{2} \leq \frac{( M - m ) ^{2}}{4} 。$

3. 若有人把抽样密度换成 $q (x) = 1$ （均匀），返回值 $\frac{h}{q}$ 还有界吗？这说明了什么？

点开看答案

$\frac{h}{q} = h (x) = x^{- α} e^{- x} ，$ $x \to 0$ 时趋于无穷，无界； $α \geq \frac{1}{2}$ 时方差甚至是无穷（第 36 页）。这说明有界性来自 $q$ 的选择： $q$ 必须和 $h$ 有同样的奇点，才能把奇点约掉。

本页术语中英对照（按出现顺序）

中文	English	白话解释
方差	variance	Var X = E[(X − E X)²]，衡量随机变量围绕均值的波动大小。
重要性抽样	importance sampling	从另一个更合适的分布抽样，再乘以权重纠正，从而减小估计的方差。
期望	expectation	随机变量对概率测度的积分 E[X] = ∫ X dP，也就是「加权平均」。
独立同分布	independent and identically distributed (i.i.d.)	一列随机变量相互独立，并且分布都相同，例如反复独立地掷同一颗骰子。
上界	upper bound	数集 A 的上界是一个数 M，A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界；所有上界中最小的那个叫上确界。
函数	function / map	f: A → B 给 A 中每个元素指定 B 中唯一一个元素。
分布	law / distribution	X 把概率「推」到取值空间上得到的测度：L(X)(B) = P(X ∈ B)。
独立	independence	任意有限个事件同时发生的概率等于各自概率的乘积。