38 重要性抽样：选一个「模仿奇点」的抽样密度 · 第3讲

这一页在讲什么

人话版一句话版

均匀抽样的麻烦在于： $h$ 的大部分「分量」堆在 0 附近，均匀撒点却很少撒到那里（第 36 页）。解决办法是换一个抽样分布：用密度 $q (x) = (1 - α) x^{- α}$ 抽样，它和 $h$ 有同样的奇点，会把更多的点撒到 0 附近；再给每个样本乘上权重 $\frac{1}{q}$ 纠偏。由第 35 页的反向期望公式， $I = E_{P} h = E_{Q} [\frac{h}{q}] ，$ 估计仍然无偏。

这是第 5 部分「抽样中的应用」的第三页。

第 36 页提出问题：均匀抽样估计量无偏，但 $α \geq \frac{1}{2}$ 时方差无穷。
第 37 页说明为什么方差要紧：误差尺度是 $\frac{σ}{n} ，$ $σ^{2} = \infty$ 时这把尺子失效。
本页给出办法的第一步：选抽样密度。它把第 4 部分的换测度（第 26 页–第 35 页）真正用了起来。
接下来第 39 页证明这样做以后被平均的量有界、方差有限；第 40 页说明怎样用一个均匀随机数抽出服从 $q$ 的样本。

先补基础

基础补课重要性抽样的想法：抽得多就打折，抽得少就加权

想算 $E_{P} h ，$ 却从另一个概率 $Q$ 抽样。 $Q$ 在某处抽得比 $P$ 多，那里的样本就要「打折」；抽得比 $P$ 少，就要「加权」。折扣或加权的倍数是 $\frac{d P}{d Q} = \frac{1}{L}$ （第 35 页）。
小例子：一个班 10 人，想知道平均零花钱。如果故意让 1 号同学被抽到的机会是别人的 9 倍，那么抽到 1 号时，他的数字只能按 $\frac{1}{9}$ 的分量计入，结果才不偏。
为什么要「故意」偏着抽？因为如果 1 号同学的零花钱特别多，他对平均值影响最大（最「重要」），多抽他可以减少误差。这就是重要性抽样（importance sampling）名字的由来。

基础补课由密度造出的新概率，以及反向期望公式（第 26、35 页）

若 $q \geq 0$ 可测、 $E_{P} q = 1 ，$ 则 $Q (A) = E_{P} [q 1_{A}] = \int_{A} q d P$ 是一个概率，并且 $Q ≪ P ，$ $\frac{d Q}{d P} = q$ （第 26 页、第 27 页、第 28 页）。
若还有 $q > 0$ $P$ -几乎必然，则 $P ≪ Q ，$ 对每个可测的 $X \geq 0$ （第 35 页）：

E_{P} X = E_{Q} [\frac{X}{q}] .

本页的 $P = λ$ 是 $(0, 1)$ 上的长度，所以「 $q$ 是 $Q$ 关于 $P$ 的密度」就是通常说的「 $q$ 是 $Q$ 的概率密度函数」。

基础补课两个要用的积分事实

幂函数（第 36 页基础补课）： $\int_{0}^{1} x^{- p} d x = \frac{1}{1 - p}$ （ $p < 1 ）；$ $p \geq 1$ 时积分是 $\infty 。$
按分布求期望（无意识统计学家定律，第 7 页）：若随机变量 $X$ 的分布是 $Q ，$ 即 $P (X \in A) = Q (A) ，$ 则对非负可测的 $g ，$ $E g (X) = \int g d Q = E_{Q} g 。$

课件原文逐句精读

课件原文Importance sampling: choice of the density

On $Ω = (0, 1)$ with $F = B ((0, 1))$ , let $P = λ$ and $h (x) = x^{- α} e^{- x}$ , where $0 < α < 1$ . The target is $I = \int h d P$ .

Choice of the sampling density

中文翻译

（标题：重要性抽样——密度的选择）

在 $Ω = (0, 1)$ 上取 $F = B ((0, 1)) ，$ 令 $P = λ ，$ $h (x) = x^{- α} e^{- x} ，$ 其中 $0 < α < 1 。$ 目标是 $I = \int h d P 。$

抽样密度的选择

逐句看：

On $Ω = (0, 1)$ with $F = B ((0, 1))$ , let $P = λ$ ：样本空间是 $(0, 1) ，$ 事件是博雷尔集，概率是长度，也就是「均匀地取一个点」。样本点记作 $x 。$
$h (x) = x^{- α} e^{- x}$ , $0 < α < 1$ ：和第 36 页例 23 是同一个函数（那里变量叫 $u ）。$ 现在它是 $Ω$ 上的一个非负随机变量。
The target is $I = \int h d P$ ：目标 $I = E_{P} h = \int_{0}^{1} x^{- α} e^{- x} d x ，$ 和第 36 页的 $I$ 相同。第 36 页已证 $\frac{e ^{- 1}}{1 - α} \leq I \leq \frac{1}{1 - α} ；$ $α = 0.7$ 时 $I \approx 2.7393 。$
为什么要换成测度论的写法：这样「从 $P$ 抽样」和「从另一个概率 $Q$ 抽样」可以放在同一个 $(Ω, F)$ 上比较，第 4 部分的公式就能直接用。
Choice of the sampling density：sampling density（抽样密度）是我们实际抽样所用分布的密度。这个小标题下留白，下面补全：选哪个 $q 、$ 为什么、选了以后 $I$ 怎么表示。

补全课件留白

补充说明

课件此处留白（课堂板书），以下内容由本站根据标准教材补写，记号与本课件保持一致；如与老师课堂写法不同，以老师为准。

Choice of the sampling density｜抽样密度的选择

第 1 步：我们对抽样密度 $q$ 有三点要求。

不漏掉任何地方： $h > 0$ 的地方都要有 $q > 0 ，$ 否则那一块 $Q$ 永远抽不到，估计会偏小（例 3）。本题 $h$ 在整个 $(0, 1)$ 上为正，所以要 $q > 0$ 处处成立。
被平均的量要稳：从 $Q$ 抽样时，每个样本返回 $\frac{h}{q} 。$ 它的方差越小越好，至少要有限（第 37 页）。
抽得出来：要能方便地生成服从 $q$ 的随机数（第 40 页）。

第 2 步：理想的选择和现实的折中。 若取 $q^{*} = \frac{h}{I}$ （ $h \geq 0 ，$ 积分为 1，是密度），则 $\frac{h}{q ^{*}} \equiv I$ 是常数，方差为 0，一个样本就给出精确答案。可是写出 $q^{*}$ 需要先知道 $I$ ——这正是我们要算的东西。所以现实的原则是：让 $q$ 大致和 $h$ 成比例，同时又能精确归一化、方便抽样。

第 3 步：看 $h$ 的两个因子。 $h (x) = x^{- α} \cdot e^{- x} 。$

$e^{- x}$ 在 $(0, 1)$ 上只在 $e^{- 1} \approx 0.37$ 和 $1$ 之间温和地变化，不制造麻烦；
$x^{- α}$ 在 0 处趋于无穷，是奇点的来源，而且它的积分能精确算出来。

所以保留奇异的因子、丢掉温和的因子：取 $q (x) = c x^{- α} ，$ 用归一化定出常数： $\int_{0}^{1} c x^{- α} d x = \frac{c}{1 - α} = 1 ，$ 得 $c = 1 - α 。$

命题（抽样密度与重要性抽样公式）

在本页的设定下，令

q (x) = (1 - α) x^{- α}, x \in (0, 1),

并令 $Q (A) = \int_{A} q d P$ （ $A \in F ）。$ 则

$q$ 是关于 $P$ 的概率密度： $q > 0 ，$ $\int q d P = 1 ；$
$Q$ 是 $((0, 1), F)$ 上的概率， $Q ≪ P ，$ 且 $\frac{d Q}{d P} = q ；$
$q > 0$ 处处成立，所以 $P ≪ Q ，$ $\frac{d P}{d Q} = \frac{1}{q} ；$
重要性抽样公式： $\frac{h}{q} \in L^{1} (Q) ，$ 并且

I = E_{P} h = E_{Q} [\frac{h}{q}] .

推导证明

$q$ 在 $(0, 1)$ 上连续，因而可测； $1 - α > 0 、$ $x^{- α} > 0 ，$ 所以 $q > 0 。$ 由幂函数的积分（ $p = α < 1 ），$ $\int_{0}^{1} (1 - α) x^{- α} d x = (1 - α) \cdot \frac{1}{1 - α} = 1 。$
由第 26 页，非负、积分为 1 的 $q$ 定义的 $Q$ 是概率，且 $Q ≪ P ；$ 按 Radon–Nikodym 导数的定义（第 27 页）和唯一性（第 28 页）， $\frac{d Q}{d P} = q 。$
密度 $L = q$ 处处为正，由第 35 页的相互绝对连续命题， $P ≪ Q ，$ 倒数密度 $\frac{d P}{d Q} = \frac{1}{q} 。$
$h \geq 0$ 可测，由第 35 页的反向期望公式， $E_{P} h = E_{Q} [\frac{h}{q}] 。$ 左边是 $I < \infty$ （第 36 页），所以右边有限， $\frac{h}{q} \in L^{1} (Q) 。$

第 4 步：由公式得到估计量。 设 $X_{1}, \dots, X_{n}$ 独立同分布，分布都是 $Q$ （即密度为 $q ），$ 令

\hat{I}_{n}^{IS} = \frac{1}{n} i = 1 \sum n \frac{h ( X _{i} )}{q ( X _{i} )} .

（IS 是 importance sampling 的缩写。）由无意识统计学家定律， $E [\frac{h ( X _{i} )}{q ( X _{i} )}] = E_{Q} [\frac{h}{q}] = I ，$ 再由线性， $E \hat{I}_{n}^{IS} = I ：$ 和均匀抽样一样无偏。区别在方差，见第 39 页。

人话版直觉：抽样密度模仿奇点

取 $α = 0.7 ，$ $q (x) = 0.3 x^{- 0.7} ，$ 它的分布函数是 $Q ((0, t)) = t^{0.3}$ （第 40 页会算）。比较三列数：

区域	均匀抽样落在这里的概率	从 $q$ 抽样落在这里的概率	这里对 $I$ 的贡献占比
$(0, 0.001)$	0.001	0.126	15.3%
$(0, 0.01)$	0.01	0.251	30.5%
$(0, 0.1)$	0.1	0.501	59.6%
$(0, 0.5)$	0.5	0.812	88.9%

积分 $I$ 有 30% 来自 $(0, 0.01)$ 这个长度只有 1% 的小区间。均匀抽样只有 1% 的点落在那里，所以那 30% 的贡献全靠极少数巨大的样本值撑着——这就是方差爆炸的原因。
从 $q$ 抽样，有 25% 的点落在那里，撒点的密集程度大致跟着「贡献」走。每个点返回的值 $\frac{h}{q}$ 因此不再忽大忽小。
这就是「模仿奇点」的意思：让抽样分布本身在 0 附近堆积，堆积的速度（ $x^{- α} ）$ 和 $h$ 的奇点一样。

例子

例 1：离散的小例子——偏着抽，再打折

$Ω = {1, \dots, 10} ，$ $P$ 均匀（每点 $\frac{1}{10} ），$ $h (1) = 91 ，$ $h (k) = 1$ （ $k \geq 2 ）。$ 目标 $I = E_{P} h = \frac{91 + 9}{10} = 10 。$

均匀抽样：单个样本 $h$ 的二阶矩 $\frac{9 1 ^{2} + 9}{10} = 829 ，$ 方差 $829 - 100 = 729 。$
偏着抽：令 $Q ({1}) = \frac{1}{2} ，$ $Q ({k}) = \frac{1}{18}$ （ $k \geq 2 ）。$ 密度 $L = \frac{d Q}{d P}$ 是「新概率 ÷ 旧概率」： $L (1) = 5 ，$ $L (k) = \frac{10}{18} = \frac{5}{9} 。$ 返回值 $\frac{h}{L} ：$ 抽到 1 时是 $\frac{91}{5} = 18.2 ，$ 抽到其他点时是 $\frac{1}{5/9} = 1.8 。$
无偏： $E_{Q} [\frac{h}{L}] = \frac{1}{2} \times 18.2 + \frac{1}{2} \times 1.8 = 10 。$
方差： $\frac{1}{2} \times 18. 2^{2} + \frac{1}{2} \times 1. 8^{2} - 100 = 165.62 + 1.62 - 100 = 67.24 ，$ 只有均匀抽样的约 $\frac{1}{11} 。$
理想选择：令 $Q$ 与 $h$ 成比例， $Q ({1}) = \frac{91}{100} ，$ $Q ({k}) = \frac{1}{100} 。$ 则 $L (1) = 9.1 ，$ $L (k) = 0.1 ，$ 返回值永远是 $\frac{91}{9.1} = \frac{1}{0.1} = 10 ：$ 方差为 0。但构造它要先知道总和 100，也就是先知道 $I 。$

例 2：换不同的指数——q_β(x) = (1 − β)x^(−β)

把抽样密度放宽成一族： $q_{β} (x) = (1 - β) x^{- β} ，$ $β < 1$ （ $β = 0$ 就是均匀抽样， $β = α$ 是课件的选择）。由第 35 页「推导」（二），返回值的二阶矩是

E_{Q_{β}} [(\frac{h}{q _{β}})^{2}] = E_{P} [\frac{h ^{2}}{q _{β}}] = \frac{1}{1 - β} \int_{0}^{1} x^{β - 2 α} e^{- 2 x} d x .

由幂函数的判别（ $e^{- 2 x}$ 夹在 $e^{- 2}$ 与 1 之间，不影响有限与否），它有限当且仅当 $2 α - β < 1 ，$ 即 $β > 2 α - 1$ 。

取 $α = 0.7$ （ $I \approx 2.7393 ），$ 要求 $0.4 < β < 1 。$ 数值积分得到方差 $Var_{Q_{β}} (h / q_{β}) ：$

$β$	0（均匀）	0.5	0.6	0.7（课件）	0.74	0.9
方差	$\infty$	10.15	2.36	0.42	0.26	4.46

$β$ 不够大（模仿得不够），方差无穷或很大； $β$ 太接近 1， $q_{β}$ 把点过度挤向 0，右边抽得太少，方差又变大。
$β = α$ 不一定是方差最小的（数值上 $β \approx 0.74$ 略好），但它让返回值变成有界的简单函数 $\frac{e ^{- x}}{1 - α} ，$ 分析和抽样都最干净。这是课件选它的原因，第 39 页详细分析。

例 3（反例）：抽样密度在一块区域上为 0

取 $q = 2 1_{(0, 1/2)}$ （只在左半边抽样）。返回值 $\frac{h}{q}$ 在 $(0, \frac{1}{2})$ 上是 $\frac{h}{2} ，$ 在右半边 $Q$ 根本抽不到。于是

E_{Q} [\frac{h}{q}] = \int_{0}^{1/2} \frac{h ( x )}{2} \cdot 2 d x = \int_{0}^{1/2} h (x) d x < I .

$α = 0.7$ 时左边约 2.4346，比 $I \approx 2.7393$ 少了 $\int_{1/2}^{1} h \approx 0.3047 。$ 这正是第 35 页例 3 的情形： $P (q = 0) = \frac{1}{2} > 0 ，$ 反向期望公式的条件不成立。要求 1（不漏掉任何地方）不能省。

推导：一步一步来

为什么「 $q$ 与 $h$ 成比例」方差为 0，以及方差公式在说什么。 由第 35 页「推导」（二），对任意处处为正的抽样密度 $q ，$

Var_{Q} (\frac{h}{q}) = E_{P} [\frac{h ^{2}}{q}] - I^{2} .

读法：方差只由 $E_{P} [h^{2} / q]$ 决定。 $h$ 大而 $q$ 小的地方， $\frac{h ^{2}}{q}$ 会非常大。所以 $q$ 必须在 $h$ 大的地方也大。
理想情形： $q^{*} = \frac{h}{I}$ 时， $\frac{h ^{2}}{q ^{*}} = I h ，$ $E_{P} [I h] = I \cdot I = I^{2} ，$ 方差为 0。
均匀抽样（ $q = 1 ）：$ $E_{P} [h^{2}] = \int_{0}^{1} x^{- 2 α} e^{- 2 x} d x ，$ $α \geq \frac{1}{2}$ 时是 $\infty$ （第 36 页）。
课件的 $q$ ： $\frac{h ^{2}}{q} = \frac{x ^{- 2 α} e ^{- 2 x}}{( 1 - α ) x ^{- α}} = \frac{x ^{- α} e ^{- 2 x}}{1 - α} ，$ 奇点从 $x^{- 2 α}$ 降回 $x^{- α} ，$ 对所有 $0 < α < 1$ 都可积。第 39 页由此算出方差。

估计量为什么无偏（补全第 4 步）。 每个 $\frac{h ( X _{i} )}{q ( X _{i} )}$ 非负，期望是 $I < \infty ，$ 所以可积；可积随机变量的期望是线性的（第 43 页）， $E \hat{I}_{n}^{IS} = \frac{1}{n} \cdot n I = I 。$ 这里只用到每个 $X_{i}$ 的分布是 $Q ，$ 独立性要到算方差时才用（第 37 页）。

常见疑问与易错点

易错点问：从 ℚ 抽样，怎么还能算出 ℙ 下的积分？

答：靠权重 $\frac{1}{q} = \frac{d P}{d Q} 。$ $Q$ 在 0 附近比 $P$ 抽得多（ $q > 1 ），$ 那里的样本按 $\frac{1}{q} < 1$ 打折；在靠近 1 的地方 $Q$ 抽得少（ $q < 1 ），$ 样本按 $\frac{1}{q} > 1$ 加权。反向期望公式 $E_{P} h = E_{Q} [h / q]$ 保证折算后不多不少（第 35 页）。

易错点问：既然 q* = h/I 的方差是 0，为什么不用它？

答：两个原因。第一，写出 $q^{*}$ 要知道 $I ，$ 而 $I$ 正是未知量。第二，从 $q^{*}$ 抽样要用它的分布函数 $\int_{0}^{x} h / I ，$ 求它和求 $I$ 一样难。重要性抽样的实际做法是找一个和 $h$ 形状相近、但能精确积分和抽样的 $q 。$

易错点问：重要性抽样是不是一定比均匀抽样好？

答：不一定。无偏是自动的（只要 $q > 0 ），$ 但方差取决于选得好不好。例 2 中 $β = 0.5$ 的方差 10.15 已经有限，却比 $β = 0.7$ 的 0.42 大 20 多倍；在别的问题里，选错了 $q$ （比如在 $h$ 大的地方 $q$ 反而很小），方差可能比均匀抽样还大，甚至变成无穷。

易错点问：课件为什么把变量从 u 改成 x？

答：第 36 页的 $u$ 暗示「均匀随机数」。这里换成 $x ，$ 是因为样本点现在要从不同的分布（ $P$ 或 $Q ）$ 抽出，不再总是均匀的。第 40 页会再引入一个均匀随机数 $U ，$ 用 $X = U^{1/ (1 - α)}$ 造出服从 $q$ 的样本。

小结与自测

小结本页小结

设定： $Ω = (0, 1) ，$ $P = λ ，$ $h (x) = x^{- α} e^{- x} ，$ 目标 $I = E_{P} h 。$
选择抽样密度的原则： $q > 0$ 不漏地方； $q$ 大致与 $h$ 成比例（理想的 $q^{*} = h / I$ 方差为 0，但需要 $I ）；$ 能抽样。
课件的选择：保留奇异因子 $x^{- α} ，$ 归一化得 $q (x) = (1 - α) x^{- α} ；$ $\frac{d Q}{d P} = q ，$ $\frac{d P}{d Q} = \frac{1}{q} 。$
重要性抽样公式： $I = E_{Q} [h / q]$ （第 35 页）；估计量 $\frac{1}{n} \sum h (X_{i}) / q (X_{i})$ （ $X_{i} \sim q ）$ 无偏。
直觉：抽样密度模仿奇点，撒点的密集程度跟着「对 $I$ 的贡献」走。

自测

1. 取 $α = 0.5 。$ 写出 $q ，$ 验证它的积分为 1，并化简 $\frac{h}{q} 。$

点开看答案

$q (x) = 0.5 x^{- 1/2} 。$ $\int_{0}^{1} x^{- 1/2} d x = 2 ，$ 乘以 0.5 得 1。 $\frac{h}{q} = \frac{x ^{- 1/2} e ^{- x}}{0.5 x ^{- 1/2}} = 2 e^{- x} 。$

2. 取 $α = 0.7 。$ 从 $q$ 抽一个点，它落在 $(0, 0.001)$ 里的概率是多少？均匀抽样呢？

点开看答案

$Q ((0, 0.001)) = 0.00 1^{0.3} = 1 0^{- 0.9} \approx 0.126 ；$ 均匀抽样是 $0.001 。$ 前者约是后者的 126 倍。

3. 判断：只要抽样密度 $q$ 在 $(0, 1)$ 上处处为正，估计量 $\frac{1}{n} \sum h (X_{i}) / q (X_{i})$ 就是无偏的，而且方差有限。

点开看答案

前半句对，后半句错。 $q > 0$ 保证反向期望公式成立，所以无偏；但方差取决于 $E_{P} [h^{2} / q]$ 是否有限。例如 $q = 1$ （均匀）处处为正， $α \geq \frac{1}{2}$ 时方差却是无穷（第 36 页）。

本页术语中英对照（按出现顺序）

中文	English	白话解释
分布	law / distribution	X 把概率「推」到取值空间上得到的测度：L(X)(B) = P(X ∈ B)。
期望	expectation	随机变量对概率测度的积分 E[X] = ∫ X dP，也就是「加权平均」。
方差	variance	Var X = E[(X − E X)²]，衡量随机变量围绕均值的波动大小。
换测度	change of measure	用 E_Q[X] = E_P[X · dQ/dP] 在两个概率之间换算期望。
重要性抽样	importance sampling	从另一个更合适的分布抽样，再乘以权重纠正，从而减小估计的方差。
几乎必然收敛	almost sure convergence	除了概率为 0 的结局以外，Xₙ(ω) 都收敛到 X(ω)。
概率密度	density	满足 P(X ∈ B) = ∫_B f(x) dx 的函数 f；有密度等价于 CDF 绝对连续。
函数	function / map	f: A → B 给 A 中每个元素指定 B 中唯一一个元素。
无意识统计学家定律	law of the unconscious statistician (LOTUS)	求 g(X) 的期望，不必先求出 g(X) 的分布，直接把 g 对 X 的分布 𝓛(X) 积分；X 有密度 f 时就是 E g(X) = ∫ g(x) f(x) dx。
随机变量	random variable	从样本空间到实数的（可测）函数，把结局翻译成数字；随机性来自「实现了哪个 ω」。
样本空间	sample space	一次试验所有可能的完整结局组成的集合，记作 Ω。
博雷尔 σ-代数	Borel sigma-algebra	由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ)，包含所有常见的集合。
样本点	sample point	一个完整的结局 ω；每次试验恰好实现一个样本点。
事件	event	样本空间的（允许谈概率的）子集；实现的 ω 落在里面，就说事件发生。
测度	measure	给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」，空集为 0，并且可数可加。
Radon–Nikodym 导数	Radon–Nikodym derivative	Q ≪ P 时存在 L = dQ/dP ≥ 0，使 Q(A) = ∫_A L dP；它是「换测度的密度」。
绝对连续	absolute continuity	函数版：小区间总长很小时增量总和也很小；测度版：Q ≪ P，P 为零的事件 Q 也为零。
独立同分布	independent and identically distributed (i.i.d.)	一列随机变量相互独立，并且分布都相同，例如反复独立地掷同一颗骰子。
累积分布函数	cumulative distribution function (CDF)	F(x) = P(X ≤ x)，单调不减、右连续，完全决定分布。
区间	interval	数轴上的一段，[a,b] 包含端点，(a,b) 不包含端点。
阶矩	moment	E[\|X\|ᵖ] 叫 p 阶（绝对）矩；它有限与否反映尾部有多「重」。
当且仅当	if and only if (iff)	「A 当且仅当 B」：A 成立就一定有 B，B 成立也一定有 A，两者同真同假，记作 A ⟺ B。
简单函数	simple function	只取有限个值的可测函数，是若干示性函数的线性组合，图像像台阶。
可积	integrable (L¹)	∫\|f\| dμ < ∞。全体可积函数记作 L¹(μ)。
独立	independence	任意有限个事件同时发生的概率等于各自概率的乘积。