43 高斯稀有事件抽样：把样本挪到门槛附近 · 第3讲

这一页在讲什么

人话版一句话版

要估计一个极小的概率 $p_{b} = P (X > b) ，$ 例如 $b = 4$ 时 $p_{4} \approx 3.17 \times 1 0^{- 5} 。$ 直接抽样几乎一次都抽不到 $X > b 。$ 办法是用第 41 页的换测度，改从 $N (b, 1)$ 抽样，也就是在门槛 $b$ 附近抽样：一半的样本都会落在 $X > b 。$ 再给每个样本乘上纠正权重 $e^{- b X + b^{2} /2} ，$ 就得到 $p_{b}$ 的无偏估计。

位置：第 5 部分「抽样中的应用」的最后一组例子（三页）。
- 这一页：构造估计量；
- 第 44 页：精确算出它的二阶矩；
- 第 45 页：和直接抽样比较方差。
用到的工具：
- 高斯换测度 $\frac{d Q}{d P} = e^{a X - a^{2} /2}$ （第 41 页）；
- 反向期望公式 $E_{P} Z = E_{Q} [Z \frac{d P}{d Q}]$ （第 35 页）；
- 样本均值的误差 $\frac{σ ^{2}}{n}$ （第 37 页）。
实际意义：工程里的失效概率、金融里的极端损失、通信里的误码率，常常小到 $1 0^{- 6}$ 甚至 $1 0^{- 9} 。$ 直接模拟要上亿次才能看到几次「事故」，重要性抽样能把成本降几个数量级。

先补基础

基础补课标准正态的尾概率有多小

记 $\overset{ˉ}{Φ} (b) = 1 - Φ (b) = P (X > b) ，$ $X \sim N (0, 1) ：$

$b$	1	2	3	4	5
$p_{b} = \overset{ˉ}{Φ} (b)$	$0.159$	$0.0228$	$1.35 \times 1 0^{- 3}$	$3.17 \times 1 0^{- 5}$	$2.87 \times 1 0^{- 7}$

$b$ 每增加 1，概率就小一两个数量级。粗略的近似是 $\overset{ˉ}{Φ} (b) \approx \frac{ϕ ( b )}{b}$ （ $b$ 较大时），例如 $b = 4$ 时 $\frac{ϕ ( 4 )}{4} \approx 3.35 \times 1 0^{- 5} 。$

基础补课用示性函数做蒙特卡罗（伯努利抽样）

$p_{b} = E_{P} 1_{{X > b}} 。$ 最朴素的估计：抽 $n$ 个独立的 $X_{i} \sim N (0, 1) ，$ 数一数有多少超过 $b ，$

\overset{p}{^}_{n}^{直接} = \frac{1}{n} i = 1 \sum n 1_{{X_{i} > b}} = \frac{命中次数}{n} .

每一项 $1_{{X_{i} > b}}$ 只取 0 或 1，是参数 $p_{b}$ 的伯努利随机变量，所以这种做法叫伯努利抽样。它无偏，方差是 $\frac{p _{b} ( 1 - p _{b} )}{n}$ （第 37 页）。

基础补课相对误差

估计小概率时，要看误差相对于真值有多大：相对误差 $= \frac{标准差}{p _{b}} 。$ 伯努利抽样的相对误差是

\frac{p _{b} ( 1 - p _{b} ) / n}{p _{b}} \approx \frac{1}{n p _{b}} .

要让它降到 10%，需要 $n p_{b} \approx 100 ，$ 也就是平均要命中约 100 次。 $b = 4$ 时这意味着 $n \approx 3.2 \times 1 0^{6} 。$

基础补课反向期望公式（回顾）

若 $Q$ 与 $P$ 相互绝对连续，则对非负可测的 $Z ，$ $E_{P} Z = E_{Q} [Z \cdot \frac{d P}{d Q}]$ （第 35 页）。读法：在 $Q$ 下抽样，每个样本乘上「汇率」 $\frac{d P}{d Q} ，$ 就能算 $P$ 下的期望。

课件原文逐句精读

课件原文Gaussian rare-event sampling

Let $X \sim N (0, 1)$ under $P$ and $p_{b} = P (X > b)$ , where $b > 0$ .

Sampling near the threshold（留白）

An unbiased estimator of the original tail probability（留白）

中文翻译

设在 $P$ 下 $X \sim N (0, 1) ，$ $p_{b} = P (X > b) ，$ 其中 $b > 0 。$

在门槛附近抽样（课件留白）

原尾概率的一个无偏估计（课件留白）

（两部分内容见下一节。）

rare-event：稀有事件，指概率很小的事件，这里是 ${X > b} 。$
threshold：门槛、阈值，这里就是 $b 。$
tail probability：尾概率 $P (X > b) ，$ 钟形曲线右侧尾巴下的面积。
original：原来的，强调要估计的是 $P$ 下的概率，而样本来自另一个概率 $Q 。$
unbiased estimator：无偏估计量，期望恰好等于要估计的量。

补全课件留白

补充说明

课件此处留白（课堂板书），以下内容由本站根据标准教材补写，记号与本课件保持一致；如与老师课堂写法不同，以老师为准。

Sampling near the threshold｜在门槛附近抽样

问题在哪里：在 $P$ 下抽样， $b = 4$ 时平均每 31600 个样本才有一个超过门槛。抽 1 万个，期望命中只有 0.32 次，估计值多半是 0；偶尔命中一次，估计值就变成 $1 0^{- 4} ，$ 是真值的 3 倍多。绝大多数样本对估计没有任何贡献。

换测度：取第 41 页的高斯换测度，平移量 $a = b ：$

\frac{d Q}{d P} = e^{b X - b^{2} /2}, \frac{d P}{d Q} = e^{- b X + b^{2} /2}, 在 Q 下 X \sim N (b, 1) .

在 $Q$ 下，钟形曲线的中心正好在门槛 $b$ 上，所以 $Q (X > b) = \frac{1}{2} ：$ 一半的样本都命中。
怎样生成 $Q$ 下的样本：取标准正态 $Z ，$ 令 $Y = b + Z$ （第 41 页的常见疑问）。
为什么挪到门槛附近，而不是更远？在 $P$ 下，一旦 $X > b ，$ $X$ 通常只比 $b$ 大一点点： $b = 4$ 时，在 $X > 4$ 的条件下 $X$ 的平均值约为 $4.23 。$ 真正「重要」的区域就在门槛右边紧挨着的地方， $N (b, 1)$ 恰好盖住它。挪得太远，样本会落在 $P$ 下几乎不可能的地方，权重变得极不均匀（第 41 页的 $E_{P} L^{2} = e^{a^{2}} ）。$ 第 45 页会用数字说明 $a = b$ 几乎就是最好的选择。

图解：两条钟形曲线和一条门槛

在同一坐标系里画三样东西：

实线 $ϕ (x) ，$ 中心在 0，代表 $P ；$
虚线 $ϕ (x - b) ，$ 中心在 $b ，$ 代表 $Q ；$
竖线 $x = b ，$ 代表门槛。

竖线右边，实线下的面积是 $p_{b} ，$ 只是贴着横轴的一条细缝；虚线下的面积是 $\frac{1}{2} 。$ 纠正权重 $e^{- b x + b^{2} /2} = \frac{ϕ ( x )}{ϕ ( x - b )}$ 就是「实线高度 ÷ 虚线高度」：在竖线处等于 $e^{- b^{2} /2}$ （ $b = 4$ 时约 $3.4 \times 1 0^{- 4} ），$ 越往右越小。每个命中的样本只「代表」一点点 $P$ 下的概率。

An unbiased estimator of the original tail probability｜原尾概率的无偏估计

命题（高斯稀有事件的重要性抽样估计）

设 $Y_{1}, \dots, Y_{n}$ 独立，都服从 $N (b, 1) ，$ 也就是 $X$ 在 $Q$ 下的分布。令

W_{i} = 1_{{Y_{i} > b}} e^{- b Y_{i} + b^{2} /2}, \overset{p}{^}_{n} = \frac{1}{n} i = 1 \sum n W_{i} .

则

$E \overset{p}{^}_{n} = p_{b} ，$ 即 $\overset{p}{^}_{n}$ 是 $p_{b}$ 的无偏估计；
每个 $W_{i}$ 都满足 $0 \leq W_{i} \leq e^{- b^{2} /2} ；$
$\overset{p}{^}_{n} \to p_{b}$ （依概率收敛），误差的大小由 $W_{1}$ 的方差决定，见第 44 页、第 45 页。

推导证明思路

无偏性就是反向期望公式： $Q$ 下样本乘以汇率 $\frac{d P}{d Q} ，$ 期望变回 $P$ 下的期望。上界来自「 $X > b$ 时指数 $- b X + \frac{b ^{2}}{2} < - \frac{b ^{2}}{2} 」。$

第 1 条（无偏）：单个 $W$ 的分布就是 $Q$ 下 $W = 1_{{X > b}} e^{- b X + b^{2} /2}$ 的分布。由反向期望公式（第 35 页），

E_{Q} [1_{{X > b}} e^{- b X + b^{2} /2}] = E_{Q} [1_{{X > b}} \frac{d P}{d Q}] = E_{P} 1_{{X > b}} = p_{b} .

也可以直接对密度积分验证：指数相加 $- b x + \frac{b ^{2}}{2} - \frac{( x - b ) ^{2}}{2} = - \frac{x ^{2}}{2} ，$ 所以 $e^{- b x + b^{2} /2} ϕ (x - b) = ϕ (x) ，$

E_{Q} W = \int_{b}^{\infty} e^{- b x + b^{2} /2} ϕ (x - b) d x = \int_{b}^{\infty} ϕ (x) d x = p_{b} .

最后，期望是线性的， $E \overset{p}{^}_{n} = \frac{1}{n} \sum E W_{i} = p_{b} 。$

第 2 条（有界）：未命中时 $W_{i} = 0 。$ 命中时 $Y_{i} > b ，$ 于是 $- b Y_{i} + \frac{b ^{2}}{2} < - b^{2} + \frac{b ^{2}}{2} = - \frac{b ^{2}}{2} ，$ 所以 $W_{i} < e^{- b^{2} /2} 。$

第 3 条（收敛）：第 2 条说明 $W_{i}$ 有界，方差有限，由第 37 页的 Chebyshev 估计， $P (∣ \overset{p}{^}_{n} - p_{b} ∣ > ε) \leq \frac{Var W _{1}}{n ε ^{2}} \to 0 。$ $■$

换成 $Z$ 写更直观：令 $Y_{i} = b + Z_{i} ，$ $Z_{i} \sim N (0, 1) ，$ 则

W_{i} = 1_{{Z_{i} > 0}} e^{- b^{2} /2} e^{- b Z_{i}} .

大约一半的 $Z_{i} > 0 ，$ 每个命中贡献 $e^{- b^{2} /2}$ 乘上一个不超过 1 的折扣 $e^{- b Z_{i}} ：$ 命中得越「深」（ $Z_{i}$ 越大），这个样本在 $P$ 下越罕见，折扣越大。

例子

例 1：手算五个样本（b = 2）

真值 $p_{2} \approx 0.02275 。$ 取五个标准正态的值 $Z = 0.3, - 0.5, 1.2, 0.05, - 1.0 ，$ 则 $Y = 2 + Z ：$

$Z_{i}$	$Y_{i} = 2 + Z_{i}$	命中 $Y_{i} > 2 ？$	$W_{i} = e^{- 2 Y_{i} + 2}$
$0.3$	$2.3$	是	$e^{- 2.6} \approx 0.0743$
$- 0.5$	$1.5$	否	$0$
$1.2$	$3.2$	是	$e^{- 4.4} \approx 0.0123$
$0.05$	$2.05$	是	$e^{- 2.1} \approx 0.1225$
$- 1.0$	$1.0$	否	$0$

$\overset{p}{^}_{5} = \frac{0.0743 + 0.0123 + 0.1225}{5} \approx 0.042 。$ 只有 5 个样本，估计值偏大一倍，但量级已经对了。如果在 $P$ 下抽 5 个样本，几乎一定一个都不命中，估计值是 0。注意每个 $W_{i}$ 都小于 $e^{- 2} \approx 0.135 ，$ 与命题第 2 条一致。

例 2：电脑模拟（b = 4，n = 10000）

用 Python 固定随机种子做了一次模拟（换种子，数字会变，量级不变）：

方法	命中次数	估计值	真值 $3.167 \times 1 0^{- 5}$ 的相对误差
伯努利抽样（ $P$ 下）	1	$1.0 \times 1 0^{- 4}$	约 216%
重要性抽样（ $Q$ 下）	5003	$3.154 \times 1 0^{- 5}$	约 0.4%

重要性抽样一半样本命中，和 $Q (X > 4) = \frac{1}{2}$ 一致。
最大的权重约 $3.35 \times 1 0^{- 4} = e^{- 8} ，$ 正是上界 $e^{- b^{2} /2} 。$
用第 44 页的公式可以算出：重要性抽样在 $n = 10000$ 时的相对误差理论值约 2.1%，这次模拟的 0.4% 属于运气较好的一次。

常见疑问与易错点

易错点问：一半的样本没命中，不是浪费了吗？

答：未命中的样本贡献 0，确实没用。但对比一下：伯努利抽样浪费的是 $99.997%$ 的样本（ $b = 4 ），$ 这里只浪费 50%。何况把中心放在 $b$ 处，是在「命中率」和「权重均匀」之间折中的结果：中心再往右挪，命中率更高，可权重会变得非常不均匀，反而更差（第 45 页）。

易错点问：估计值会是负数，或者大于 1 吗？

答：不会。每个 $W_{i}$ 都在 $[0, e^{- b^{2} /2}]$ 里，平均值也在这个范围内。这比第 36 页里方差无穷的估计量「温和」得多：权重有界，方差自然有限。

易错点问：样本来自

Q ，

为什么估计的却是

P

下的概率？

答：权重 $e^{- bY + b^{2} /2} = \frac{d P}{d Q}$ 就是把「 $Q$ 下的频率」换算成「 $P$ 下的概率」的汇率。 $Q$ 把门槛右边的区域放大了很多倍，权重再把它缩回去。这正是第 35 页反向期望公式的用法。

小结与自测

小结本页小结

目标：估计 $p_{b} = P (X > b) ，$ $b$ 较大时它极小，伯努利抽样大约要 $\frac{100}{p _{b}}$ 个样本才有 10% 的相对误差。
在门槛附近抽样：令 $Q$ 下 $X \sim N (b, 1) ，$ 一半样本命中。
无偏估计： $\overset{p}{^}_{n} = \frac{1}{n} \sum 1_{{Y_{i} > b}} e^{- b Y_{i} + b^{2} /2} ，$ $Y_{i} \sim N (b, 1) ；$ 由反向期望公式 $E \overset{p}{^}_{n} = p_{b} 。$
每个权重 $\leq e^{- b^{2} /2} ，$ 所以方差有限；精确方差见第 44 页。

自测

1. 取 $b = 3 。$ 在 $Q$ 下命中的概率是多少？每个 $W_{i}$ 的上界是多少？

点开看答案

$Q (X > 3) = \frac{1}{2}$ （中心在 3）。上界 $e^{- b^{2} /2} = e^{- 4.5} \approx 0.0111 。$

2. 用伯努利抽样估计 $p_{5} \approx 2.87 \times 1 0^{- 7} ，$ 抽 $1 0^{6}$ 个样本，平均命中几次？

点开看答案

$1 0^{6} \times 2.87 \times 1 0^{- 7} \approx 0.29$ 次。多半一次都不命中，估计值是 0，完全没用。

3. 验证 $- b x + \frac{b ^{2}}{2} - \frac{( x - b ) ^{2}}{2} = - \frac{x ^{2}}{2} ，$ 并说明它为什么给出无偏性。

点开看答案

展开 $\frac{( x - b ) ^{2}}{2} = \frac{x ^{2}}{2} - b x + \frac{b ^{2}}{2} ，$ 代入得 $- b x + \frac{b ^{2}}{2} - \frac{x ^{2}}{2} + b x - \frac{b ^{2}}{2} = - \frac{x ^{2}}{2} 。$ 于是 $e^{- b x + b^{2} /2} ϕ (x - b) = ϕ (x) ：$ 权重乘以 $Q$ 下的密度，恰好还原成 $P$ 下的密度，在 $(b, \infty)$ 上积分就得到 $p_{b} 。$

本页术语中英对照（按出现顺序）

中文	English	白话解释
换测度	change of measure	用 E_Q[X] = E_P[X · dQ/dP] 在两个概率之间换算期望。
阶矩	moment	E[\|X\|ᵖ] 叫 p 阶（绝对）矩；它有限与否反映尾部有多「重」。
方差	variance	Var X = E[(X − E X)²]，衡量随机变量围绕均值的波动大小。
测度	measure	给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」，空集为 0，并且可数可加。
期望	expectation	随机变量对概率测度的积分 E[X] = ∫ X dP，也就是「加权平均」。
重要性抽样	importance sampling	从另一个更合适的分布抽样，再乘以权重纠正，从而减小估计的方差。
独立	independence	任意有限个事件同时发生的概率等于各自概率的乘积。
随机变量	random variable	从样本空间到实数的（可测）函数，把结局翻译成数字；随机性来自「实现了哪个 ω」。
绝对连续	absolute continuity	函数版：小区间总长很小时增量总和也很小；测度版：Q ≪ P，P 为零的事件 Q 也为零。
尾概率	tail probability	随机变量取到「很大的值」的概率，例如 P(X > t) 或 P(\|X\| ≥ t)。它随 t 增大而下降得越慢，分布的尾巴就越「厚」。
事件	event	样本空间的（允许谈概率的）子集；实现的 ω 落在里面，就说事件发生。
分布	law / distribution	X 把概率「推」到取值空间上得到的测度：L(X)(B) = P(X ∈ B)。
依概率收敛	convergence in probability	对每个 ε > 0，P(\|Xₙ − X\| > ε) → 0；比几乎必然收敛弱。
上界	upper bound	数集 A 的上界是一个数 M，A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界；所有上界中最小的那个叫上确界。