40 用一个均匀随机数抽出所选的密度（逆变换） · 第3讲

这一页在讲什么

人话版一句话版

电脑只会直接生成均匀随机数 $U 。$ 要从密度 $q (x) = (1 - α) x^{- α}$ 抽样，用第 2 讲的逆变换法（第 14 页）：

$q$ 的分布函数是 $G (x) = x^{1 - α} ；$
反解得 $G^{- 1} (u) = u^{1/ (1 - α)} ，$ 所以 $X = U^{1/ (1 - α)}$ 服从 $q ；$
一个样本返回 $\frac{e ^{- X}}{1 - α} = \frac{e ^{- U^{1/ (1 - α)}}}{1 - α} 。$

整套重要性抽样只需要「均匀随机数 → 乘方 → 指数」三步。

这是第 5 部分「抽样中的应用」的第五页，也是 $(0, 1)$ 上这个例子的最后一页。

第 38 页选了抽样密度 $q ；$
第 39 页证明每个样本的返回值 $\frac{h}{q} = \frac{e ^{- X}}{1 - α}$ 有界、方差有限；
本页回答最后一个问题：服从 $q$ 的样本 $X$ 从哪里来。课件的三个小标题正好是上面的三步。

先补基础

基础补课逆变换法（回顾第 2 讲）

若 $G$ 是一个连续、在 $(0, 1)$ 上严格递增的分布函数， $U$ 服从 $(0, 1)$ 上的均匀分布，则 $X = G^{- 1} (U)$ 的分布函数就是 $G$ （第 14 页）。理由只有一行： $G^{- 1}$ 递增，所以

P (X \leq x) = P (G^{- 1} (U) \leq x) = P (U \leq G (x)) = G (x) .

第 2 讲第 15 页用它从均匀分布造出了指数分布： $G (x) = 1 - e^{- x} ，$ $X = - lo g (1 - U) 。$

基础补课幂的运算

$\int_{0}^{x} t^{- α} d t = \frac{x ^{1 - α}}{1 - α}$ （ $α < 1 ，$ 第 36 页的基础补课）。
$(x^{a})^{b} = x^{ab} ，$ 所以 $(x^{1 - α})^{1/ (1 - α)} = x^{1} = x 。$ 这就是「反解」 $u = x^{1 - α}$ 的方法：两边同时取 $\frac{1}{1 - α}$ 次方。
在 $(0, 1)$ 上，指数大于 1 的幂会把数变小：例如 $0. 5^{2} = 0.25 、$ $0. 5^{10/3} \approx 0.099 。$

基础补课变量替换（换元）

若 $x = ψ (u)$ 在 $(0, 1)$ 上可导且严格递增，则 $\int_{0}^{1} f (x) d x = \int_{0}^{1} f (ψ (u)) ψ^{'} (u) d u 。$ 本页会看到：整个重要性抽样其实就是对积分 $I$ 做了一次换元。

课件原文逐句精读

课件原文Sampling the chosen density with a uniform variable

The sampling law has density $q (x) = (1 - α) x^{- α}$ on $(0, 1)$ .

CDF and inverse transform（留白）

A sample from $q$ （留白）

The value returned by one sample（留白）

中文翻译

蓝条标题：用一个均匀变量抽出所选的密度。

抽样分布的密度是 $(0, 1)$ 上的 $q (x) = (1 - α) x^{- α} 。$

分布函数与逆变换（课件留白）

从 $q$ 抽一个样本（课件留白）

一个样本返回的值（课件留白）

（三部分内容见下一节。）

the chosen density：选定的密度，指第 38 页选的 $q 。$
uniform variable：均匀随机变量 $U ，$ 电脑里的 random() 给的就是它。
sampling law：抽样分布，即 $Q$ （第 38 页的命题）。
CDF：分布函数 cumulative distribution function（第 2 讲第 8 页）；inverse transform：逆变换。
the value returned by one sample：一个样本「返回」的值，即估计量里被平均的那一项。

补全课件留白

补充说明

课件此处留白（课堂板书），以下内容由本站根据标准教材补写，记号与本课件保持一致；如与老师课堂写法不同，以老师为准。

CDF and inverse transform｜分布函数与逆变换

分布函数：对 $0 < x < 1 ，$

G (x) = Q ((0, x]) = \int_{0}^{x} (1 - α) t^{- α} d t = (1 - α) \cdot \frac{x ^{1 - α}}{1 - α} = x^{1 - α};

$x \leq 0$ 时 $G (x) = 0 ，$ $x \geq 1$ 时 $G (x) = 1 。$

$G$ 连续，在 $(0, 1)$ 上严格递增（ $1 - α > 0 ），$ 从 $G (0) = 0$ 升到 $G (1) = 1 。$
虽然密度 $q$ 在 0 处趋于无穷，分布函数却是有限、连续的：密度无界不妨碍抽样，逆变换法只用分布函数。
例： $α = 0.7$ 时 $G (x) = x^{0.3} ，$ $G (0.1) \approx 0.501 ：$ 一半的概率集中在 $(0, 0.1]$ 这个长度只有十分之一的区间里。

逆变换：给定 $u \in (0, 1) ，$ 解 $u = G (x) = x^{1 - α} 。$ 两边取 $\frac{1}{1 - α}$ 次方：

G^{- 1} (u) = u^{1/ (1 - α)} .

验证： $G (u^{1/ (1 - α)}) = (u^{1/ (1 - α)})^{1 - α} = u 。$

A sample from q｜从 q 抽一个样本

命题（从 q 抽样）

设 $U$ 服从 $(0, 1)$ 上的均匀分布，令

X = U^{1/ (1 - α)} .

则 $X$ 的密度是 $q (x) = (1 - α) x^{- α} ，$ 即 $X$ 的分布是 $Q 。$

证明： $t \mapsto t^{1/ (1 - α)}$ 在 $(0, 1)$ 上严格递增，所以对 $0 < x < 1 ，$

P (X \leq x) = P (U^{1/ (1 - α)} \leq x) = P (U \leq x^{1 - α}) = x^{1 - α} = G (x) .

（第二个等号：两边取 $1 - α$ 次方，递增函数保持大小关系；第三个等号：均匀分布 $P (U \leq c) = c 。）$ 分布函数决定分布（第 2 讲第 8 页），所以 $X \sim Q 。$ $■$

为什么样本会挤向 0：指数 $\frac{1}{1 - α} > 1 ，$ 而 $(0, 1)$ 里的数取大于 1 的次方会变小。 $α = 0.7$ 时指数是 $\frac{10}{3} ：$

$U$	$0.01$	$0.1$	$0.25$	$0.5$	$0.75$	$0.9$	$0.99$
$X = U^{10/3}$	$2.2 \times 1 0^{- 7}$	$4.6 \times 1 0^{- 4}$	$0.0098$	$0.099$	$0.383$	$0.704$	$0.967$

一半的 $U$ （ $U < 0.5 ）$ 被送到了 $(0, 0.1)$ 里，正好落在 $h$ 的「墙脚」下（第 36 页的图解）。这就是第 38 页所说的「让撒点本身往墙脚下集中」。

The value returned by one sample｜一个样本返回的值

把 $X = U^{1/ (1 - α)}$ 代入第 39 页化简好的返回值：

R = \frac{h ( X )}{q ( X )} = \frac{e ^{- X}}{1 - α} = \frac{1}{1 - α} exp (- U^{1/ (1 - α)}) .

人话版完整的算法

要估计 $I = \int_{0}^{1} x^{- α} e^{- x} d x ：$

生成 $n$ 个独立的均匀随机数 $U_{1}, \dots, U_{n} ；$
变换： $X_{i} = U_{i}^{1/ (1 - α)} ；$
计算返回值： $R_{i} = \frac{e ^{- X_{i}}}{1 - α} ；$
输出平均值 $\hat{I}_{n}^{IS} = \frac{1}{n} \sum_{i = 1}^{n} R_{i} 。$

由第 38 页、第 39 页：它无偏，每个 $R_{i}$ 都在 $(\frac{e ^{- 1}}{1 - α}, \frac{1}{1 - α})$ 里，均方误差是 $\frac{Var R}{n} 。$

换一个角度：这就是一次换元。直接验证 $E R = I ：$ $E R = \int_{0}^{1} \frac{1}{1 - α} e^{- u^{1/ (1 - α)}} d u 。$ 令 $u = x^{1 - α} ，$ 则 $d u = (1 - α) x^{- α} d x ，$ $u$ 从 0 到 1 时 $x$ 也从 0 到 1：

E R = \int_{0}^{1} \frac{1}{1 - α} e^{- x} \cdot (1 - α) x^{- α} d x = \int_{0}^{1} x^{- α} e^{- x} d x = I .

所以「用 $q$ 做重要性抽样」等价于「先对 $I$ 做换元 $x = u^{1/ (1 - α)} ，$ 把它变成一个没有奇点的积分 $\int_{0}^{1} \frac{e ^{- u^{1/ (1 - α)}}}{1 - α} d u ，$ 再用均匀抽样」。被积函数有界，均匀抽样自然就好用了。

例子

例 1：α = 0.5，从四个均匀随机数开始

$\frac{1}{1 - α} = 2 ，$ 所以 $X = U^{2} ，$ $R = 2 e^{- X} 。$ 取 $U = 0.1, 0.4, 0.7, 0.9 ：$

$U_{i}$	$X_{i} = U_{i}^{2}$	$R_{i} = 2 e^{- X_{i}}$	对比：均匀抽样返回 $h (U_{i}) = U_{i}^{- 0.5} e^{- U_{i}}$
$0.1$	$0.01$	$1.9801$	$2.8613$
$0.4$	$0.16$	$1.7043$	$1.0599$
$0.7$	$0.49$	$1.2253$	$0.5935$
$0.9$	$0.81$	$0.8897$	$0.4286$

重要性抽样：平均 $\approx 1.450 ；$ 均匀抽样：平均 $\approx 1.236 ；$ 真值 $I \approx 1.4936 。$
这四个 $X_{i}$ 就是第 39 页例 1 用的样本。
重要性抽样的返回值永远在 $(0.736, 2)$ 里；均匀抽样的返回值可以任意大，例如 $U = 0.0001$ 时 $h (U) \approx 100 。$

例 2：α = 0.7，同一个 U，两种返回值

$U$	$0.01$	$0.1$	$0.25$	$0.5$	$0.75$	$0.9$	$0.99$
重要性抽样 $R = \frac{e ^{- U^{10/3}}}{0.3}$	$3.333$	$3.332$	$3.301$	$3.019$	$2.272$	$1.649$	$1.267$
均匀抽样 $h (U) = U^{- 0.7} e^{- U}$	$24.87$	$4.535$	$2.055$	$0.985$	$0.578$	$0.438$	$0.374$

真值 $I \approx 2.739 。$ 重要性抽样的每个返回值离真值都不超过 1.5 左右。
均匀抽样大多数时候返回小于 1 的数，偶尔返回几十、几百甚至更大的数（ $U = 1 0^{- 6}$ 时约 $1.6 \times 1 0^{4} ）。$ 平均值靠少数巨大的样本「撑」起来，这正是方差无穷的样子（第 36 页）。

例 3：用同样的方法从别的密度抽样

逆变换法对任何「分布函数能写出来、也能反解」的密度都适用：

$q (x) = 2 x$ （ $0 < x < 1 ）：$ $G (x) = x^{2} ，$ $X = U ，$ 样本挤向 1；
$q (x) = λ e^{- λ x}$ （ $x > 0 ）：$ $G (x) = 1 - e^{- λ x} ，$ $X = - \frac{1}{λ} lo g (1 - U)$ （第 2 讲第 15 页）；
第 38 页例 2 的一族 $q_{β} (x) = (1 - β) x^{- β} ：$ $X = U^{1/ (1 - β)} 。$

选抽样密度时，「能不能方便地抽样」是第 38 页的三条要求之一，原因就在这里。

常见疑问与易错点

易错点问：密度 q 在 0 处是无穷大，真的能从它抽样吗？

答：能。密度无界不代表概率无穷： $G (x) = x^{1 - α}$ 是一个普通的连续分布函数，每个小区间的概率都有限。逆变换法只用 $G ，$ 不用 $q$ 在某一点的值。 $X = U^{1/ (1 - α)}$ 落在 0 附近的机会很大，但恰好等于 0 的概率是 0。

易错点问：为什么不直接写 X = G⁻¹(U)，还要验证分布函数？

答：逆变换法的结论需要 $G^{- 1}$ 存在且递增。这里 $G$ 在 $(0, 1)$ 上连续、严格递增，条件满足，一行验证 $P (X \leq x) = G (x)$ 就够了。遇到有跳跃或平台的分布函数，要用第 2 讲第 14 页的广义逆（分位数函数）。

易错点问：把整个方法看成「换元」，和「换测度」矛盾吗？

答：不矛盾，是同一件事的两种说法。换测度说： $I = E_{P} h = E_{Q} [\frac{h}{q}] ，$ $X \sim Q 。$ 换元说： $X = G^{- 1} (U) ，$ $\int_{0}^{1} h (x) d x = \int_{0}^{1} \frac{h ( G ^{- 1} ( u ))}{q ( G ^{- 1} ( u ))} d u 。$ 因为 $G^{'} = q ，$ 两边算的是同一个积分。前者是概率的语言，后者是微积分的语言。

小结与自测

小结本页小结

分布函数： $G (x) = x^{1 - α} ；$ 逆变换： $G^{- 1} (u) = u^{1/ (1 - α)} 。$
抽样： $X = U^{1/ (1 - α)}$ 服从 $q ；$ 指数大于 1，样本挤向奇点 0。
一个样本返回 $R = \frac{e ^{- X}}{1 - α} = \frac{1}{1 - α} e^{- U^{1/ (1 - α)}} ，$ 有界。
整个重要性抽样 = 对 $I$ 做换元 $x = u^{1/ (1 - α)}$ 消去奇点，再均匀抽样。

自测

1. 取 $α = 0.5 。$ 写出 $G 、$ $G^{- 1} ，$ 并说明 $U = 0.3$ 时得到的样本 $X$ 和返回值 $R 。$

点开看答案

$G (x) = x^{0.5} = x ，$ $G^{- 1} (u) = u^{2} 。$ $U = 0.3$ 时 $X = 0.09 ，$ $R = 2 e^{- 0.09} \approx 1.828 。$

2. 取 $α = 0.7 。$ $X = U^{10/3}$ 落在 $(0, 0.001)$ 里的概率是多少？

点开看答案

$P (X < 0.001) = P (U < 0.00 1^{0.3}) = 0.00 1^{0.3} \approx 0.126 。$ 均匀抽样落在那里的概率只有 0.001。

3. 用换元 $u = x^{1 - α}$ 验证 $\int_{0}^{1} \frac{1}{1 - α} e^{- u^{1/ (1 - α)}} d u = I 。$

点开看答案

$u = x^{1 - α}$ 时 $u^{1/ (1 - α)} = x ，$ $d u = (1 - α) x^{- α} d x ，$ 积分限仍是 0 到 1。代入得 $\int_{0}^{1} \frac{1}{1 - α} e^{- x} (1 - α) x^{- α} d x = \int_{0}^{1} x^{- α} e^{- x} d x = I 。$

本页术语中英对照（按出现顺序）

中文	English	白话解释
逆变换法	inverse transform method	U 服从 (0,1) 上的均匀分布时，Q(U) 的分布函数恰好是 F，用来生成任意分布。
累积分布函数	cumulative distribution function (CDF)	F(x) = P(X ≤ x)，单调不减、右连续，完全决定分布。
重要性抽样	importance sampling	从另一个更合适的分布抽样，再乘以权重纠正，从而减小估计的方差。
方差	variance	Var X = E[(X − E X)²]，衡量随机变量围绕均值的波动大小。
函数	function / map	f: A → B 给 A 中每个元素指定 B 中唯一一个元素。
分布	law / distribution	X 把概率「推」到取值空间上得到的测度：L(X)(B) = P(X ∈ B)。
指数分布	exponential distribution	P(X > x) = e^(−λx)（x ≥ 0）的分布，均值 1/λ，常用来描述等待时间。
随机变量	random variable	从样本空间到实数的（可测）函数，把结局翻译成数字；随机性来自「实现了哪个 ω」。
区间	interval	数轴上的一段，[a,b] 包含端点，(a,b) 不包含端点。
独立	independence	任意有限个事件同时发生的概率等于各自概率的乘积。
分位数	quantile	Q(u) = inf{x : F(x) ≥ u}，是 CDF 的「广义反函数」。
换测度	change of measure	用 E_Q[X] = E_P[X · dQ/dP] 在两个概率之间换算期望。