倒数密度与反向期望公式：密度处处为正时，可以从 ℚ 换回 ℙ

这一页在讲什么

• 这是第 4 部分的最后一页。第 31 页 在两点空间上已经看到：$0<q<1$（密度两个值都为正）时反方向的绝对连续成立，密度恰好是倒数。这一页把它推广到一般的概率空间。
• 三个小标题正好是三步：先证相互绝对连续，再求倒数密度，最后得到原概率下的期望公式。
• 下一页 第 36 页 开始第 5 部分：我们想算 $\mathbb{P}$ 下的期望 $I={\mathbb{E}}_{\mathbb{P}}h，$却故意从另一个概率 $\mathbb{Q}$ 抽样，再用本页的公式乘上权重 $\frac{1}{L}$ 纠正回来（第 38 页–第 40 页）。

先补基础

课件原文逐句精读

Suppose L = dℚ/dℙ > 0 ℙ-a.s.｜假设密度几乎必然为正

• 隐含的前提：写 $L=\mathrm{d}\mathbb{Q}/\mathrm{d}\mathbb{P}，$就已经假设了 $\mathbb{Q}\ll \mathbb{P}$（否则密度不存在，第 27 页）。本页整页都在这个前提下。
• 「$>0」$比「$\ge 0」$多了什么：任何密度都 $\ge 0；$这里要求严格大于 0，只允许在一个 $\mathbb{P}$-零概率事件上等于 0。
• 为什么只要求几乎必然：密度本来就只在几乎必然意义下确定（第 28 页），在零概率事件上改成 0 或改成正数都还是同一个密度，所以只有「几乎必然为正」才是有意义的条件。

三个加粗标签

课件接下来印了三个小标题，内容是板书，下一节逐个补全。它们的逻辑关系：

1. Mutual absolute continuity：由 $L>0$ 推出 $\mathbb{P}\ll \mathbb{Q}，$于是两个方向的绝对连续都成立；
2. The reciprocal density：既然 $\mathbb{P}\ll \mathbb{Q}，$$\frac{\mathrm{d}\mathbb{P}}{\mathrm{d}\mathbb{Q}}$ 就存在，它等于 $\frac{1}{L}；$
3. Expectation under the original probability：把命题 21 用在「从 $\mathbb{Q}$ 到 $\mathbb{P}」$这个方向，得到 ${\mathbb{E}}_{\mathbb{P}}X={\mathbb{E}}_{\mathbb{Q}}[X/L]。$「original probability（原概率）」指的是 $\mathbb{P}：$我们本来关心的是 $\mathbb{P}，$$\mathbb{Q}$ 是后来换上的。

补全课件留白

Mutual absolute continuity｜相互绝对连续

两个方向都成立时，称 $\mathbb{P}$ 与 $\mathbb{Q}$ 相互绝对连续（mutually absolutely continuous），也说两个概率等价（equivalent）。它的意思是：两个概率对「什么事不可能发生」的看法完全一致，只是对「可能的事有多可能」看法不同。

第 1 条的证明。

1. 取 $A\in \mathcal{F}，$设 $\mathbb{Q}(A)=0。$由密度的定义，${\mathbb{E}}_{\mathbb{P}}[L{1}_A]=\mathbb{Q}(A)=0。$
2. 函数 $g=L{1}_A$ 非负，积分为 0。由零积分原理，$\mathbb{P}(g>0)=0。$
3. $g(\omega )>0$ 当且仅当 $\omega \in A$ 且 $L(\omega )>0，$所以 $\{g>0\}=A\cap \{L>0\}，$于是 $\mathbb{P}(A\cap \{L>0\})=0。$
4. 把 $A$ 拆成两块：$A=(A\cap \{L>0\})\cup (A\cap \{L=0\})。$第一块概率为 0（第 3 步）；第二块包含于 $\{L=0\}，$概率为 0（假设）。所以 $\mathbb{P}(A)=0。$
5. $A$ 是任意的 $\mathbb{Q}$-零概率事件，所以 $\mathbb{P}\ll \mathbb{Q}。$结合前提 $\mathbb{Q}\ll \mathbb{P}，$两个方向都成立。

第 2 条的证明。

1. $\mathbb{Q}(L=0)={\mathbb{E}}_{\mathbb{P}}\left[L{1}_{\{L=0\}}\right]，$而被积函数在 $\{L=0\}$ 上是 $0\times 1，$在别处是 $L\times 0，$处处为 0，所以 $\mathbb{Q}(L=0)=0。$
2. 由 $\mathbb{P}\ll \mathbb{Q}，$$\mathbb{P}(L=0)=0，$即 $L>0$ $\mathbb{P}$-几乎必然。

所以（在 $\mathbb{Q}\ll \mathbb{P}$ 的前提下）「$L>0$ $\mathbb{P}$-几乎必然」恰好等价于「$\mathbb{P}\ll \mathbb{Q}」$。一个直接的推论：此时「$\mathbb{P}$-几乎必然」和「$\mathbb{Q}$-几乎必然」是同一回事，因为两者的零概率事件相同。

The reciprocal density｜倒数密度

证明一（验证定义）。

1. 取 $A\in \mathcal{F}。$$X=\frac{1}{L}{1}_A$ 非负可测，由命题 21，
   $${\mathbb{E}}_{\mathbb{Q}}\left[\frac{1}{L}{1}_A\right]={\mathbb{E}}_{\mathbb{P}}[\frac{1}{L}{1}_A\cdot L]={\mathbb{E}}_{\mathbb{P}}\left[1_A{1}_{\{L>0\}}\right]=\mathbb{P}(A\cap \{L>0\}),$$
   第二个等号用了恒等式 $\frac{1}{L}\cdot L=1_{\{L>0\}}。$
2. 因为 $\mathbb{P}(L=0)=0，$$\mathbb{P}(A)=\mathbb{P}(A\cap \{L>0\})+\mathbb{P}(A\cap \{L=0\})=\mathbb{P}(A\cap \{L>0\})。$
3. 合起来：$\mathbb{P}(A)={\mathbb{E}}_{\mathbb{Q}}\left[\frac{1}{L}{1}_A\right]$ 对所有 $A\in \mathcal{F}$ 成立。这正是「$\frac{1}{L}$ 是 $\mathbb{P}$ 关于 $\mathbb{Q}$ 的密度」的定义。
4. 由唯一性（第 28 页，把其中 $\mathbb{P}、$$\mathbb{Q}$ 的角色对调），$\frac{\mathrm{d}\mathbb{P}}{\mathrm{d}\mathbb{Q}}=\frac{1}{L}$ $\mathbb{Q}$-几乎必然；由相互绝对连续，也是 $\mathbb{P}$-几乎必然。

证明二（用链式法则）。

1. 由上一小节，$\mathbb{P}\ll \mathbb{Q}$ 且 $\mathbb{Q}\ll \mathbb{P}。$在命题 22（第 34 页）中取 $\tilde{\mathbb{Q}}=\mathbb{P}，$链条是 $\mathbb{P}\ll \mathbb{Q}\ll \mathbb{P}，$得
   $$\frac{\mathrm{d}\mathbb{P}}{\mathrm{d}\mathbb{P}}=\frac{\mathrm{d}\mathbb{P}}{\mathrm{d}\mathbb{Q}}\cdot \frac{\mathrm{d}\mathbb{Q}}{\mathrm{d}\mathbb{P}}\mathbb{P}\text{-几乎必然}.$$
2. 左边是 1（第 28 页 例 4：概率关于自己的密度几乎必然等于 1）。所以 $\frac{\mathrm{d}\mathbb{P}}{\mathrm{d}\mathbb{Q}}\cdot L=1$ $\mathbb{P}$-几乎必然。
3. 在 $\{L>0\}$ 上两边除以 $L$ 得 $\frac{\mathrm{d}\mathbb{P}}{\mathrm{d}\mathbb{Q}}=\frac{1}{L}；$$\{L>0\}$ 的 $\mathbb{P}$-概率是 1，所以这是 $\mathbb{P}$-几乎必然成立的等式。

两个证明殊途同归。证明二说明了倒数公式为什么「看起来像」$\frac{\mathrm{d}\mathbb{P}}{\mathrm{d}\mathbb{Q}}=1/\frac{\mathrm{d}\mathbb{Q}}{\mathrm{d}\mathbb{P}}$ 这样的分数运算。

Expectation under the original probability｜在原概率下求期望

证明：由前两小节，$\mathbb{P}\ll \mathbb{Q}，$并且 $\frac{\mathrm{d}\mathbb{P}}{\mathrm{d}\mathbb{Q}}=\frac{1}{L}。$把命题 21 用在「$\mathbb{Q}$ 当参照、$\mathbb{P}$ 当新概率」这个方向（命题 21 对任意一对满足绝对连续的概率都成立，名字叫什么无所谓），密度换成 $\frac{1}{L}，$两条结论就是

怎么理解：

• 这就是重要性抽样的公式。想求 ${\mathbb{E}}_{\mathbb{P}}X，$却只会（或更愿意）从 $\mathbb{Q}$ 抽样：从 $\mathbb{Q}$ 抽出 $\omega ，$记下 $\frac{X(\omega )}{L(\omega )}，$再求平均。
• 权重 $\frac{1}{L}=\frac{\mathrm{d}\mathbb{P}}{\mathrm{d}\mathbb{Q}}$ 在纠偏：$\mathbb{Q}$ 比 $\mathbb{P}$ 更常抽到的地方（$L>1），$权重小于 1，把「抽多了」的部分压下去；$\mathbb{Q}$ 比 $\mathbb{P}$ 更少抽到的地方（$L<1），$权重大于 1，把「抽少了」的部分补回来。统计里把 $\frac{1}{L}$ 叫重要性权重（importance weight）或似然比。
• $L>0$ 为什么不可少：若 $\mathbb{P}(L=0)>0，$$\mathbb{Q}$ 永远抽不到 $\{L=0\}$ 这一块，那里 $X$ 的贡献就丢了。直接计算可得 ${\mathbb{E}}_{\mathbb{Q}}[X/L]={\mathbb{E}}_{\mathbb{P}}[X{1}_{\{L>0\}}]，$一般不等于 ${\mathbb{E}}_{\mathbb{P}}X$（例 3）。

例子

推导：一步一步来

（一）直接证明 ${\mathbb{E}}_{\mathbb{P}}X={\mathbb{E}}_{\mathbb{Q}}[X/L]$（$X\ge 0）。$

1. $\frac{X}{L}$（在 $L=0$ 处按约定取 0）非负可测，由命题 21，${\mathbb{E}}_{\mathbb{Q}}\left[\frac{X}{L}\right]={\mathbb{E}}_{\mathbb{P}}[\frac{X}{L}\cdot L]。$
2. $\frac{X}{L}\cdot L=X{1}_{\{L>0\}}：$在 $L>0$ 处约掉，在 $L=0$ 处是 $0\cdot 0=0。$
3. $X{1}_{\{L>0\}}$ 和 $X$ 只在 $\{L=0\}$ 上不同，而 $\mathbb{P}(L=0)=0，$零概率事件上的改动不影响积分（第 43 页），所以 ${\mathbb{E}}_{\mathbb{P}}\left[X{1}_{\{L>0\}}\right]={\mathbb{E}}_{\mathbb{P}}X。$

这个证明也清楚地显示了例 3 的问题出在哪里：没有 $\mathbb{P}(L=0)=0，$第 3 步就不成立。

（二）加权值的二阶矩。 设 $X\ge 0。$把命题 21 用在非负函数 $(\frac{X}{L}{)}^2$ 上：

其中 $\frac{X^2}{L}$ 在零概率事件 $\{L=0\}$ 上取 0。若它有限，则 $\frac{X}{L}\in L^2(\mathbb{Q})$（二阶矩有限），方差有意义。代入方差公式 ${\mathrm{Var}}_{\mathbb{Q}}(Y)={\mathbb{E}}_{\mathbb{Q}}{Y}^2-({\mathbb{E}}_{\mathbb{Q}}Y{)}^2$（第 32 页 推导一节），并用（一）的结论 ${\mathbb{E}}_{\mathbb{Q}}\left[\frac{X}{L}\right]={\mathbb{E}}_{\mathbb{P}}X，$得

重要性抽样的方差完全由 ${\mathbb{E}}_{\mathbb{P}}[X^2/L]$ 决定：$L$ 在 $X$ 大的地方太小，$\frac{X^2}{L}$ 就会很大甚至不可积（例 4 中 $X=1、$$L=2x$ 时 ${\mathbb{E}}_{\mathbb{P}}[1/L]=\infty ）。$第 39 页正是用这个公式计算方差的。

常见疑问与易错点

小结与自测