绝对连续与概率密度：用一个「权重函数」把 ℙ 变成 ℚ

这一页在讲什么

这是第 4 部分「Radon–Nikodym 与换测度」的第一页。

• 前面第 22–25 页（Scheffé 引理、第 24 页）里，密度 $f_n、$$f$ 都是题目直接给好的。
• 这一页把问题反过来：现在手里有两个概率 $\mathbb{P}$ 和 $\mathbb{Q}，$能不能找到一个函数 $L，$使得 $\mathbb{Q}$ 的每个事件的概率都能写成「$L$ 在这个事件上对 $\mathbb{P}$ 的积分」？
• 这一页先做两件准备工作：（1）定义「绝对连续」；（2）证明「用密度造出来的 $\mathbb{Q}$ 确实是概率，而且一定绝对连续」。于是绝对连续是存在密度的必要条件。
• 下一页 第 27 页 的 Radon–Nikodym 定理说它也是充分条件；之后第 28–35 页讲这个密度的唯一性、用法和运算规则；第 5 部分（第 36–45 页）把它用在抽样上。

先补基础

课件原文逐句精读

So far, the densities were given｜到目前为止，密度都是给定的

• 在 第 22 页–第 25 页 里，我们研究的是「一列密度 $f_n$ 收敛到密度 $f$ 时，概率会不会跟着收敛」。那里的密度都是题目直接给出的函数，我们从来没有问过「密度从哪里来」。
• 这句话在提醒你：接下来要换一个角度——先有两个概率，再去找密度。

When can we write ℚ(A) = ∫_A L dℙ?｜什么时候能写成这种形式

• 我们想找一个函数 $L:\Omega \to [0,\infty )，$它对所有事件 $A$ 同时有效：不管问哪个事件，$\mathbb{Q}(A)$ 都等于 $L$ 在 $A$ 上对 $\mathbb{P}$ 的积分。
• 在有限样本空间里，这个要求就是「对每个样本点，$\mathbb{Q}(\{\omega \})=L(\omega )\mathbb{P}(\{\omega \})」。$所以 $L(\omega )$ 表示：在 $\omega$ 这一点，$\mathbb{Q}$ 给的分量是 $\mathbb{P}$ 的多少倍。$L(\omega )=2$ 就是「$\mathbb{Q}$ 认为 $\omega$ 的可能性是 $\mathbb{P}$ 认为的 2 倍」。
• 这样的 $L$ 叫作 $\mathbb{Q}$ 关于 $\mathbb{P}$ 的密度（density），在统计里也叫似然比（likelihood ratio），下一页会给它正式的名字 Radon–Nikodym 导数。
• 为什么关心这个？因为一旦有了 $L，$关于 $\mathbb{Q}$ 的一切计算（概率、期望）都能换成关于 $\mathbb{P}$ 的计算（第 32 页），反过来也行（第 35 页）。这就是「换测度」（change of measure），第 5 部分会用它把一个很难的抽样问题变简单。

三个加粗标签

课件接下来只印了三个加粗标题，下面的内容是老师课上手写的，我们在下一节「补全课件留白」里逐个补出来。三块内容的逻辑关系是：

1. Definition 17：先定义「绝对连续」这个性质；
2. A probability defined by a density：证明「用密度 $L$ 造出来的 $\mathbb{Q}$ 是一个概率，而且满足绝对连续」；
3. Countable additivity：上面「是一个概率」里最难的一步——可数可加性——单独证明。

补全课件留白

Definition 17 (Absolute continuity)｜定义 17（绝对连续）

逐句理解：

• 读法：$\mathbb{Q}\ll \mathbb{P}$ 读作「$\mathbb{Q}$ 关于 $\mathbb{P}$ 绝对连续」，也常说「$\mathbb{P}$ 控制 $\mathbb{Q}」。$符号 $\ll$ 像「远小于」，可以记成「$\mathbb{Q}$ 的零集比 $\mathbb{P}$ 的零集多（或一样多）」——凡是 $\mathbb{P}$ 的零集，一定也是 $\mathbb{Q}$ 的零集。
• 人话：$\mathbb{P}$ 认为不可能的事，$\mathbb{Q}$ 也认为不可能。 等价说法（逆否命题）：$\mathbb{Q}$ 认为有可能的事（$\mathbb{Q}(A)>0），$$\mathbb{P}$ 也认为有可能（$\mathbb{P}(A)>0）。$
• 一个立刻得到的推论：若 $\mathbb{P}(A)=1，$则 $\mathbb{P}(A^c)=0，$于是 $\mathbb{Q}(A^c)=0，$所以 $\mathbb{Q}(A)=1。$也就是说，$\mathbb{P}$-几乎必然成立的事，在 $\mathbb{Q}$ 下也几乎必然成立。第 30 页会用到这一点。
• 方向很重要：$\mathbb{Q}\ll \mathbb{P}$ 和 $\mathbb{P}\ll \mathbb{Q}$ 是两件不同的事（见下面例 4）。两个方向都成立时，称 $\mathbb{P}$ 与 $\mathbb{Q}$ 相互绝对连续（第 35 页）。
• 它在防止什么：如果某个事件 $A$ 满足 $\mathbb{P}(A)=0$ 但 $\mathbb{Q}(A)>0，$那么不管 $L$ 取多大，${\int }_{A}L\mathrm{d}\mathbb{P}$ 都是 0（积分看不见零概率事件），不可能等于 $\mathbb{Q}(A)。$所以这种 $\mathbb{Q}$ 根本写不成密度形式。定义 17 排除的正是这种情况。

A probability defined by a density｜由密度定义的概率

先看两个条件的作用：

• $L\ge 0$：概率不能是负数。如果 $L$ 在某个事件 $A$ 上是负的，${\int }_{A}L\mathrm{d}\mathbb{P}$ 就可能小于 0。
• ${\mathbb{E}}_{\mathbb{P}}L=1$：保证 $\mathbb{Q}(\Omega )={\mathbb{E}}_{\mathbb{P}}[L\cdot 1]=1，$总概率是 1。如果只知道 $0<{\mathbb{E}}_{\mathbb{P}}L=c<\infty ，$把 $L$ 换成 $L/c$ 就行，这一步叫归一化（normalization），第 41 页会再遇到。

Countable additivity｜可数可加性

设 $A_1,A_2,\cdots \in \mathcal{F}$ 两两不交，$A={\bigcup }_{n=1}^{\infty }{A}_n。$要证 $\mathbb{Q}(A)={\sum }_{n=1}^{\infty }\mathbb{Q}(A_n)。$

1. 示性函数的逐点等式：$1_A={\sum }_{n=1}^{\infty }{1}_{A_n}。$理由：若 $\omega \notin A，$两边每一项都是 0；若 $\omega \in A，$因为事件两两不交，$\omega$ 恰好属于其中一个 $A_m，$右边恰好有一项等于 1，其余是 0，和为 1，与左边相等。
2. 部分和：令 $f_N:={\sum }_{n=1}^{N}L{1}_{A_n}。$它满足：
   • $f_N\ge 0$（每一项非负）；
   • $f_N\le f_{N+1}$（多加了一个非负项 $L{1}_{A_{N+1}}）；$
   • $f_N(\omega )\to L(\omega )1_A(\omega )$ 对每个 $\omega$ 成立：若 $\omega \in A_m，$当 $N\ge m$ 时 $f_N(\omega )=L(\omega )；$若 $\omega \notin A，$$f_N(\omega )=0$ 一直成立。
3. 用 MCT（第 36 页）：由第 2 步的三条性质，
   $$\underset{N\to \infty }{\lim }{\mathbb{E}}_{\mathbb{P}}{f}_N={\mathbb{E}}_{\mathbb{P}}[L{1}_A]=\mathbb{Q}(A).$$
4. 有限可加性：由非负函数积分的可加性（第 38 页），
   $${\mathbb{E}}_{\mathbb{P}}{f}_N=\sum _{n=1}^N{\mathbb{E}}_{\mathbb{P}}[L{1}_{A_n}]=\sum _{n=1}^N\mathbb{Q}(A_n).$$
5. 合起来：第 3、4 步是同一个数列的极限，所以
   $$\mathbb{Q}(A)=\underset{N\to \infty }{\lim }\sum _{n=1}^N\mathbb{Q}(A_n)=\sum _{n=1}^{\infty }\mathbb{Q}(A_n).$$

证毕。结合上一小节，$\mathbb{Q}$ 是一个概率测度，而且 $\mathbb{Q}\ll \mathbb{P}。$

例子

常见疑问与易错点

小结与自测