24 密度收敛与事件概率：最大概率误差恰好是 L¹ 误差的一半 · 第3讲

这一页在讲什么

人话版一句话版

两个密度 $f_{n} 、$ $f$ 的总面积都是 1，所以 $f_{n}$ 多出来的面积一定等于少掉的面积，各占误差 $\int ∣ f_{n} - f ∣$ 的一半。由此得到一个精确公式：所有事件上的最大概率误差

A sup \int_{A} f_{n} d μ - \int_{A} f d μ = \frac{1}{2} \int ∣ f_{n} - f ∣ d μ,

在事件 ${f_{n} > f}$ 上取到。配合 Scheffé 引理，密度逐点收敛时它趋于 0。

第 22 页的推论已经给出 $sup_{A} ∣ P_{n} (A) - P (A) ∣ \leq \int ∣ f_{n} - f ∣ 。$ 本页把常数改进成 $\frac{1}{2} ，$ 并且证明 $\frac{1}{2}$ 不能再小：有一个事件恰好达到它。
这个最大误差叫两个分布的总变差距离（total variation distance），是概率论和统计里最常用的「两个分布差多远」的度量之一。
下一页第 25 页用一个具体的例子把这个最大误差精确算出来。

先补基础

基础补课正部与负部（第 1 讲 p43）

对函数 $g ，$ 令

g^{+} = max (g, 0), g^{-} = max (- g, 0) .

$g^{+}$ 保留 $g$ 为正的部分（其余变 0）， $g^{-}$ 把 $g$ 为负的部分翻成正的（其余变 0）。两者都非负。
三个等式： $g = g^{+} - g^{-} ，$ $∣ g ∣ = g^{+} + g^{-} ，$ 并且在每一点上 $g^{+} 、$ $g^{-}$ 至少有一个是 0。
例： $g (x) = x - \frac{1}{2}$ （ $x \in [0, 1] ）。$ $x > \frac{1}{2}$ 时 $g^{+} = x - \frac{1}{2} 、$ $g^{-} = 0 ；$ $x < \frac{1}{2}$ 时 $g^{+} = 0 、$ $g^{-} = \frac{1}{2} - x 。$
可积函数的积分定义为 $\int g = \int g^{+} - \int g^{-}$ （第 43 页）。

基础补课由密度定义的概率

若 $f \geq 0 、$ $\int f d μ = 1 ，$ 则 $P (A) = \int_{A} f d μ$ （ $A \in M ）$ 是 $(S, M)$ 上的概率测度（第 26 页证明了可数可加性）。本页记

P_{n} (A) = \int_{A} f_{n} d μ, P (A) = \int_{A} f d μ .

例： $S = R 、$ $μ = λ 、$ $f$ 为标准正态密度时， $P (A)$ 就是标准正态随机变量落在 $A$ 里的概率。

基础补课上确界 sup，以及「取到」

一组数的上确界（supremum）是它们的「最小上界」：不小于其中每个数，而且是满足这一点的最小的数（第 33 页）。
上确界不一定是其中的某个数。例： ${1 - \frac{1}{k} : k \geq 1}$ 的上确界是 1，但 1 不在这组数里。若上确界恰好是其中某个数，就说它被取到（attained）。
本页的 $sup_{A}$ 是对所有事件 $A \in M$ 取的，事件有无穷多个。我们会找出一个具体的事件，证明上确界在它上面被取到。

课件原文逐句精读

课件原文Density convergence and event probabilities

On $(S, M, μ)$ , let $f_{n}, f$ be finite nonnegative measurable functions with $\int f_{n} d μ = \int f d μ = 1$ , and $f_{n} \to f$ a.e.

Scheffé gives convergence in $L^{1}$

Positive and negative parts

中文翻译

（标题：密度收敛与事件概率）

在 $(S, M, μ)$ 上，设 $f_{n} 、$ $f$ 是取有限值的非负可测函数， $\int f_{n} d μ = \int f d μ = 1 ，$ 并且 $f_{n} \to f$ 几乎处处。

Scheffé 引理给出 $L^{1}$ 收敛

正部与负部

逐句看：

finite nonnegative measurable functions：取有限值、非负、可测——和定理 16（第 22 页）的要求一样。
$\int f_{n} d μ = \int f d μ = 1$ ：所有 $f_{n}$ 和 $f$ 都是对 $μ$ 的概率密度。这一条让 Scheffé 引理的条件 2 自动成立。
$f_{n} \to f$ a.e.： $μ$ -几乎处处收敛，Scheffé 引理的条件 1。
Scheffé gives convergence in $L^{1}$ ：第一个小标题，用 Scheffé 引理得到 $\int ∣ f_{n} - f ∣ d μ \to 0 。$
Positive and negative parts：第二个小标题，用 $f_{n} - f$ 的正部、负部把「 $L^{1}$ 误差」翻译成「事件概率的误差」。
标题 Density convergence and event probabilities：密度的收敛如何控制事件的概率。

补全课件留白

补充说明

课件此处留白（课堂板书），以下内容由本站根据标准教材补写，记号与本课件保持一致；如与老师课堂写法不同，以老师为准。

Scheffé gives convergence in L¹｜Scheffé 引理给出 L¹ 收敛

命题（密度的 L¹ 收敛）

在本页的设定下，

\int ∣ f_{n} - f ∣ d μ \to 0.

推导证明

逐条核对定理 16（第 22 页）的条件：

$f_{n}, f : S \to [0, \infty)$ 可测——设定里写明了「有限、非负、可测」；
$f_{n} \to f$ $μ$ -a.e.——设定；
$\int f_{n} d μ = 1 \to 1 = \int f d μ < \infty$ ——常数数列当然收敛，极限 $1$ 有限。

三条都满足，由定理 16 得 $\int ∣ f_{n} - f ∣ d μ \to 0 。$

记号： $\int ∣ f_{n} - f ∣ d μ$ 常写成 $∥ f_{n} - f ∥_{L^{1} (μ)} ，$ 叫 $f_{n}$ 与 $f$ 的 $L^{1}$ 距离。「在 $L^{1}$ 中收敛」就是这个距离趋于 0。
意义：只验证了「每一点」的收敛，却得到了「整体面积」的收敛。对一般函数这不成立（尖峰），对密度成立，因为极限 $f$ 的总质量也是 1，质量没有地方逃。

Positive and negative parts｜正部与负部

命题（正部、负部与总变差）

设 $f_{n} 、$ $f$ 是对 $μ$ 的两个概率密度（这里不需要收敛），记 $g_{n} = f_{n} - f 。$ 则

$\int g_{n}^{+} d μ = \int g_{n}^{-} d μ = \frac{1}{2} \int ∣ f_{n} - f ∣ d μ ；$
对每个事件 $A \in M ，$ $P_{n} (A) - P (A) \leq \frac{1}{2} \int ∣ f_{n} - f ∣ d μ ；$
在事件 $A_{n} = {f_{n} > f}$ 上等号成立： $P_{n} (A_{n}) - P (A_{n}) = \frac{1}{2} \int ∣ f_{n} - f ∣ d μ 。$

因此

A \in M sup P_{n} (A) - P (A) = \frac{1}{2} \int ∣ f_{n} - f ∣ d μ .

再加上本页设定（ $f_{n} \to f$ a.e.），由上一小节，右边趋于 0：所有事件的概率一致地收敛。

推导证明思路

总面积相等 ⇒ 差 $g_{n}$ 的积分为 0 ⇒ 正部面积等于负部面积，各为误差的一半。任何事件上的概率差，最多拿到全部正部（或全部负部），所以不超过一半；事件 ${f_{n} > f}$ 恰好拿到全部正部。

$g_{n}$ 可积： $∣ g_{n} ∣ \leq f_{n} + f ，$ 所以 $\int ∣ g_{n} ∣ \leq \int f_{n} + \int f = 2 < \infty 。$
$g_{n}$ 的积分为 0：由线性（第 43 页命题 35）， $\int g_{n} = \int f_{n} - \int f = 1 - 1 = 0 。$
正部等于负部：按定义 $\int g_{n} = \int g_{n}^{+} - \int g_{n}^{-} ，$ 两项都有限（不超过 $\int ∣ g_{n} ∣ \leq 2 ）。$ 由第 2 步它等于 0，所以

\int g_{n}^{+} d μ = \int g_{n}^{-} d μ .

各占一半： $∣ g_{n} ∣ = g_{n}^{+} + g_{n}^{-} ，$ 积分得 $\int ∣ g_{n} ∣ = \int g_{n}^{+} + \int g_{n}^{-} = 2 \int g_{n}^{+} 。$ 所以两者都等于 $\frac{1}{2} \int ∣ f_{n} - f ∣ 。$ 结论 1 证毕。
任一事件的上界：对 $A \in M ，$

P_{n} (A) - P (A) = \int_{A} g_{n} d μ = \int_{A} g_{n}^{+} d μ - \int_{A} g_{n}^{-} d μ .

减去一个非负数只会变小，所以它 $\leq \int_{A} g_{n}^{+} \leq \int g_{n}^{+}$ （被积函数非负，积分区域变大积分不减）。反过来，加上一个非负数 $\int_{A} g_{n}^{+}$ 只会变大，所以它 $\geq - \int_{A} g_{n}^{-} \geq - \int g_{n}^{-} 。$ 由第 4 步，上下界都是 $\pm \frac{1}{2} \int ∣ f_{n} - f ∣ 。$ 结论 2 证毕。6. 取到等号的事件： $A_{n} = {f_{n} > f} = {g_{n} > 0}$ 是可测集。在 $A_{n}$ 上 $g_{n}^{-} = 0 ；$ 在 $A_{n}$ 外 $g_{n} \leq 0 ，$ 所以 $g_{n}^{+} = 0 。$ 于是

P_{n} (A_{n}) - P (A_{n}) = \int_{A_{n}} g_{n}^{+} d μ - 0 = \int_{S} g_{n}^{+} d μ = \frac{1}{2} \int ∣ f_{n} - f ∣ d μ .

结论 3 证毕。上确界不超过 $\frac{1}{2} \int ∣ f_{n} - f ∣$ （结论 2），又在 $A_{n}$ 上取到（结论 3），所以恰好等于它。

定义总变差距离

两个概率测度 $P_{n} 、$ $P$ 的总变差距离（total variation distance）定义为

d_{T V} (P_{n}, P) = A \in M sup P_{n} (A) - P (A) .

本页的命题说：两者都有密度时， $d_{T V} (P_{n}, P) = \frac{1}{2} \int ∣ f_{n} - f ∣ d μ 。$ 它总在 $[0, 1]$ 里。

人话版：多出来的 = 少掉的

把 $f$ 想成一份「标准」的沙堆分布， $f_{n}$ 是重新堆过的沙子，总量都是 1。有的地方沙子多了（ $f_{n} > f ，$ 正部），有的地方少了（ $f_{n} < f ，$ 负部）。总量不变，所以多出来的总量 = 少掉的总量。问「哪块地方的沙量差别最大」：把所有多出来的地方圈在一起，正好得到全部多出来的量，也就是总误差的一半。任何其他圈法，要么漏掉一些「多」，要么混进一些「少」来抵消，都不会更大。

例子

例 1：三个点上的两个分布——把 8 个事件全部列出来

$S = {1, 2, 3} ，$ $μ$ 为计数测度。 $p = (\frac{1}{3}, \frac{1}{3}, \frac{1}{3}) ，$ $q = (\frac{1}{2}, \frac{1}{4}, \frac{1}{4}) 。$ 差 $q - p = (\frac{1}{6}, - \frac{1}{12}, - \frac{1}{12}) 。$

正部之和： $\frac{1}{6} ；$ 负部之和： $\frac{1}{12} + \frac{1}{12} = \frac{1}{6} 。$ 相等。
$L^{1}$ 误差： $\frac{1}{6} + \frac{1}{12} + \frac{1}{12} = \frac{1}{3} ，$ 一半是 $\frac{1}{6} 。$

逐个事件验证（ $Q (A) - P (A)$ 是两个分布在 $A$ 上的概率之差）：

事件 $A$	$P (A)$	$Q (A)$	$Q (A) - P (A)$
$\emptyset$	0	0	0
${1}$	$\frac{1}{3}$	$\frac{1}{2}$	$+ \frac{1}{6}$
${2}$	$\frac{1}{3}$	$\frac{1}{4}$	$- \frac{1}{12}$
${3}$	$\frac{1}{3}$	$\frac{1}{4}$	$- \frac{1}{12}$
${1, 2}$	$\frac{2}{3}$	$\frac{3}{4}$	$+ \frac{1}{12}$
${1, 3}$	$\frac{2}{3}$	$\frac{3}{4}$	$+ \frac{1}{12}$
${2, 3}$	$\frac{2}{3}$	$\frac{1}{2}$	$- \frac{1}{6}$
${1, 2, 3}$	1	1	0

最大的绝对值是 $\frac{1}{6} ，$ 在 ${1} = {q > p}$ 上取到（它的补集 ${2, 3}$ 上也是 $\frac{1}{6} ，$ 符号相反），正好是 $L^{1}$ 误差的一半。像 ${1, 2}$ 这样混进了负部的事件，误差被抵消成 $\frac{1}{12} 。$

例 2：正态分布平移 θ

$μ = λ ，$ $f = φ$ （标准正态密度）， $f_{θ} (x) = φ (x - θ) ，$ $θ > 0 。$

哪里多了： $f_{θ} (x) > φ (x) ⟺ (x - θ)^{2} < x^{2} ⟺ - 2 θ x + θ^{2} < 0 ⟺ x > \frac{θ}{2} 。$ 所以 $A = {x > \frac{θ}{2}} 。$
最大误差：记 $Φ$ 为标准正态分布函数，

P_{θ} (A) - P (A) = [1 - Φ (\frac{θ}{2} - θ)] - [1 - Φ (\frac{θ}{2})] = Φ (\frac{θ}{2}) - Φ (- \frac{θ}{2}) = 2Φ (\frac{θ}{2}) - 1.

（用了 $Φ (- t) = 1 - Φ (t) 。）$ 3. 数值： $θ = 1$ 时约 0.383； $θ = 0.5$ 时约 0.197； $θ = 0.1$ 时约 0.040。4. 对照 Scheffé：取 $θ_{n} = \frac{1}{n} ，$ $f_{θ_{n}} (x) \to φ (x)$ 对每个 $x$ 成立，最大误差 $2Φ (\frac{1}{2 n}) - 1 \to 2Φ (0) - 1 = 0 ，$ 与本页结论一致。

例 3：没有逐点收敛时——误差不趋于 0

第 22 页的 $f_{n} (x) = 1 + sin (2 πn x)$ 是 $[0, 1]$ 上的密度（非负、积分为 1）， $f = 1 。$

正部、负部恒等式照样成立（它不需要收敛）： $\int ∣ f_{n} - f ∣ = \frac{2}{π} ，$ 所以 $d_{T V} = \frac{1}{π} \approx 0.318 ，$ 在 $A_{n} = {sin (2 πn x) > 0}$ （ $n$ 个小区间的并）上取到。
这个值对每个 $n$ 都一样，不趋于 0，因为 $f_{n}$ 不逐点收敛，Scheffé 引理不适用。
对比：对每个固定的区间 $[0, a] ，$ $P_{n} ([0, a]) - a = \frac{1 - c o s ( 2 πna )}{2 πn} \to 0 。$ 每个固定事件都收敛，但最坏的事件（随 $n$ 改变）始终差 $\frac{1}{π} 。$ Scheffé 给出的是一致收敛，比逐个事件收敛强。

推导：一步一步来

用公共部分表示总变差。 负部 $g_{n}^{-} = (f - f_{n})^{+} = f - min (f_{n}, f)$ （第 23 页「两种等价的写法」）。积分得

d_{T V} (P_{n}, P) = \int g_{n}^{-} d μ = 1 - \int min (f_{n}, f) d μ .

总变差 = 1 − 重叠面积。 例 1 中重叠质量为 $\frac{1}{3} + \frac{1}{4} + \frac{1}{4} = \frac{5}{6} ，$ $1 - \frac{5}{6} = \frac{1}{6} ，$ 一致。

从事件推广到有界函数。 设 $h$ 可测， $0 \leq h \leq 1 。$ 则 $\int h g_{n} = \int h g_{n}^{+} - \int h g_{n}^{-} ，$ 第一项在 $0$ 与 $\int g_{n}^{+}$ 之间，第二项在 $0$ 与 $\int g_{n}^{-}$ 之间，所以

\int h f_{n} d μ - \int h f d μ \leq \frac{1}{2} \int ∣ f_{n} - f ∣ d μ .

取 $h = 1_{A}$ 就回到结论 2。概率语言：若 $X_{n}$ 有密度 $f_{n} 、$ $X$ 有密度 $f ，$ 则对所有取值在 $[0, 1]$ 的可测函数 $h$ （不必连续）， $∣ E h (X_{n}) - E h (X) ∣ \leq d_{T V} ，$ 在密度逐点收敛时一致地趋于 0。

总变差为什么不超过 1。 $\frac{1}{2} \int ∣ f_{n} - f ∣ \leq \frac{1}{2} (\int f_{n} + \int f) = 1 。$ 等号成立当且仅当重叠面积为 0，即两个密度几乎处处「不重叠」，这时存在一个事件，一个分布给它概率 1，另一个给它概率 0。

常见疑问与易错点

易错点问：为什么最大误差只有一半，而不是整个 ∫|fₙ − f|？

答： $\int ∣ f_{n} - f ∣$ 把「多出来的」和「少掉的」都算了进去，而这两部分一样大。一个事件 $A$ 的概率差 $\int_{A} (f_{n} - f)$ 里，多出来的部分记正号、少掉的部分记负号，会互相抵消；最好的情况是只圈住多出来的部分（ $A = {f_{n} > f} ），$ 得到全部正部，也就是一半。

易错点问：事件有无穷多个，怎么能确定上确界被取到？

答：我们没有逐个检查所有事件，而是做了两件事：先证明每个事件的误差都不超过 $\frac{1}{2} \int ∣ f_{n} - f ∣$ （结论 2），再造出一个具体的事件 ${f_{n} > f}$ 恰好达到它（结论 3）。上界被取到，它就是上确界，而且是最大值。

易错点问：总变差距离很小，是否说明 fₙ 和 f 在每一点都很接近？

答：不是。在 $[0, 1]$ 上取 $f = 1 ，$ $f_{n} = 1 - \frac{1}{n} + n 1_{[0, 1/ n^{2}]}$ （积分 $1 - \frac{1}{n} + \frac{1}{n} = 1 ，$ 是密度）。 $f_{n} (0) \approx n ，$ 与 $f (0) = 1$ 相差很大；但 $\int ∣ f_{n} - f ∣ = (n - \frac{1}{n}) \frac{1}{n ^{2}} + \frac{1}{n} (1 - \frac{1}{n ^{2}}) = \frac{2}{n} - \frac{2}{n ^{3}} \to 0 。$ 高度差很大的地方面积很小，对任何事件的概率影响都很小。总变差衡量的是概率的差别，不是密度高度的差别。

易错点问：正部、负部恒等式需要 fₙ → f 吗？

答：不需要。结论 1–3 对任意两个密度成立（例 1、例 3 都没有用到收敛）。收敛只用在最后一步：由 Scheffé 引理， $\int ∣ f_{n} - f ∣ \to 0 ，$ 从而总变差趋于 0。

小结与自测

小结本页小结

设定： $f_{n} 、$ $f$ 是密度， $f_{n} \to f$ a.e.。Scheffé 引理（条件 2 自动成立）给出 $\int ∣ f_{n} - f ∣ d μ \to 0 。$
正部 = 负部： $\int (f_{n} - f)^{+} = \int (f_{n} - f)^{-} = \frac{1}{2} \int ∣ f_{n} - f ∣ ，$ 因为两个密度总面积相同。
最大事件误差： $sup_{A} ∣ P_{n} (A) - P (A) ∣ = \frac{1}{2} \int ∣ f_{n} - f ∣ ，$ 在 $A = {f_{n} > f}$ 上取到；这就是总变差距离，也等于 $1 - \int min (f_{n}, f) 。$
所以密度逐点收敛 ⇒ 所有事件概率一致收敛；没有逐点收敛时（ $1 + sin 2 πn x ），$ 可能每个固定事件都收敛，却不一致收敛。

自测

1. $S = {1, 2, 3, 4} ，$ $p$ 是均匀分布（每点 $\frac{1}{4} ），$ $q = (0.4, 0.3, 0.2, 0.1) 。$ 求总变差距离和取到它的事件。

点开看答案

$q - p = (0.15, 0.05, - 0.05, - 0.15) 。$ 正部之和 $0.2 ，$ 负部之和 $0.2 ，$ $\sum ∣ q - p ∣ = 0.4 ，$ 总变差 $= 0.2 。$ 取到它的事件是 ${q > p} = {1, 2} ：$ $Q ({1, 2}) = 0.7 ，$ $P ({1, 2}) = 0.5 ，$ 差 0.2。

2. 已知两个密度的 $L^{1}$ 距离 $\int ∣ f_{n} - f ∣ d μ = 0.3 。$ 某个事件的概率差能不能是 $0.2 ？$

点开看答案

不能。任何事件的概率差都不超过 $\frac{1}{2} \times 0.3 = 0.15 。$

3. 判断：若两个密度的重叠面积 $\int min (f_{n}, f) d μ = 0.75 ，$ 则总变差距离是 0.25， $L^{1}$ 距离是 0.5。

点开看答案

正确。总变差 $= 1 - \int min (f_{n}, f) = 0.25 ；$ $L^{1}$ 距离是它的两倍， $0.5$ （也可以用第 23 页的公式 $2 (1 - 0.75) = 0.5 ）。$

本页术语中英对照（按出现顺序）

中文	English	白话解释
事件	event	样本空间的（允许谈概率的）子集；实现的 ω 落在里面，就说事件发生。
Scheffé 引理	Scheffé's lemma	非负可积的 fₙ → f 几乎处处，且 ∫fₙ → ∫f < ∞，则 ∫\|fₙ − f\| → 0。概率密度逐点收敛，分布就在全变差意义下收敛。
逐点收敛	pointwise convergence	对定义域里的每一个点 x，数列 fₙ(x) 都收敛到 f(x)；这样得到的函数 f 叫逐点极限。
分布	law / distribution	X 把概率「推」到取值空间上得到的测度：L(X)(B) = P(X ∈ B)。
函数	function / map	f: A → B 给 A 中每个元素指定 B 中唯一一个元素。
可积	integrable (L¹)	∫\|f\| dμ < ∞。全体可积函数记作 L¹(μ)。
概率测度	probability measure	总质量 P(Ω) = 1 的测度。
可数可加性	countable additivity	两两不交的可数个集合，并集的测度等于各自测度之和。
随机变量	random variable	从样本空间到实数的（可测）函数，把结局翻译成数字；随机性来自「实现了哪个 ω」。
上确界	supremum (sup)	最小的上界。最大值不一定存在，但有上界的实数集一定有上确界。
上界	upper bound	数集 A 的上界是一个数 M，A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界；所有上界中最小的那个叫上确界。
可测函数	measurable function	对每个 a，集合 {f > a} 都可测；这样的函数才能积分。
几乎处处	almost everywhere (a.e.)	除了一个测度为 0 的集合之外都成立；零测集上的值不影响积分。
正部	positive / negative part	f⁺ = max(f, 0)，f⁻ = max(−f, 0)，f = f⁺ − f⁻，\|f\| = f⁺ + f⁻。
概率密度	density	满足 P(X ∈ B) = ∫_B f(x) dx 的函数 f；有密度等价于 CDF 绝对连续。
下界	lower bound	数集 A 的下界是一个数 m，A 里每个数都 ≥ m。例如 0 和 −3 都是 (0,1] 的下界；所有下界中最大的那个叫下确界。
可测集	measurable set	σ-代数里的集合，也就是可以谈「测度多大」的集合；在概率空间里，可测集就叫事件。
测度	measure	给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」，空集为 0，并且可数可加。
计数测度	counting measure	μ(A) = A 中元素的个数（无限集记为 ∞）。在 ℕ 上对它积分就是求和。
补集	complement	样本空间里不属于 A 的元素全体，记作 Aᶜ，对应「A 不发生」。
标准正态分布	standard normal distribution	均值 0、方差 1 的正态分布 N(0, 1)，密度 exp(−x²/2)/√(2π)，分布函数记作 Φ。
区间	interval	数轴上的一段，[a,b] 包含端点，(a,b) 不包含端点。
一致收敛	uniform convergence	所有点上的最大差距 supₓ \|fₙ(x) − f(x)\| → 0。比逐点收敛强：不允许某些点收敛得特别慢。
当且仅当	if and only if (iff)	「A 当且仅当 B」：A 成立就一定有 B，B 成立也一定有 A，两者同真同假，记作 A ⟺ B。