28 从「估计期望」到「估计概率」：用一个矩压住一个事件 · 第2讲

这一页在讲什么

人话版一句话版

概率是示性函数的期望： $P (∣ W ∣ \geq t) = E [1_{{∣ W ∣ \geq t}}] 。$ 只要找到一个处处不小于这个示性函数的函数，比如 $\frac{∣ W ∣}{t} ，$ 取期望就得到

P (∣ W ∣ \geq t) \leq \frac{E ∣ W ∣}{t} .

一个矩（期望）就能压住一个事件的概率。

位置：第 5 部分「用矩控制概率」的开篇，是一页过渡。第 4 部分（第 23 页–第 27 页）的不等式都在估计期望；从本页起改为估计概率。
要解决的问题： $W$ 的分布常常不知道，但它的某个矩（ $E ∣ W ∣ 、$ $E W^{2} ）$ 知道或能估计。能不能只凭这些数，说「 $∣ W ∣$ 很大」这件事的概率不会太大？
答案的核心：一句话的技巧——用函数压住示性函数，再取期望。下一页第 29 页把它写成一般的定理（广义 Markov 不等式），第 30 页–第 32 页用它推出更多结论。

先补基础

基础补课示性函数与「概率 = 示性函数的期望」

事件 $A$ 的示性函数 $1_{A} (ω) ：$ $ω \in A$ 时为 1，否则为 0（第 30 页）。
由期望的定义（第 5 页定义 2）， $E [1_{A}] = P (A) 。$ 这是把概率问题变成期望问题的桥。
例：掷骰子， $A = {X \geq 5} ，$ $1_{A}$ 在点数 5、6 上是 1，其余是 0， $E 1_{A} = \frac{2}{6} = P (A) 。$

基础补课事件 {|W| ≥ t} 读作什么

${∣ W ∣ \geq t}$ 是 ${ω \in Ω : ∣ W (ω) ∣ \geq t}$ 的简写：「 $W$ 的大小至少是 $t 」$ 的那些结局。它是一个事件，因为 $∣ W ∣$ 是随机变量（第 4 页）。
这里 $t > 0$ 是一个给定的门槛。 $P (∣ W ∣ \geq t)$ 是「 $W$ 偏离 0 至少 $t 」$ 的概率，常叫尾概率（第 21 页）。
在统计和金融里，它回答「出现极端值的可能性有多大」：误差超过 $t 、$ 损失超过 $t 、$ 等待时间超过 $t \dots\dots$

基础补课期望的单调性（第 5 页性质 2）

若 $Z \geq Z^{'} \geq 0$ 对每个 $ω$ 成立，则 $E Z \geq E Z^{'} 。$ 所以逐点比较可以变成期望的比较。本页的全部技巧就是把这一条用在 $Z^{'} = 1_{A}$ 上。

课件原文逐句精读

课件原文A moment estimate can control an event

The preceding inequalities bound expectations of transforms, products, and sums. How to bound $P (∣ W ∣ \geq t)$ ?

中文翻译

蓝条标题：一个矩估计可以控制一个事件。

前面的不等式给出了变换、乘积与和的期望的界。怎样给 $P (∣ W ∣ \geq t)$ 一个界？

The preceding inequalities bound expectations of transforms, products, and sums｜回顾第 4 部分

这一句把第 4 部分总结成三类，正好对应第 3 页目录里第 4 部分的标题：

对象	不等式	内容
变换 $E φ (X)$	Jensen（第 24 页）	$φ (E X) \leq E φ (X) ，$ $φ$ 凸
乘积 $E ∣ X Y ∣$	Hölder（第 26 页）	$E ∣ X Y ∣ \leq ∥ X ∥_{p} ∥ Y ∥_{q}$
和 $∥ X + Y ∥_{p}$	Minkowski（第 27 页）	$∥ X + Y ∥_{p} \leq ∥ X ∥_{p} + ∥ Y ∥_{p}$

关键词是 expectations（期望）：三个不等式的两边都是期望或范数，没有一个是概率。

How to bound ℙ(|W| ≥ t)?｜新问题

bound：给出上界，即证明「 $P (∣ W ∣ \geq t) \leq$ 某个可算的数」。
$W$ 是任意随机变量，用新字母是为了强调它可以是前面任何一个量： $X 、$ $X + Y 、$ $X - E X 、$ $X Y \dots\dots$
问题的难处：概率 $P (∣ W ∣ \geq t)$ 依赖 $W$ 的分布在 $t$ 以外的细节，而我们手上通常只有一两个平均量。

A moment estimate can control an event｜标题就是答案

moment estimate：对矩（ $E ∣ W ∣ 、$ $E ∣ W ∣^{p}$ 等）的一个估计，例如由 Minkowski 得到的 $∥ X + Y ∥_{p} \leq ∥ X ∥_{p} + ∥ Y ∥_{p} 。$
control an event：给事件的概率一个上界。
合起来：把第 4 部分得到的矩估计，翻译成事件概率的估计。翻译的工具就是下面的「压住示性函数」。

补全课件留白

补充说明

课件此处留白（课堂板书），以下内容由本站根据标准教材补写，记号与本课件保持一致；如与老师课堂写法不同，以老师为准。

引理核心技巧（用一个函数压住示性函数，课件未编号）

设 $A$ 是事件， $G$ 是非负随机变量，并且

1_{A} (ω) \leq G (ω) 对每个 ω \in Ω.

则 $P (A) \leq E G 。$

推导证明

$P (A) = E [1_{A}]$ （定义 2），而 $0 \leq 1_{A} \leq G ，$ 由期望的单调性， $E [1_{A}] \leq E G 。$ 证毕。

要点是怎么选 $G$ ： $G$ 要满足两个要求——

在 $A$ 上至少是 1（在 $A$ 外至少是 0），才能压住 $1_{A} ；$
期望能算或能估计，才能得到有用的数。

最基本的选法：|W| / t

取 $A = {∣ W ∣ \geq t}$ （ $t > 0 ），$ $G = \frac{∣ W ∣}{t} 。$ 检查要求 1，分两种情况：

$ω \in A ：$ $∣ W (ω) ∣ \geq t ，$ 所以 $\frac{∣ W ( ω ) ∣}{t} \geq 1 = 1_{A} (ω) ；$
$ω \in / A ：$ $1_{A} (ω) = 0 \leq \frac{∣ W ( ω ) ∣}{t} ，$ 因为 $∣ W ∣ \geq 0 。$

所以逐点有

1_{{∣ W ∣ \geq t}} \leq \frac{∣ W ∣}{t},

由核心技巧，

P (∣ W ∣ \geq t) \leq \frac{E ∣ W ∣}{t} (t > 0) .

这就是 Markov 不等式的最简单形式。下一页的命题 27 会把 $∣ W ∣/ t$ 换成一般的 $ψ (∣ W ∣) / ψ (t) 。$

其他选法预告

同样的检查方法（在 $A$ 上 $\geq 1 ，$ 处处 $\geq 0 ）$ 给出：

$G = \frac{∣ W ∣ ^{p}}{t ^{p}}$ （ $p > 0 ）：$ $P (∣ W ∣ \geq t) \leq \frac{E ∣ W ∣ ^{p}}{t ^{p}} 。$ $p = 2 、$ $W = X - E X$ 时就是 Chebyshev 不等式。
$G = e^{λ (W - t)}$ （ $λ > 0 ）：$ 在 ${W \geq t}$ 上 $W - t \geq 0 ，$ $G \geq e^{0} = 1 ；$ 处处 $G > 0 。$ 所以 $P (W \geq t) \leq e^{- λ t} E e^{λW}$ （Chernoff 界）。

这三种都是第 29 页的特例，详细的推导和例子在那一页。

为什么说「一个矩能控制所有的门槛 t」

$E ∣ W ∣$ 只是一个数，但 $P (∣ W ∣ \geq t) \leq \frac{E ∣ W ∣}{t}$ 对每一个 $t > 0$ 都成立，于是一个数就给出了整条尾函数 $t \mapsto P (∣ W ∣ \geq t)$ 的一个上界曲线 $\frac{E ∣ W ∣}{t} 。$ 代价是这条曲线只以 $\frac{1}{t}$ 的速度下降；用更高的矩 $E ∣ W ∣^{p}$ 可以换来 $t^{- p}$ 的速度。这正是标题里「矩 → 事件」的含义，也和第 21 页的矩–尾恒等式呼应：矩和尾巴互相控制。

图解

图解：一条直线压住一个台阶

课件这里没有图，可以在纸上画（横轴是 $x = ∣ W (ω) ∣ \geq 0 ）：$

台阶： $1_{[t, \infty)} (x) 。$ $x < t$ 时高度 0， $x \geq t$ 时高度 1，在 $x = t$ 处跳上去。
直线： $\frac{x}{t} ，$ 过原点 $(0, 0)$ 和点 $(t, 1) 。$
在 $[0, t)$ 上，直线在 0 上方；在 $[t, \infty)$ 上，直线在 1 上方。所以直线处处压在台阶上面，两者在 $x = 0$ 和 $x = t$ 处接触。
把横轴上的每个 $x$ 按 $∣ W ∣$ 的分布加权平均：台阶的平均是 $P (∣ W ∣ \geq t) ，$ 直线的平均是 $\frac{E ∣ W ∣}{t} 。$ 上面的线平均起来也在上面。
也可以画抛物线 $\frac{x ^{2}}{t ^{2}} ：$ 它同样过 $(0, 0)$ 和 $(t, 1) ，$ 在 $[0, t)$ 上比直线更低（压得更紧），但在 $x > t$ 上更高。哪一个给出的界更好，取决于 $∣ W ∣$ 的质量主要在 $t$ 的左边还是右边。

压得越紧（ $G$ 与台阶之间的空隙越小，并且空隙落在概率小的地方），得到的界越好。

例子

例 1：指数分布——界是对的，但很粗

$W \sim exp (1) ：$ $E W = 1 ，$ $E W^{2} = 2$ （第 21 页例 3），真实尾概率 $P (W \geq t) = e^{- t} 。$

门槛 $t$	真实值 $e^{- t}$	$\frac{E W}{t}$	$\frac{E W ^{2}}{t ^{2}}$
$3$	$\approx 0.0498$	$\approx 0.333$	$\approx 0.222$
$10$	$\approx 0.0000454$	$0.1$	$0.02$

两个界都成立，都比真实值大很多：它们只用了一个数，没有用到「指数分布的尾巴衰减得极快」这个信息。门槛越高，二阶矩的界相对越好。

例 2：掷骰子

$X \in {1, \dots, 6}$ 等可能， $E X = 3.5 。$

$t = 6 ：$ 真实 $P (X \geq 6) = \frac{1}{6} \approx 0.167 ；$ 界 $\frac{3.5}{6} \approx 0.583 。$
$t = 5 ：$ 真实 $P (X \geq 5) = \frac{2}{6} \approx 0.333 ；$ 界 $\frac{3.5}{5} = 0.7 。$
$t = 3 ：$ 界 $\frac{3.5}{3} > 1 ，$ 没有信息（任何概率都不超过 1）。门槛不超过均值时，Markov 界永远没用。

例 3：界不能再改进——两点分布取到等号

固定 $t > 0 、$ $θ \in [0, 1] ，$ 令 $W$ 以概率 $θ$ 取 $t 、$ 以概率 $1 - θ$ 取 0。则 $E W = θt ，$

P (W \geq t) = θ = \frac{E W}{t} .

等号成立。原因： $W$ 的取值只在 0 和 $t ，$ 正好是直线与台阶接触的两个点，空隙处没有任何质量。所以「只知道 $E ∣ W ∣ 」$ 时， $\frac{E ∣ W ∣}{t}$ 已经是最好的界。

例 4：把第 4 部分的矩估计接上来

设 $∥ X ∥_{2} = 1 ，$ $∥ Y ∥_{2} = 2 ，$ $X$ 与 $Y$ 的关系未知。用 $G = \frac{∣ W ∣ ^{2}}{t ^{2}} 、$ $W = X + Y ，$ 再用 Minkowski（第 27 页）：

P (∣ X + Y ∣ \geq 10) \leq \frac{E ∣ X + Y ∣ ^{2}}{100} = \frac{∥ X + Y ∥ _{2}^{2}}{100} \leq \frac{( ∥ X ∥ _{2} + ∥ Y ∥ _{2} ) ^{2}}{100} = \frac{9}{100} = 0.09.

这就是标题说的「矩估计控制事件」：Minkowski 给出矩的估计，压住示性函数的技巧把它变成概率的估计。

常见疑问与易错点

易错点问：为什么 t 必须大于 0？

答： $t = 0$ 时 $\frac{∣ W ∣}{t}$ 没有定义；而 $t < 0$ 时 ${∣ W ∣ \geq t} = Ω ，$ 概率是 1，不需要估计。另外， $t$ 很小（不超过 $E ∣ W ∣ ）$ 时界大于等于 1，等于什么也没说（例 2）。

易错点问：压住示性函数的 G 必须「处处」不小于 ind_A 吗？

答：几乎必然就够了（期望看不见零概率集，第 5 页性质 5），但不能只在 $A$ 上成立。例如 $G = \frac{W}{t}$ （不取绝对值）在 $A = {W \geq t}$ 上 $\geq 1 ，$ 但在 $W < 0$ 处是负数， $1_{A} = 0 \leq G$ 就不成立了。这时要么用 $∣ W ∣ ，$ 要么像下一页那样假设 $X \geq 0 。$

易错点问：这些界常常很粗，为什么还要学？

答：因为它们几乎不需要信息：不需要知道分布、不需要独立性，只需要一个矩。在理论证明中（例如以后的大数定律），我们关心的往往不是界的精确数值，而是「当 $n \to \infty$ 时概率趋于 0」，粗糙但普适的界正好够用。例 3 也说明：只知道均值时，这个界已经不能再改进。

小结与自测

小结本页小结

第 4 部分估计期望（变换、乘积、和）；第 5 部分估计概率。桥梁是 $P (A) = E 1_{A} 。$
核心技巧：若 $1_{A} \leq G$ （ $G \geq 0 ）$ 逐点成立，则 $P (A) \leq E G 。$
最基本的选法 $1_{{∣ W ∣ \geq t}} \leq \frac{∣ W ∣}{t}$ 给出 $P (∣ W ∣ \geq t) \leq \frac{E ∣ W ∣}{t}$ （Markov）；换成 $\frac{∣ W ∣ ^{p}}{t ^{p}} 、$ $e^{λ (W - t)}$ 得到 Chebyshev、Chernoff 型的界。
界只用一个矩，一般很粗，但在两点分布上取到等号，不能再改进。

自测

1. 已知某个非负随机变量（等待时间，单位：分钟）的均值是 2。等待至少 10 分钟的概率最多是多少？

点开看答案

由 $P (W \geq 10) \leq \frac{E W}{10} = \frac{2}{10} = 0.2 。$ 不知道分布时，这是能保证的最好上界（例 3 的两点分布：以概率 0.2 等 10 分钟、以概率 0.8 不用等，均值恰为 2，等号成立）。

2. 检查 $G = \frac{∣ W ∣ ^{3}}{t ^{3}}$ （ $t > 0 ）$ 是否满足「处处 $\geq 1_{{∣ W ∣ \geq t}} 」，$ 并写出得到的界。

点开看答案

满足。 $∣ W ∣ \geq t$ 时 $\frac{∣ W ∣ ^{3}}{t ^{3}} \geq 1$ （ $u \mapsto u^{3}$ 在 $[0, \infty)$ 上递增）； $∣ W ∣ < t$ 时 $1 = 0 \leq \frac{∣ W ∣ ^{3}}{t ^{3}} 。$ 所以 $P (∣ W ∣ \geq t) \leq \frac{E ∣ W ∣ ^{3}}{t ^{3}} 。$

3. 判断：「若 $E ∣ W ∣ = 0 ，$ 则对每个 $t > 0 ，$ $P (∣ W ∣ \geq t) = 0 。」$

点开看答案

对。由 $P (∣ W ∣ \geq t) \leq \frac{E ∣ W ∣}{t} = 0 ，$ 而概率非负，所以等于 0。进一步， ${∣ W ∣ > 0} = ⋃_{n} {∣ W ∣ \geq \frac{1}{n}}$ 是可数个零概率事件的并，所以 $W = 0$ a.s.——这正是第 5 页自测第 2 题的另一种证法。

本页术语中英对照（按出现顺序）

中文	English	白话解释
示性函数	indicator function	𝟏_A(x) 在 x ∈ A 时取 1，否则取 0；它的积分就是 A 的测度。
期望	expectation	随机变量对概率测度的积分 E[X] = ∫ X dP，也就是「加权平均」。
函数	function / map	f: A → B 给 A 中每个元素指定 B 中唯一一个元素。
事件	event	样本空间的（允许谈概率的）子集；实现的 ω 落在里面，就说事件发生。
分布	law / distribution	X 把概率「推」到取值空间上得到的测度：L(X)(B) = P(X ∈ B)。
Markov 不等式	Markov's inequality	X ≥ 0 时 P(X ≥ t) ≤ E X / t：期望小，取大值的概率就小。
随机变量	random variable	从样本空间到实数的（可测）函数，把结局翻译成数字；随机性来自「实现了哪个 ω」。
尾概率	tail probability	随机变量取到「很大的值」的概率，例如 P(X > t) 或 P(\|X\| ≥ t)。它随 t 增大而下降得越慢，分布的尾巴就越「厚」。
上界	upper bound	数集 A 的上界是一个数 M，A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界；所有上界中最小的那个叫上确界。
Chebyshev 不等式	Chebyshev's inequality	P(\|X − μ\| ≥ t) ≤ σ² / t²：方差控制偏离均值的概率。
指数分布	exponential distribution	P(X > x) = e^(−λx)（x ≥ 0）的分布，均值 1/λ，常用来描述等待时间。
阶矩	moment	E[\|X\|ᵖ] 叫 p 阶（绝对）矩；它有限与否反映尾部有多「重」。
几乎必然收敛	almost sure convergence	除了概率为 0 的结局以外，Xₙ(ω) 都收敛到 X(ω)。
独立	independence	任意有限个事件同时发生的概率等于各自概率的乘积。
可数	countable	元素能排成第 1 个、第 2 个、第 3 个……的一列（有限也算），例如自然数、有理数。