高等概率论逐页精讲

第 2 讲 随机变量、期望与不等式›第 5 部分 用矩控制概率

PDF 第 32 / 32 页幻灯片 32/33定理

Cantelli 单侧不等式:只看一侧时比 Chebyshev 更紧

Cantelli's one-sided bound

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

只关心「比均值大很多」(单侧)时,有比 Chebyshev 更好的界:

它永远小于 1,并且在只知道均值和方差的前提下不能再改进。

  • 位置:第 2 讲的最后一页,第 5 部分「用矩控制概率」的收尾。
  • 核心技巧:在 第 29 页 的广义 Markov 里加一个平移参数 得到一族上界,再挑最好的
  • 和 Chebyshev 的区别:Chebyshev 控制的是双侧事件 很多实际问题只怕一侧,比如「损失太大」「等待太久」「分数太低」。

先补基础

基础补课单侧偏差与双侧偏差
  • 双侧:「偏离均值 以上,往哪边都算」。
  • 单侧:只算「往上偏」。
  • 单侧事件是双侧事件的一部分,所以 Chebyshev 的 当然也是单侧的上界,只是可能太松。当 时,这个界毫无信息量。
基础补课平方的期望:方差加上均值的平方

若 则对任意常数

(把平方展开,再用期望的线性。)

基础补课求一元函数的最小值

可导函数 在某点 处取最小值的常用判断:并且 在 左边为负(函数在下降)、右边为正(函数在上升)。

课件原文逐句精读

课件原文Cantelli's one-sided bound

Theorem 30 (Cantelli's inequality)(以下留白)

中文翻译

蓝条标题:Cantelli 单侧界。

定理 30(Cantelli 不等式)(课件只有定理编号,内容留白,见下一节。)

  • one-sided:单侧的,只看一个方向的偏差。
  • Cantelli(坎泰利)是意大利数学家,第 3 讲开头的 Borel–Cantelli 引理(第 4 页)也有他的名字。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

定理 30(Cantelli 不等式)

设 (第 22 页),则对每个

推导证明思路

直接对 用 Chebyshev,只能得到 改进的办法是先平移再平方:把事件 写成 对 用广义 Markov,得到依赖于 的上界 最后选 使它最小。

第 1 步(中心化):令 则 要证

第 2 步(平移后事件变大):固定任意 因为

(若 两边都是正数,平方后大小关系不变。反过来不成立: 很负时平方也可能很大,所以是

第 3 步(广义 Markov):对非负随机变量 函数 门槛 用 第 29 页 的命题 27:

这对每个 都成立。 时就是单侧版的 Chebyshev:

第 4 步(选最好的 :用商的求导法则,

分母为正,分子 在 时为负、在 时为正。所以 在 处取最小值:

第 5 步(另一侧):把上面的结论用于 (均值 方差仍是

图解

图解:用一条抛物线盖住一个台阶

证明的本质是一个逐点不等式:对所有实数

  • 左边是一个台阶: 时为 0, 时为 1。
  • 右边是一条开口向上的抛物线,最低点在 (值为 0),在 处恰好等于 1。 时它 所以整条抛物线都在台阶上方。
  • 两边对 的分布取期望,就是第 3 步的不等式。

怎样选 才好?

  • 时抛物线是 最低点在 也就是均值处。这就是 Chebyshev 的做法。
  • 时,抛物线 仍然经过点 最低点挪到均值左侧的 开口也变宽了:系数从 变成
  • 代价:在均值附近抛物线抬高了一点( 处的值从 0 变成
  • 好处:对远离均值的 (尤其是左侧很负的 「收的罚款」少了很多。
  • 取 恰好平衡这两方面,使期望 最小。

例子

例 1:和 Chebyshev、正态分布的真实值对比(σ = 1)
Chebyshev Cantelli 若 真实
(无用)
(无用)
  • 时 Chebyshev 毫无用处,Cantelli 仍然给出小于 1 的界。
  • 很大时两者趋于一致(
  • 两者都比正态分布的真实值大得多:它们只用了均值和方差,必须对所有分布都成立,代价就是保守。
例 2:等号可以取到——两点分布

固定 令 定义

  • 均值:
  • 方差:
  • 尾概率:与 Cantelli 的上界完全相等。

所以只知道均值和方差时,Cantelli 的界是最好的,不能再改进。注意第二个取值 正是图解中抛物线的最低点:这个分布把质量全放在抛物线与台阶「贴合」的地方。

例 3:考试成绩

某次考试平均分 标准差 分布未知。

  • Cantelli:最多 20% 的人考到 90 分以上。
  • Chebyshev:只能说
  • 另一侧用 Cantelli 的另一半:两侧加起来 比 Chebyshev 的双侧界 0.25 还差,所以双侧问题仍应该用 Chebyshev,单侧问题用 Cantelli。
例 4:一个漂亮的推论——中位数离均值不超过一个标准差

设 是 的中位数,即 且 断言

  • 反证:若 令 则 与 矛盾。
  • 若 令 用另一侧的不等式:与 矛盾。

例如指数分布 中位数 确实

常见疑问与易错点

易错点问:单侧界为什么不能直接取 Chebyshev 的一半 σ²/(2t²)?

答:Chebyshev 控制的是两侧之和 只有分布对称时两侧才各占一半。对偏斜的分布,几乎全部的「偏差概率」可能都在一侧,例 2 的两点分布就是这样: 时 (等价于 一侧的概率超过了 Chebyshev 的一半。

易错点问:为什么要求 u ≥ 0?

答:第 2 步需要 才能保证「 ⇒ 实际上 就够了,但最优的 本来就是正数,限制 不损失任何东西。

易错点问:t ≤ 0 时呢?

答:定理只对 叙述。 时事件 包含了「不低于均值」的情形,概率可以接近 1,没有非平凡的上界。

第 2 讲回顾

小结第 2 讲五个部分串起来
  1. 随机变量、分布与期望(第 4 页–第 7 页):随机变量是可测映射;期望是对 的勒贝格积分;分布是推前测度;期望可以搬到 上对分布积分。
  2. 用 CDF 计算期望(第 8 页–第 20 页):CDF 决定分布;期望可以用 CDF 和尾部面积计算;逆变换法能造出任何分布;Pareto 分布的矩;有密度等价于绝对连续;Cantor 分布连续却没有密度;任何分布 = 离散 + 绝对连续 + 奇异连续。
  3. 尾部、有限矩与 (第 21 页–第 22 页): 空间。
  4. 变换、乘积与和的界(第 23 页–第 27 页):凸函数的支撑线 ⇒ Jensen; 的单调性;Hölder;Minkowski。
  5. 用矩控制概率(第 28 页–第 32 页):广义 Markov(Markov、Chebyshev、Chernoff);有限矩 ⇒ 反之不成立;Cantelli 单侧界。

下一讲(第 1 页):有了期望和不等式,就可以研究无穷多个随机变量或事件——事件会不会无穷多次发生(Borel–Cantelli),随机变量序列的几种收敛方式,以及什么时候期望可以和极限交换。

小结与自测

小结本页小结
  • Cantelli:另一侧 (把 换成
  • 证明:平移 对 用广义 Markov,得 取
  • 比单侧使用 Chebyshev 更紧,并且永远 两点分布使等号成立,所以不能再改进。
  • 推论:中位数与均值的距离不超过一个标准差。
自测

1. 某随机变量 用 Cantelli 估计 并与 Chebyshev 比较。

点开看答案

Cantelli 给出 Chebyshev 给出 单侧问题 Cantelli 更紧。

2. 在第 3 步中取 会得到什么?为什么它在 时没用?

点开看答案

得到 即单侧使用 Chebyshev。 时 而概率本来就 这个界没有提供任何信息。

3. 取 写出使 Cantelli 等号成立的两点分布,并验证它的均值和方差。

点开看答案

或 各占概率 均值 方差 等号成立。

本页术语中英对照(按出现顺序)
中文English白话解释
方差varianceVar X = E[(X − E X)²],衡量随机变量围绕均值的波动大小。
上界upper bound数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
Borel–Cantelli 引理Borel–Cantelli lemma概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
尾概率tail probability随机变量取到「很大的值」的概率,例如 P(X > t) 或 P(|X| ≥ t)。它随 t 增大而下降得越慢,分布的尾巴就越「厚」。
指数分布exponential distributionP(X > x) = e^(−λx)(x ≥ 0)的分布,均值 1/λ,常用来描述等待时间。
偏差概率deviation probabilityXₙ 和目标 X 相差超过 ε 的概率 P(|Xₙ − X| > ε)。它趋于 0 就是依概率收敛;对每个 ε 它都可求和时,由 Borel–Cantelli 引理可推出几乎必然收敛。
勒贝格积分Lebesgue integral按函数值分块的积分:先定义简单函数的积分,再用下方的简单函数逼近取上确界。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
累积分布函数cumulative distribution function (CDF)F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。
逆变换法inverse transform methodU 服从 (0,1) 上的均匀分布时,Q(U) 的分布函数恰好是 F,用来生成任意分布。
绝对连续absolute continuity函数版:小区间总长很小时增量总和也很小;测度版:Q ≪ P,P 为零的事件 Q 也为零。
奇异连续分布singular continuous distribution没有原子(每一点的概率都是 0),却没有密度的分布:全部质量集中在一个长度为 0 的集合上,例如康托尔分布。
凸函数convex function图像上任意两点连线都在图像上方的函数,例如 x²、eˣ。
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。