这一页在讲什么
只关心「比均值大很多」(单侧)时,有比 Chebyshev 更好的界:
它永远小于 1,并且在只知道均值和方差的前提下不能再改进。
- 位置:第 2 讲的最后一页,第 5 部分「用矩控制概率」的收尾。
- 核心技巧:在 第 29 页 的广义 Markov 里加一个平移参数 得到一族上界,再挑最好的
- 和 Chebyshev 的区别:Chebyshev 控制的是双侧事件 很多实际问题只怕一侧,比如「损失太大」「等待太久」「分数太低」。
先补基础
- 双侧:「偏离均值 以上,往哪边都算」。
- 单侧:只算「往上偏」。
- 单侧事件是双侧事件的一部分,所以 Chebyshev 的 当然也是单侧的上界,只是可能太松。当 时,这个界毫无信息量。
若 则对任意常数
(把平方展开,再用期望的线性。)
可导函数 在某点 处取最小值的常用判断:并且 在 左边为负(函数在下降)、右边为正(函数在上升)。
课件原文逐句精读
Theorem 30 (Cantelli's inequality)(以下留白)
蓝条标题:Cantelli 单侧界。
定理 30(Cantelli 不等式)(课件只有定理编号,内容留白,见下一节。)
- one-sided:单侧的,只看一个方向的偏差。
- Cantelli(坎泰利)是意大利数学家,第 3 讲开头的 Borel–Cantelli 引理(第 4 页)也有他的名字。
补全课件留白
课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。
设 (第 22 页),则对每个
直接对 用 Chebyshev,只能得到 改进的办法是先平移再平方:把事件 写成 对 用广义 Markov,得到依赖于 的上界 最后选 使它最小。
第 1 步(中心化):令 则 要证
第 2 步(平移后事件变大):固定任意 因为
(若 两边都是正数,平方后大小关系不变。反过来不成立: 很负时平方也可能很大,所以是
第 3 步(广义 Markov):对非负随机变量 函数 门槛 用 第 29 页 的命题 27:
这对每个 都成立。 时就是单侧版的 Chebyshev:
第 4 步(选最好的 :用商的求导法则,
分母为正,分子 在 时为负、在 时为正。所以 在 处取最小值:
第 5 步(另一侧):把上面的结论用于 (均值 方差仍是
图解
证明的本质是一个逐点不等式:对所有实数
- 左边是一个台阶: 时为 0, 时为 1。
- 右边是一条开口向上的抛物线,最低点在 (值为 0),在 处恰好等于 1。 时它 所以整条抛物线都在台阶上方。
- 两边对 的分布取期望,就是第 3 步的不等式。
怎样选 才好?
- 时抛物线是 最低点在 也就是均值处。这就是 Chebyshev 的做法。
- 时,抛物线 仍然经过点 最低点挪到均值左侧的 开口也变宽了:系数从 变成
- 代价:在均值附近抛物线抬高了一点( 处的值从 0 变成
- 好处:对远离均值的 (尤其是左侧很负的 「收的罚款」少了很多。
- 取 恰好平衡这两方面,使期望 最小。
例子
| Chebyshev | Cantelli | 若 真实 | |
|---|---|---|---|
| (无用) | |||
| (无用) | |||
- 时 Chebyshev 毫无用处,Cantelli 仍然给出小于 1 的界。
- 很大时两者趋于一致(
- 两者都比正态分布的真实值大得多:它们只用了均值和方差,必须对所有分布都成立,代价就是保守。
固定 令 定义
- 均值:
- 方差:
- 尾概率:与 Cantelli 的上界完全相等。
所以只知道均值和方差时,Cantelli 的界是最好的,不能再改进。注意第二个取值 正是图解中抛物线的最低点:这个分布把质量全放在抛物线与台阶「贴合」的地方。
某次考试平均分 标准差 分布未知。
- Cantelli:最多 20% 的人考到 90 分以上。
- Chebyshev:只能说
- 另一侧用 Cantelli 的另一半:两侧加起来 比 Chebyshev 的双侧界 0.25 还差,所以双侧问题仍应该用 Chebyshev,单侧问题用 Cantelli。
设 是 的中位数,即 且 断言
- 反证:若 令 则 与 矛盾。
- 若 令 用另一侧的不等式:与 矛盾。
例如指数分布 中位数 确实
常见疑问与易错点
答:Chebyshev 控制的是两侧之和 只有分布对称时两侧才各占一半。对偏斜的分布,几乎全部的「偏差概率」可能都在一侧,例 2 的两点分布就是这样: 时 (等价于 一侧的概率超过了 Chebyshev 的一半。
答:第 2 步需要 才能保证「 ⇒ 实际上 就够了,但最优的 本来就是正数,限制 不损失任何东西。
答:定理只对 叙述。 时事件 包含了「不低于均值」的情形,概率可以接近 1,没有非平凡的上界。
第 2 讲回顾
- 随机变量、分布与期望(第 4 页–第 7 页):随机变量是可测映射;期望是对 的勒贝格积分;分布是推前测度;期望可以搬到 上对分布积分。
- 用 CDF 计算期望(第 8 页–第 20 页):CDF 决定分布;期望可以用 CDF 和尾部面积计算;逆变换法能造出任何分布;Pareto 分布的矩;有密度等价于绝对连续;Cantor 分布连续却没有密度;任何分布 = 离散 + 绝对连续 + 奇异连续。
- 尾部、有限矩与 (第 21 页–第 22 页): 空间。
- 变换、乘积与和的界(第 23 页–第 27 页):凸函数的支撑线 ⇒ Jensen; 的单调性;Hölder;Minkowski。
- 用矩控制概率(第 28 页–第 32 页):广义 Markov(Markov、Chebyshev、Chernoff);有限矩 ⇒ 反之不成立;Cantelli 单侧界。
下一讲(第 1 页):有了期望和不等式,就可以研究无穷多个随机变量或事件——事件会不会无穷多次发生(Borel–Cantelli),随机变量序列的几种收敛方式,以及什么时候期望可以和极限交换。
小结与自测
- Cantelli:另一侧 (把 换成
- 证明:平移 对 用广义 Markov,得 取
- 比单侧使用 Chebyshev 更紧,并且永远 两点分布使等号成立,所以不能再改进。
- 推论:中位数与均值的距离不超过一个标准差。
1. 某随机变量 用 Cantelli 估计 并与 Chebyshev 比较。
点开看答案
Cantelli 给出 Chebyshev 给出 单侧问题 Cantelli 更紧。
2. 在第 3 步中取 会得到什么?为什么它在 时没用?
点开看答案
得到 即单侧使用 Chebyshev。 时 而概率本来就 这个界没有提供任何信息。
3. 取 写出使 Cantelli 等号成立的两点分布,并验证它的均值和方差。
点开看答案
或 各占概率 均值 方差 等号成立。
| 中文 | English | 白话解释 |
|---|---|---|
| 方差 | variance | Var X = E[(X − E X)²],衡量随机变量围绕均值的波动大小。 |
| 上界 | upper bound | 数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| 函数 | function / map | f: A → B 给 A 中每个元素指定 B 中唯一一个元素。 |
| Borel–Cantelli 引理 | Borel–Cantelli lemma | 概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。 |
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| 尾概率 | tail probability | 随机变量取到「很大的值」的概率,例如 P(X > t) 或 P(|X| ≥ t)。它随 t 增大而下降得越慢,分布的尾巴就越「厚」。 |
| 指数分布 | exponential distribution | P(X > x) = e^(−λx)(x ≥ 0)的分布,均值 1/λ,常用来描述等待时间。 |
| 偏差概率 | deviation probability | Xₙ 和目标 X 相差超过 ε 的概率 P(|Xₙ − X| > ε)。它趋于 0 就是依概率收敛;对每个 ε 它都可求和时,由 Borel–Cantelli 引理可推出几乎必然收敛。 |
| 勒贝格积分 | Lebesgue integral | 按函数值分块的积分:先定义简单函数的积分,再用下方的简单函数逼近取上确界。 |
| 测度 | measure | 给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。 |
| 累积分布函数 | cumulative distribution function (CDF) | F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。 |
| 逆变换法 | inverse transform method | U 服从 (0,1) 上的均匀分布时,Q(U) 的分布函数恰好是 F,用来生成任意分布。 |
| 绝对连续 | absolute continuity | 函数版:小区间总长很小时增量总和也很小;测度版:Q ≪ P,P 为零的事件 Q 也为零。 |
| 奇异连续分布 | singular continuous distribution | 没有原子(每一点的概率都是 0),却没有密度的分布:全部质量集中在一个长度为 0 的集合上,例如康托尔分布。 |
| 凸函数 | convex function | 图像上任意两点连线都在图像上方的函数,例如 x²、eˣ。 |
| 无穷多次 | infinitely often (i.o.) | 「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。 |