高等概率论逐页精讲

第 2 讲 随机变量、期望与不等式›第 2 部分 用 CDF 计算期望

PDF 第 16 / 32 页幻灯片 16/33例子

分位数能准确看出哪些矩存在(Pareto 分布)

A quantile can reveal exactly which moments exist

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

在 上取均匀随机数 令 它的尾巴是 (它的 阶矩是一个只含 的积分:

看分位数函数在 时「冲向无穷」有多快,就能准确读出哪些矩存在。

  • 位置:第 2 部分「用 CDF 计算期望」里「分位数三页」的最后一页。第 14 页 定义了广义分位数 并给出逆变换法: 时 的 CDF 就是 第 15 页 用它造出指数分布并计算期望。本页换一个分位数函数——它在 时像幂函数一样爆炸——得到著名的 Pareto 分布。
  • 要解决的问题:一个随机变量每个取值都是有限数,它的均值、方差却可能是无穷大。到底哪些矩有限?本页给出一个能精确到临界点的例子: 时有限, 时无穷。
  • 后面怎么用:第 21 页 的矩–尾恒等式会从尾概率 出发再算一遍(那里的例 4);第 25 页 的 单调性、第 30 页–第 31 页 的「有限矩与尾部衰减」都拿它当标准例子。下一页 第 17 页 转向另一个问题:什么时候有密度。

先补基础

基础补课分位数与逆变换(回顾第 14 页)
  • 对一个 CDF (单调不减、右连续、两端极限为 0 和 1),广义分位数是
    意思是「累积概率第一次达到 的位置」。关键等价:
  • 逆变换法:若 则 的 CDF 恰好是
  • 若 在取值范围内连续且严格递增, 就是普通的反函数:解方程 得 例:指数分布 解出 (第 15 页)。
基础补课负指数幂与不等号的方向
  • (例:
  • 对 在 上严格递增, 严格递减。所以两边都是正数时,同取正次方,不等号方向不变;同取负次方,不等号反向:例:而
  • 指数运算法则 例如
基础补课被积函数无界时怎么积分
  • (的被积函数在 时趋于无穷。中学的定积分(黎曼积分)只处理有界函数,不能直接用。
  • 勒贝格积分没有这个限制:被积函数非负可测,积分就有定义(可能是 计算方法是截断再取极限:在 上被积函数连续且有界,用微积分算出积分;再让 由单调收敛定理(MCT)得到整个区间上的积分。这就是微积分里「广义积分」的严格版本。
  • 要记住的两个结论(第一个的证明见下一节第 4 步,第二个同样可以用原函数 验证):
    临界情形 都是对数型发散:(
基础补课矩(回顾)

时 叫 的 阶矩: 是均值, 是二阶矩,方差 (要求 时 期望总有定义,可能是 (第 5 页)。本页说「矩存在」「矩有限」都指

课件原文逐句精读

课件原文A quantile can reveal exactly which moments exist

Example 15 (A Pareto variable) On , set and, for ,

中文翻译

蓝条标题:一个分位数函数能准确揭示哪些矩存在。

例 15(Pareto 随机变量) 在 上,令 并对 令

(后面的计算课件留白,见下一节。)

On (Ω, 𝓕, ℙ) = ((0,1), 𝓑((0,1)), Leb)|舞台:用长度当概率

  • 一个样本点就是 0 和 1 之间的一个数
  • 里的博雷尔集,也就是「允许谈概率的子集」。
  • 一个事件的概率就是它的长度(勒贝格测度)。例如
  • 这是逆变换法的标准舞台(第 14 页):在它上面可以造出任何实值分布。

set U(ω) = ω|U 就是均匀随机数

  • 是「把样本点原样读出来」的恒等映射。对 所以
  • 于是「随机抽一个样本点 和「随机抽一个均匀数 是同一件事。下面 的一切性质都从 的均匀性推出。

for α > 0, X_α = (1 − U)^{−1/α}|用一个公式造出 Pareto 变量

  • 是参数,叫尾指数(tail index)。后面会看到: 越小,尾巴越重。
  • 取值范围:对每个 所以 取倒数得 每个取值都是一个有限的、大于 1 的数。
  • 形状: 越接近 1, 越接近 0, 越大, 时趋于 例如 时 时 时
  • 是随机变量:其中 在 上连续;连续函数与随机变量的复合仍是随机变量(第 4 页)。
  • 名字:来自经济学家 Pareto(帕累托)。他用这类分布描述财富:大多数人不富,但极少数人极其富有,而且「富到超过 的概率只按幂函数 的速度减小。

A quantile can reveal exactly which moments exist|标题为什么说「分位数」

  • 下面会证明: 正是 Pareto 分布的分位数函数 所以 是逆变换法的一个实例。
  • 一般地,对任何实值随机变量 与 同分布(逆变换法),而期望只依赖分布(第 7 页的 LOTUS),所以
    矩是否有限,就是函数 在 和 两端能不能积分。
  • exactly(准确地):对 Pareto 分布,这个判断能精确到临界点

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

例 15(Pareto 随机变量):完整结论

设定如课件:则:

  1. 尾概率:((
  2. CDF 与分位数:((它的广义分位数是 所以
  3. 密度:
  4. 矩:对
  5. 数值例子: 时 但 方差是无穷大; 时
推导证明思路

尾概率:把事件 翻译成「 落在某个区间」,量长度即可。分位数:直接按定义解不等式 矩: 是 上的一个具体函数,它的期望就是一个关于 的积分;被积函数在 时无界,先截断到 用微积分算,再用单调收敛定理取极限。

第 1 步:尾概率。 取 对每个

第二个等价号:两边都是正数,同取 次方,不等号反向,而 因为 所以

若 总大于 事件是整个 概率为 1。

感受一下这条尾巴:对比指数分布 更是小到可以忽略。幂函数衰减得慢得多,所以叫重尾(heavy tail)。

第 2 步:CDF 与分位数。 由第 1 步得到结论 2 的公式。它确实是一个 CDF:在 处 与左边接得上,处处连续;单调不减; 时趋于 1。

再求分位数。固定 时 不满足 时,

最后一步同取 次方,不等号反向。又因为 满足条件的 自动大于 1。所以 它的下确界就是左端点:

这说明例 15 就是逆变换法:把 Pareto 分布的分位数函数作用在均匀数上。第 1 步的尾概率也可以直接由第 14 页的逆变换法得到,两条路结论一致。

第 3 步:密度(预告第 17 页)。 在 上 可导,在 上 在 这一个点不可导(左导数 0,右导数 单点是零测集,不影响积分。对

时两边都是 0。于是概率测度 与 的分布在所有半直线 上相等,由第 8 页的定理 C(π 系唯一性),它们在所有博雷尔集上相等:这正是第 17 页「密度」的含义。

第 4 步:矩。 固定 记 是 上的非负函数,由期望的定义(第 5 页,

  • 截断:对 令 每个 最终都满足 所以 由 MCT,
  • 在截断区间上用微积分:在闭区间 上 被积函数连续且不超过 所以勒贝格积分等于黎曼积分(第 27 页;左端点 0 是单点,不影响积分)。原函数: 时 求导得 (链式法则); 时 于是
  • 取极限,分三种情形:
    1. (即 极限是
    2. (即
    3. (即

这就是结论 4。临界点 本身属于「无穷」那一边,因为那里是对数型发散。

第 5 步:数值与方差。 代入结论 4: 得 得 时 方差 一般地 时

中括号里展开后

有限的矩 均值 方差
三种算法互相核对
  • 用密度(第 7 页推论): 时 因为指数
  • 用尾概率(第 12 页): 时 一般的 用第 21 页的矩–尾恒等式,那里的例 4 算的正是这个。
  • 用分位数:就是上面的第 4 步。三条路给出同一个答案,这也印证了「期望只依赖分布」。

图解

图解:分位数函数「爆炸」的速度决定矩

课件这里没有图,可以这样画:

  1. 横轴是 纵轴是 分别画 三条曲线:它们都从 处的高度 1 出发,在 时冲向无穷; 越小,冲得越猛。
  2. 就是曲线 下方的面积。面积会不会有限,只看靠近 的那一小段。
  3. 令 (离右端的距离),这段曲线就是 由「先补基础」里的结论, 在 0 附近的面积有限当且仅当 即
  4. 对比指数分布的分位数 它也冲向无穷,但只按对数速度,比任何幂函数都慢,所以它的每个矩都有限(见例 2)。

一句话:分位数在 处爆炸得越快,尾巴越重,能有限的矩就越少。

动手试一试逆变换:看分位数在 u → 1 时怎么增长

选「指数分布 exp(1)」,把 拖到 0.9、0.99,落点 只有约 2.3、4.6,长得很慢。演示里没有 Pareto,可以对照这组数:同样 Pareto 的 给出 给出

例子

例 1:α = 2——每个「十倍区间」对二阶矩的贡献一样多

把 切成 第 段是 (对应 从 增长到 这一段的贡献是

每一段都贡献 而段数无穷多,所以

再看均值 第 段贡献 是公比为 的等比数列,总和 与结论一致。

直观:对均值,越极端的值贡献越小,缩小得像等比数列;对二阶矩,每个数量级都贡献同样多——极端值虽然越来越罕见,但「罕见」抵不过「巨大」,于是加到无穷。

例 2:对比指数分布——分位数只按对数增长,所有矩都有限

(第 15 页)。令 ( 与 同分布,第 8 页例 4,所以积分不变):

  • 原函数 的导数是 在 上积分得 (所以 与第 15 页一致。
  • 任意 都有限:令 当 (即 时趋于 0(指数衰减压过任何多项式增长)。所以函数 在 上有界,记上界为 于是 而 因此

对比 Pareto: 是幂函数型的爆炸, 次方后仍是幂函数 只有指数 时才可积。

例 3:α = 1——每个值都有限,均值却是无穷大

(

  • (第 4 步 的情形)。用第 12 页的尾部公式也一样:
  • 可是 有限。

所以「矩存不存在」要说清楚是哪一阶:同一个随机变量, 阶有限, 阶无穷。

补充:「二八定律」里的 α

在 Pareto 分布里,取值最大的那一部分样本占总量多少?对 和阈值 由密度

除以 得占比 取 使 (最大的 比例),即 占比 要「最大的 20% 占 80%」,解 得 这时均值有限,方差却是无穷——这类重尾现象正是研究有限矩的动机之一。

常见疑问与易错点

易错点问:X_α 的每个取值都是有限数,期望怎么会是无穷?

答:期望是加权平均,不是某一个取值。每个 给出的 都有限,但大值出现的概率下降得不够快,积分 加起来发散。「随机变量处处有限」和「期望有限」是两回事:前者说每个结局,后者说整体平均。

易错点问:均值有限,方差一定有限吗?

答:不一定。 时(例如 或 但 方差是无穷大。反过来是对的:在概率空间上, 推出 (理由: 时 时 所以 取期望得 因此「有限的阶」总是从 0 开始的一整段,Pareto 恰好是 第 25 页会把这件事写成 空间的单调性。

易错点问:为什么临界点 p = α 算「无穷」?

答: 时被积函数恰好是 积分 从尾巴看也一样:而 (第 21 页)。所以 是严格不等号,不能写成

易错点问:为什么用 1 − U,而不直接用 U^{−1/α}?

答:两者同分布( 与 同分布),所以 也服从 Pareto 分布,矩完全一样。用 是为了让公式关于 递增,恰好等于分位数函数 与第 14 页的逆变换法对上。两种写法只在「每个 上取什么值」不同(分布没有区别。

小结与自测

小结本页小结
  • 例 15: 在 上取值,(密度 (
  • 公式里的函数 就是 Pareto 分布的分位数:
  • 矩:( 时为 临界点属于无穷。
  • 一般原则:分位数在两端爆炸得越快,有限的矩越少;幂型爆炸有临界阶,对数型爆炸(指数分布)所有矩都有限。
自测

1. 取 哪些 使 求 和

点开看答案

恰好是 也可以用公式 核对。

2. 令 求 (并说明它与第 21 页自测第 2 题的关系。

点开看答案

因为 可以用第 1 步的公式。这正是第 21 页自测第 2 题给出的尾巴,那里的结论「与本页 的结论一致: 与 只差常数 1,而 时,(因为

3. 判断:「若 则

点开看答案

错。取 但 所以 均值有限只说明 方差有限需要

本页术语中英对照(按出现顺序)
中文English白话解释
阶矩momentE[|X|ᵖ] 叫 p 阶(绝对)矩;它有限与否反映尾部有多「重」。
分位数quantileQ(u) = inf{x : F(x) ≥ u},是 CDF 的「广义反函数」。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
累积分布函数cumulative distribution function (CDF)F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
逆变换法inverse transform methodU 服从 (0,1) 上的均匀分布时,Q(U) 的分布函数恰好是 F,用来生成任意分布。
指数分布exponential distributionP(X > x) = e^(−λx)(x ≥ 0)的分布,均值 1/λ,常用来描述等待时间。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
方差varianceVar X = E[(X − E X)²],衡量随机变量围绕均值的波动大小。
尾概率tail probability随机变量取到「很大的值」的概率,例如 P(X > t) 或 P(|X| ≥ t)。它随 t 增大而下降得越慢,分布的尾巴就越「厚」。
单调递增nondecreasing后一项不小于前一项;单调有界的数列一定有极限。
反函数inverse functionf 把不同的输入送到不同的输出时,反函数 f⁻¹ 把输出送回原来的输入:f⁻¹(f(x)) = x。例:ln 是 eˣ 的反函数。注意:集合的原像 f⁻¹(D) 不需要反函数存在。
黎曼积分Riemann integral大一学的定积分:按 x 轴切竖条求和取极限。
勒贝格积分Lebesgue integral按函数值分块的积分:先定义简单函数的积分,再用下方的简单函数逼近取上确界。
单调收敛定理monotone convergence theorem (MCT)非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
样本点sample point一个完整的结局 ω;每次试验恰好实现一个样本点。
博雷尔 σ-代数Borel sigma-algebra由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。
子集subsetA 的每个元素都在 B 里,就说 A 是 B 的子集,记作 A ⊆ B。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
无意识统计学家定律law of the unconscious statistician (LOTUS)求 g(X) 的期望,不必先求出 g(X) 的分布,直接把 g 对 X 的分布 𝓛(X) 积分;X 有密度 f 时就是 E g(X) = ∫ g(x) f(x) dx。
下确界infimum (inf)最大的下界。例如 (0,1] 没有最小值,但下确界是 0。
零测集null set测度为 0 的集合,例如单点、有理数全体、康托尔集。
概率测度probability measure总质量 P(Ω) = 1 的测度。
当且仅当if and only if (iff)「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。
上界upper bound数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。