这一页在讲什么
在 上取均匀随机数 令 它的尾巴是 (它的 阶矩是一个只含 的积分:
看分位数函数在 时「冲向无穷」有多快,就能准确读出哪些矩存在。
- 位置:第 2 部分「用 CDF 计算期望」里「分位数三页」的最后一页。第 14 页 定义了广义分位数 并给出逆变换法: 时 的 CDF 就是 第 15 页 用它造出指数分布并计算期望。本页换一个分位数函数——它在 时像幂函数一样爆炸——得到著名的 Pareto 分布。
- 要解决的问题:一个随机变量每个取值都是有限数,它的均值、方差却可能是无穷大。到底哪些矩有限?本页给出一个能精确到临界点的例子: 时有限, 时无穷。
- 后面怎么用:第 21 页 的矩–尾恒等式会从尾概率 出发再算一遍(那里的例 4);第 25 页 的 单调性、第 30 页–第 31 页 的「有限矩与尾部衰减」都拿它当标准例子。下一页 第 17 页 转向另一个问题:什么时候有密度。
先补基础
- 对一个 CDF (单调不减、右连续、两端极限为 0 和 1),广义分位数是意思是「累积概率第一次达到 的位置」。关键等价:
- 逆变换法:若 则 的 CDF 恰好是
- 若 在取值范围内连续且严格递增, 就是普通的反函数:解方程 得 例:指数分布 解出 (第 15 页)。
- (例:
- 对 在 上严格递增, 严格递减。所以两边都是正数时,同取正次方,不等号方向不变;同取负次方,不等号反向:例:而
- 指数运算法则 例如
- (的被积函数在 时趋于无穷。中学的定积分(黎曼积分)只处理有界函数,不能直接用。
- 勒贝格积分没有这个限制:被积函数非负可测,积分就有定义(可能是 计算方法是截断再取极限:在 上被积函数连续且有界,用微积分算出积分;再让 由单调收敛定理(MCT)得到整个区间上的积分。这就是微积分里「广义积分」的严格版本。
- 要记住的两个结论(第一个的证明见下一节第 4 步,第二个同样可以用原函数 验证):临界情形 都是对数型发散:(
时 叫 的 阶矩: 是均值, 是二阶矩,方差 (要求 时 期望总有定义,可能是 (第 5 页)。本页说「矩存在」「矩有限」都指
课件原文逐句精读
Example 15 (A Pareto variable) On , set and, for ,
蓝条标题:一个分位数函数能准确揭示哪些矩存在。
例 15(Pareto 随机变量) 在 上,令 并对 令
(后面的计算课件留白,见下一节。)
On (Ω, 𝓕, ℙ) = ((0,1), 𝓑((0,1)), Leb)|舞台:用长度当概率
- 一个样本点就是 0 和 1 之间的一个数
- 里的博雷尔集,也就是「允许谈概率的子集」。
- 一个事件的概率就是它的长度(勒贝格测度)。例如
- 这是逆变换法的标准舞台(第 14 页):在它上面可以造出任何实值分布。
set U(ω) = ω|U 就是均匀随机数
- 是「把样本点原样读出来」的恒等映射。对 所以
- 于是「随机抽一个样本点 和「随机抽一个均匀数 是同一件事。下面 的一切性质都从 的均匀性推出。
for α > 0, X_α = (1 − U)^{−1/α}|用一个公式造出 Pareto 变量
- 是参数,叫尾指数(tail index)。后面会看到: 越小,尾巴越重。
- 取值范围:对每个 所以 取倒数得 每个取值都是一个有限的、大于 1 的数。
- 形状: 越接近 1, 越接近 0, 越大, 时趋于 例如 时 时 时
- 是随机变量:其中 在 上连续;连续函数与随机变量的复合仍是随机变量(第 4 页)。
- 名字:来自经济学家 Pareto(帕累托)。他用这类分布描述财富:大多数人不富,但极少数人极其富有,而且「富到超过 的概率只按幂函数 的速度减小。
A quantile can reveal exactly which moments exist|标题为什么说「分位数」
- 下面会证明: 正是 Pareto 分布的分位数函数 所以 是逆变换法的一个实例。
- 一般地,对任何实值随机变量 与 同分布(逆变换法),而期望只依赖分布(第 7 页的 LOTUS),所以矩是否有限,就是函数 在 和 两端能不能积分。
- exactly(准确地):对 Pareto 分布,这个判断能精确到临界点
补全课件留白
课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。
设定如课件:则:
- 尾概率:((
- CDF 与分位数:((它的广义分位数是 所以
- 密度:
- 矩:对
- 数值例子: 时 但 方差是无穷大; 时
尾概率:把事件 翻译成「 落在某个区间」,量长度即可。分位数:直接按定义解不等式 矩: 是 上的一个具体函数,它的期望就是一个关于 的积分;被积函数在 时无界,先截断到 用微积分算,再用单调收敛定理取极限。
第 1 步:尾概率。 取 对每个
第二个等价号:两边都是正数,同取 次方,不等号反向,而 因为 所以
若 总大于 事件是整个 概率为 1。
感受一下这条尾巴:对比指数分布 更是小到可以忽略。幂函数衰减得慢得多,所以叫重尾(heavy tail)。
第 2 步:CDF 与分位数。 由第 1 步得到结论 2 的公式。它确实是一个 CDF:在 处 与左边接得上,处处连续;单调不减; 时趋于 1。
再求分位数。固定 时 不满足 时,
最后一步同取 次方,不等号反向。又因为 满足条件的 自动大于 1。所以 它的下确界就是左端点:
这说明例 15 就是逆变换法:把 Pareto 分布的分位数函数作用在均匀数上。第 1 步的尾概率也可以直接由第 14 页的逆变换法得到,两条路结论一致。
第 3 步:密度(预告第 17 页)。 在 上 可导,在 上 在 这一个点不可导(左导数 0,右导数 单点是零测集,不影响积分。对
时两边都是 0。于是概率测度 与 的分布在所有半直线 上相等,由第 8 页的定理 C(π 系唯一性),它们在所有博雷尔集上相等:这正是第 17 页「密度」的含义。
第 4 步:矩。 固定 记 是 上的非负函数,由期望的定义(第 5 页,
- 截断:对 令 每个 最终都满足 所以 由 MCT,
- 在截断区间上用微积分:在闭区间 上 被积函数连续且不超过 所以勒贝格积分等于黎曼积分(第 27 页;左端点 0 是单点,不影响积分)。原函数: 时 求导得 (链式法则); 时 于是
- 取极限,分三种情形:
- (即 极限是
- (即
- (即
这就是结论 4。临界点 本身属于「无穷」那一边,因为那里是对数型发散。
第 5 步:数值与方差。 代入结论 4: 得 得 时 方差 一般地 时
中括号里展开后
| 有限的矩 | 均值 | 方差 | |
|---|---|---|---|
三种算法互相核对
图解
课件这里没有图,可以这样画:
- 横轴是 纵轴是 分别画 三条曲线:它们都从 处的高度 1 出发,在 时冲向无穷; 越小,冲得越猛。
- 就是曲线 下方的面积。面积会不会有限,只看靠近 的那一小段。
- 令 (离右端的距离),这段曲线就是 由「先补基础」里的结论, 在 0 附近的面积有限当且仅当 即
- 对比指数分布的分位数 它也冲向无穷,但只按对数速度,比任何幂函数都慢,所以它的每个矩都有限(见例 2)。
一句话:分位数在 处爆炸得越快,尾巴越重,能有限的矩就越少。
选「指数分布 exp(1)」,把 拖到 0.9、0.99,落点 只有约 2.3、4.6,长得很慢。演示里没有 Pareto,可以对照这组数:同样 Pareto 的 给出 给出
例子
把 切成 第 段是 (对应 从 增长到 这一段的贡献是
每一段都贡献 而段数无穷多,所以
再看均值 第 段贡献 是公比为 的等比数列,总和 与结论一致。
直观:对均值,越极端的值贡献越小,缩小得像等比数列;对二阶矩,每个数量级都贡献同样多——极端值虽然越来越罕见,但「罕见」抵不过「巨大」,于是加到无穷。
在 Pareto 分布里,取值最大的那一部分样本占总量多少?对 和阈值 由密度
除以 得占比 取 使 (最大的 比例),即 占比 要「最大的 20% 占 80%」,解 得 这时均值有限,方差却是无穷——这类重尾现象正是研究有限矩的动机之一。
常见疑问与易错点
答:期望是加权平均,不是某一个取值。每个 给出的 都有限,但大值出现的概率下降得不够快,积分 加起来发散。「随机变量处处有限」和「期望有限」是两回事:前者说每个结局,后者说整体平均。
答:不一定。 时(例如 或 但 方差是无穷大。反过来是对的:在概率空间上, 推出 (理由: 时 时 所以 取期望得 因此「有限的阶」总是从 0 开始的一整段,Pareto 恰好是 第 25 页会把这件事写成 空间的单调性。
答: 时被积函数恰好是 积分 从尾巴看也一样:而 (第 21 页)。所以 是严格不等号,不能写成
答:两者同分布( 与 同分布),所以 也服从 Pareto 分布,矩完全一样。用 是为了让公式关于 递增,恰好等于分位数函数 与第 14 页的逆变换法对上。两种写法只在「每个 上取什么值」不同(分布没有区别。
小结与自测
- 例 15: 在 上取值,(密度 (
- 公式里的函数 就是 Pareto 分布的分位数:
- 矩:( 时为 临界点属于无穷。
- 一般原则:分位数在两端爆炸得越快,有限的矩越少;幂型爆炸有临界阶,对数型爆炸(指数分布)所有矩都有限。
| 中文 | English | 白话解释 |
|---|---|---|
| 阶矩 | moment | E[|X|ᵖ] 叫 p 阶(绝对)矩;它有限与否反映尾部有多「重」。 |
| 分位数 | quantile | Q(u) = inf{x : F(x) ≥ u},是 CDF 的「广义反函数」。 |
| 函数 | function / map | f: A → B 给 A 中每个元素指定 B 中唯一一个元素。 |
| 累积分布函数 | cumulative distribution function (CDF) | F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。 |
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| 逆变换法 | inverse transform method | U 服从 (0,1) 上的均匀分布时,Q(U) 的分布函数恰好是 F,用来生成任意分布。 |
| 指数分布 | exponential distribution | P(X > x) = e^(−λx)(x ≥ 0)的分布,均值 1/λ,常用来描述等待时间。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 方差 | variance | Var X = E[(X − E X)²],衡量随机变量围绕均值的波动大小。 |
| 尾概率 | tail probability | 随机变量取到「很大的值」的概率,例如 P(X > t) 或 P(|X| ≥ t)。它随 t 增大而下降得越慢,分布的尾巴就越「厚」。 |
| 单调递增 | nondecreasing | 后一项不小于前一项;单调有界的数列一定有极限。 |
| 反函数 | inverse function | f 把不同的输入送到不同的输出时,反函数 f⁻¹ 把输出送回原来的输入:f⁻¹(f(x)) = x。例:ln 是 eˣ 的反函数。注意:集合的原像 f⁻¹(D) 不需要反函数存在。 |
| 黎曼积分 | Riemann integral | 大一学的定积分:按 x 轴切竖条求和取极限。 |
| 勒贝格积分 | Lebesgue integral | 按函数值分块的积分:先定义简单函数的积分,再用下方的简单函数逼近取上确界。 |
| 单调收敛定理 | monotone convergence theorem (MCT) | 非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。 |
| 区间 | interval | 数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。 |
| 样本点 | sample point | 一个完整的结局 ω;每次试验恰好实现一个样本点。 |
| 博雷尔 σ-代数 | Borel sigma-algebra | 由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。 |
| 子集 | subset | A 的每个元素都在 B 里,就说 A 是 B 的子集,记作 A ⊆ B。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 无意识统计学家定律 | law of the unconscious statistician (LOTUS) | 求 g(X) 的期望,不必先求出 g(X) 的分布,直接把 g 对 X 的分布 𝓛(X) 积分;X 有密度 f 时就是 E g(X) = ∫ g(x) f(x) dx。 |
| 下确界 | infimum (inf) | 最大的下界。例如 (0,1] 没有最小值,但下确界是 0。 |
| 零测集 | null set | 测度为 0 的集合,例如单点、有理数全体、康托尔集。 |
| 概率测度 | probability measure | 总质量 P(Ω) = 1 的测度。 |
| 当且仅当 | if and only if (iff) | 「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。 |
| 上界 | upper bound | 数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。 |
| 可积 | integrable (L¹) | ∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。 |
| 概率空间 | probability space | 三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。 |