高等概率论逐页精讲

第 2 讲 随机变量、期望与不等式›第 3 部分 尾部、有限矩与 Lp 空间

PDF 第 21 / 32 页幻灯片 21/33定理

每个正阶矩都是尾概率的积分(矩–尾恒等式)

Every positive moment is an integrated tail

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

对非负随机变量 和任意

矩( 的平均)完全由尾概率 决定:在每个高度 处看「 超过 的概率」,乘上权重 再对所有高度积分。

  • 位置:第 3 部分「尾部、有限矩与 的第一页。第 2 部分在 第 12 页 的定理 11 里得到:非负随机变量的均值等于尾函数下方的面积,本页把它从「一阶矩」推广到任意正阶矩,所以课件把它叫作推论(Corollary)。
  • 要解决的问题:很多分布是用尾概率给出的(例如 第 16 页 的 Pareto 分布、第 31 页 的反例),直接求 不方便。本页给出「只用尾概率算矩」的公式。
  • 更重要的用途:它把「矩是否有限」翻译成「尾巴衰减得够不够快」。第 30 页 和 第 31 页 会用它在这两件事之间来回推理。

先补基础

基础补课矩:p 阶矩与 p 阶绝对矩
  • 叫 的 阶矩(-th moment), 叫 阶绝对矩。课件标题里的「正阶」(positive)就是
  • 是均值; 是二阶矩,方差 由它算出。
  • 不必是整数: 时是 时是 只要 对任何 都有意义。
  • 例:掷骰子
基础补课尾概率与尾函数
  • 函数 叫 的尾函数(tail function), 叫尾概率:「 超过 的概率」,也就是分布落在 右边那条「尾巴」上的质量。
  • 由 第 8 页 的 CDF 性质,尾函数单调不增、右连续,并且 时趋于 0。
  • 例:指数分布 (均匀分布 (
  • 「尾巴重」指 随 增大下降得慢,大值出现得相对频繁;「尾巴轻」指下降得快。
基础补课回顾:用尾部算均值(第 12 页定理 11 的非负情形)

对非负随机变量 第 12 页 的定理 11 给出

右边是 上对勒贝格测度的积分,两边同时有限或同时为 直观意思:均值等于尾函数曲线下方的面积。例: 时右边

基础补课换元积分公式(微积分结论,这里当作已知使用)

设 在闭区间 上连续可导且严格递增, 在 上黎曼可积,则

本页取 也就是常说的「令 则 另外两条也当作已知:闭区间上的单调有界函数黎曼可积;闭区间上有界的黎曼可积函数,勒贝格积分等于黎曼积分(第 27 页)。

基础补课幂函数 x ↦ xᵖ 严格递增

对 在 上严格递增,反函数是 所以对

例:(这里 不用考虑

课件原文逐句精读

课件原文Every positive moment is an integrated tail

Corollary 21 (Moment-tail identity)

中文翻译

蓝条标题:每一个正阶矩都是一条「积分起来的尾巴」。

推论 21(矩–尾恒等式)(课件只印了名称,正文留白,见下一节。)

Every positive moment is an integrated tail|标题在说什么

  • positive moment:正阶矩,即 时的 「每一个」强调对所有 都成立,包括非整数的
  • integrated tail:积分起来的尾巴。「尾巴」指尾函数 「积分起来」指对高度 积分(带一个权重)。
  • 合起来的意思:矩这个「平均值」可以换一种算法——不去逐个结局算 再平均,而是逐个高度 看尾概率,再把所有高度的贡献加起来。

Corollary 21 (Moment-tail identity)|为什么是「推论」、为什么叫「恒等式」

  • 推论(corollary):由前面的定理直接推出的结论。这里的「前面的定理」就是 第 12 页 的定理 11:把它用在随机变量 上,再换一次积分变量,就得到本页公式。
  • 恒等式(identity):结论是等式,不是不等式;而且对所有非负 都成立,不需要任何可积性假设——两边可以同时是

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

推论 21(矩–尾恒等式)

设 是非负随机变量(则

两边同时有限或同时为 特别地:

  1. 时就是 (第 12 页 定理 11 的非负情形);
  2. 对任意实值随机变量 把 代入,得

逐项解释:

  • :保证 对任何 都有定义,而且是非负随机变量,期望总有定义(第 5 页)。可正可负的变量先取绝对值(第 2 条)。
  • 权重 :它是 的导数。 时权重是 1,退回到「尾函数下方的面积」; 时权重是 高处的尾概率被放大——这正反映了 比 更看重大值。
  • 积分:是 上对勒贝格测度的积分。被积函数非负,所以积分总有定义。写成 也一样,因为单点 的勒贝格测度为 0。
  • 严格不等号 :换成 结果不变,见本节末尾的补充。
推导证明思路

先对随机变量 用 第 12 页 的定理 11,得到 再把 的尾巴翻译成 的尾巴:最后换元 换元先在闭区间 上用微积分完成,再用单调收敛定理让

第 1 步:对 用定理 11。 在 上连续,连续函数与随机变量的复合仍是随机变量(第 4 页),所以 是非负随机变量。由 第 12 页 定理 11 的非负情形,

第 2 步:把 的尾巴翻译成 的尾巴。 记 对每个 由幂函数严格递增,也就是 是同一个事件。所以

第 3 步:在 上换元。 固定整数 取 它在 上连续可导、严格递增,函数 在 上单调不增( 变大时 变大,尾概率变小),取值在 里,所以黎曼可积。由换元积分公式,

两边都是闭区间上有界黎曼可积函数的积分(右边的 在 上连续,所以有界),由 第 27 页,它们也等于相应的勒贝格积分。

为什么不直接在 上换元:当 时, 在 时趋于无穷,被积函数在 上无界,黎曼积分的理论用不上。先避开 0 附近、最后再取极限,就绕开了这个麻烦。

第 4 步:让 增大时, 变小、 变大,区间 一个套一个地变大,并起来是 区间 也一样。于是

两个都是非负函数的递增逐点收敛。由单调收敛定理(MCT),第 3 步等式左边趋于 右边趋于 两列数逐项相等,所以极限相等(允许同为

第 5 步:拼起来。 单点 的勒贝格测度为 0,所以 与 相同。由第 1、2、4 步,

证毕。

另一种证明:「分层蛋糕」加上交换积分次序

对每个 由微积分基本定理,

两边取期望,如果允许把 和 交换次序,就得到

交换次序的依据是 Tonelli 定理(非负函数的二重积分可以交换次序)。第 1 讲没有讲这个定理,所以正文没有用这个证明。它的好处是把公式的含义说得最清楚: 由一层层「高度为 的薄层」叠成,每层厚度 高度 的那一层存在当且仅当

把 ℙ(X > t) 换成 ℙ(X ≥ t) 可以吗

可以。它只在 CDF 的跳跃点处不为 0。跳跃点至多可数个:质量大于 的点不到 个(否则这些点的总概率就超过 1 了),把 对应的这些点并起来,仍是可数集。可数集的勒贝格测度为 0,所以两个被积函数只在一个零测集上不同,积分相等(零测集上改值不影响积分)。

图解

图解:「分层蛋糕」——按高度把 Xᵖ 一层层切开

课件这里没有图,可以这样画:

  1. 横轴是高度 纵轴是概率。画出尾函数 从 处不超过 1 的高度出发,单调往下走,最终贴近 0。
  2. : 就是这条曲线下方的面积(第 12 页 定理 11)。
  3. 一般的 :把横轴上 这一条竖条想成「 的一层」。这一层对 的贡献是厚度 而这一层「存在」的概率是 所以这根竖条贡献 全部加起来就是
  4. 整数的直观:若 则 恰好是三层 的厚度 之和。 越大,叠的层越多,而且越往上每层越厚。

读图的结论: 是否有限,只取决于尾函数在 时下降得够不够快。因为 这一段的贡献最多是 永远不会造成无穷大。

例子

例 1:掷骰子——用尾概率算 𝔼X²

等可能。对 (所以 时 取

其中 这与直接计算 一致。

一般地,对取值于 的 时 而 于是得到离散版本

例 2:均匀分布——两种算法对得上

((对任意

直接用 LOTUS(第 7 页):两者一致。例如 时

例 3:指数分布的二阶矩与方差

(取

分部积分:

令 (得 再由 的情形

例 4:Pareto 分布——看尾巴就知道哪些矩有限

第 16 页 的 Pareto 变量 (先求尾巴:对

第二个等号:两边都是正数,同取 次方,不等号反向。对 总成立,尾概率为 1。由推论 21,

  • 若 所以
  • 若 对 有 而 所以

直接验证 的情形:一致。结论: 的 阶矩有限当且仅当 ,这完全由尾巴 的衰减速度决定。

常见疑问与易错点

易错点问:为什么权重是 ptᵖ⁻¹,而不是 1?

答:因为要算的是 而不是 时,高度每升高 就多 所以每层权重是 1;而 在高度 附近每升高 增加的是 例如 时权重是 20:同样的尾概率,放在高处对二阶矩的贡献大得多。如果误写成 算出来的只是

易错点问:两边都可以是 +∞ 吗?这时公式还有什么用?

答:可以,而且这正是它最有用的地方:它给出了一个判别法——「 当且仅当 由于 上的积分不超过 1,真正要检查的只是 是否收敛。例 4 就是这样判断 Pareto 分布哪些矩有限的;第 31 页 的反例也要用它说明某个矩是无穷大。

易错点问:X 可正可负时,𝔼Xᵖ 怎么办?

答:若 不是整数(例如 时 没有定义,只能谈 用第 2 条:若 是奇数(例如 可以拆成正部和负部:两部分分别用推论 21 计算,只要它们不同时为无穷,就得到 (与 第 5 页 的定义 3 一致)。

易错点问:它和第 12 页的 𝔼Y = ∫ℙ(Y > s) ds 到底差在哪?

答:内容上是同一件事,差别在于「看谁的尾巴」。直接用第 12 页的公式算 要的是 的尾巴 推论 21 把它改写成 自己的尾巴 代价是多了权重 这样同一条尾函数就能一次性回答所有 的问题(例 4 只算了一条尾巴,就判断了所有的矩)。

小结与自测

小结本页小结
  • 推论 21: 时 两边可同为 对一般 用 代入。
  • 证明:对 用 第 12 页 的定理 11,再换元 (在 上用微积分,再用 MCT 取极限)。
  • 直观:「分层蛋糕」——高度 的一层厚 存在的概率是
  • 用途:矩是否有限只取决于尾巴在 时的衰减速度;Pareto 的 阶矩有限当且仅当
自测

1. 抛公平硬币直到第一次出现正面, 是所需次数,于是 (用离散版本求

点开看答案

这里 是因为「至少要 次」等价于「前 次都是反面」。

2. 设 (哪些 使

点开看答案

恰好是 由推论 21,只需看 对 有 所以 被积函数夹在 与 之间。

3. 判断:「若 且 对所有 成立,则 的所有正阶矩都有限。」

点开看答案

对。由推论 21,因为 (存在 使 时 即 而 在 上,被积函数不超过 积分不超过 ( 时 在 0 附近无界,但积分仍有限)。两段都有限,所以

本页术语中英对照(按出现顺序)
中文English白话解释
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
尾概率tail probability随机变量取到「很大的值」的概率,例如 P(X > t) 或 P(|X| ≥ t)。它随 t 增大而下降得越慢,分布的尾巴就越「厚」。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
阶矩momentE[|X|ᵖ] 叫 p 阶(绝对)矩;它有限与否反映尾部有多「重」。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
方差varianceVar X = E[(X − E X)²],衡量随机变量围绕均值的波动大小。
累积分布函数cumulative distribution function (CDF)F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。
指数分布exponential distributionP(X > x) = e^(−λx)(x ≥ 0)的分布,均值 1/λ,常用来描述等待时间。
勒贝格测度Lebesgue measure实数轴上「长度」的严格版本,定义在勒贝格可测集上,m([a,b]) = b − a。
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
黎曼积分Riemann integral大一学的定积分:按 x 轴切竖条求和取极限。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。
勒贝格积分Lebesgue integral按函数值分块的积分:先定义简单函数的积分,再用下方的简单函数逼近取上确界。
反函数inverse functionf 把不同的输入送到不同的输出时,反函数 f⁻¹ 把输出送回原来的输入:f⁻¹(f(x)) = x。例:ln 是 eˣ 的反函数。注意:集合的原像 f⁻¹(D) 不需要反函数存在。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
单调收敛定理monotone convergence theorem (MCT)非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
逐点收敛pointwise convergence对定义域里的每一个点 x,数列 fₙ(x) 都收敛到 f(x);这样得到的函数 f 叫逐点极限。
Tonelli 定理Tonelli's theoremf 非负可测、两个测度 σ-有限时,二重积分等于两种顺序的累次积分,三者可以同时为 ∞。
二重积分double integral对两个变量一起积分:∬ f(x, y) dx dy。Fubini–Tonelli 定理说明什么时候可以拆成先对一个变量、再对另一个变量的两次积分。
当且仅当if and only if (iff)「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
零测集null set测度为 0 的集合,例如单点、有理数全体、康托尔集。
无意识统计学家定律law of the unconscious statistician (LOTUS)求 g(X) 的期望,不必先求出 g(X) 的分布,直接把 g 对 X 的分布 𝓛(X) 积分;X 有密度 f 时就是 E g(X) = ∫ g(x) f(x) dx。
分部积分integration by parts∫ₐᵇ u v′ dx = [u v]ₐᵇ − ∫ₐᵇ u′ v dx:把求导从一个函数挪到另一个函数上。由乘积求导法则 (uv)′ = u′v + uv′ 两边积分得到。
正部positive / negative partf⁺ = max(f, 0),f⁻ = max(−f, 0),f = f⁺ − f⁻,|f| = f⁺ + f⁻。