高等概率论逐页精讲

第 2 讲 随机变量、期望与不等式›第 2 部分 用 CDF 计算期望

PDF 第 12 / 32 页幻灯片 12/33定理

正负两侧的尾部决定均值

Positive and negative CDF tails determine the mean

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

把 CDF 的图像画出来:右边 上方(到高度 1 为止)的面积是 左边 下方的面积是 ,均值就是两块面积相减:

不需要密度,也不需要知道 是离散的还是连续的。

  • 位置:第 2 部分「用 CDF 计算期望」的第 5 页,也是这一串推导的终点。路线是:第 9 页(增量和式)→ 第 10 页(分部积分,定理 9)→ 第 11 页(截断变量,推论 10)→ 本页(去掉截断,定理 11)。
  • 为什么需要:推论 10 只能算有界的截断变量 本页把截断的上下限推到 算出 本身的期望;推的过程用单调收敛定理,结论对期望为 的情形也成立。
  • 后面怎么用:下一页 第 13 页 用它算混合型分布的均值;第 15、16 页用它核对指数分布、Pareto 分布的均值;第 21 页的矩–尾恒等式就是把本页的非负情形用在 上。

先补基础

基础补课正部与负部(回顾第 5 页)
  • 是正数时 是负数时 所以 两者都非负。
  • 例: 时 时
  • 第 5 页定义 3: 与 至少一个有限时,两个都是 时 不存在;两个都有限时 可积。
基础补课无穷区间上的积分 ∫₀^∞
  • (是勒贝格积分 值在 里,可以是
  • 计算方法:先在 上积分,再令 理由是单调收敛定理(MCT): 随 递增,逐点趋于 所以 这就是微积分里「广义积分」 的严格版本(对非负函数)。
  • 例:
基础补课回顾:推论 10(第 11 页)

对有限的 截断变量 满足

课件原文逐句精读

课件原文Positive and negative CDF tails determine the mean

Theorem 11 (Expectation directly from a CDF) For every real-valued random variable ,

中文翻译

蓝条标题:CDF 在正、负两侧的尾部决定了均值。

定理 11(直接由 CDF 求期望) 对每一个实值随机变量 (课件正文留白,见下一节。)

① Positive and negative CDF tails|什么是「正、负两侧的尾部」

  • 正侧的尾部: 时的 即「 超过一个正数 的概率。 越大,它越小,是分布在右边那条「尾巴」上的质量。
  • 负侧的尾部: 时的 即「 低于一个负数 的概率。 越往左,它越小,是左边那条尾巴上的质量。
  • 注意两侧用的函数不一样:右边用 左边用 它们都是「离 0 越远越小」的量,这正是它们可能积分有限的原因。

② determine the mean|决定均值

标题说:只要知道这两条尾巴,就能算出均值。尾巴越「重」(下降越慢),面积越大,均值的那一部分越大;尾巴下降得太慢时面积是无穷,对应的 或 就是

③ For every real-valued random variable X|对每一个实值随机变量

  • 没有任何假设:不要求可积,不要求有密度。定理的前两条等式在 里成立,允许等于
  • 只在最后一步「两者相减」时需要条件: 不能同时是 否则 没有意义(第 5 页定义 3)。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

定理 11(直接由 CDF 求期望)

设 是实值随机变量,则(两边都在 中取值)

因此:

  1. 期望存在 右边两个积分至少有一个有限;此时
  2. 可积 两个积分都有限。
  3. 非负情形:若 则

逐项解释:

  • 那一条: 是非负的,它的期望是「右尾函数 在 上的面积」。
  • 那一条: 是 负的那部分取绝对值,它的期望是「左尾函数 在 上的面积」。
  • 第 1 条:直接套用第 5 页的定义 3,把 换成两个积分。
  • 第 2 条:可积就是 即两部分都有限。
  • 第 3 条: 时 第二个积分为 0( 时 只剩第一个;又 第 21 页引用的就是这一条。
人话版为什么「尾部面积」等于「平均值」:换个方向数格子

设 只取 这几个值,概率分别是 记

  • 竖着切(按取值):中学公式 第 个值贡献一个「宽 高 的长方形。
  • 横着切(按高度):在 这一段上, 当且仅当 取 之一,所以尾函数等于 尾部面积是
  • 把括号展开, 出现在 这些项里,系数加起来是 所以尾部面积

例: 以各 取 1、3。尾函数在 上为 1,在 上为 面积 两种算法是同一堆长方形,一种竖着数,一种横着数。定理 11 把这件事推广到任意分布,推广的工具就是截断加单调收敛定理。

推导证明思路

先对两个有界的截断变量 用推论 10,得到两个 或 上的积分;再令 左边的截断变量单调递增到 右边的积分区间单调扩大,两边都用单调收敛定理取极限。

第 1 步:正部的截断就是 取 (对每个

  • 若 而
  • 若
  • 若 而

三种情况都满足 由推论 10 的第一种写法,

第 2 步:令

  • 左边:对每个 随 单调不减,并且一旦 就等于 所以 它们都是非负随机变量,由 MCT,
  • 右边: 是非负函数,随 递增,逐点趋于 再用一次 MCT(这次是对勒贝格测度),

两列数逐项相等,极限也相等(允许同为

第 3 步:负部的截断就是 取 对每个

  • 若 而
  • 若
  • 若 而

三种情况都满足 由推论 10 的第二种写法(所以

第 4 步:再令 与第 2 步完全一样的两次 MCT:于是

第 5 步:合起来。 把第 2、4 步的结果代入第 5 页定义 3,就得到第 1、2 条;第 3 条前面已经解释。证毕。

一次截两边:E X^{(a,b)} 本身就分成两块

对 推论 10 的第二种写法可以拆开:

因为 这里正好看到两块尾部面积各自「截到 和 的样子。随机变量层面对应的恒等式是 令 两块分别用 MCT,就是上面的证明。分开处理的好处是:即使两块都趋于 (期望不存在),每一块的结论也仍然成立。

图解

图解:两块面积——右边 F 上方,左边 F 下方

课件这里没有图,可以这样画:

  1. 画坐标系,横轴是 纵轴是 在高度 1 处画一条水平虚线,再画出 的图像:它从左边的 0 爬升到右边的 1。
  2. 右边一块(涂成蓝色): 的部分, 的曲线与 之间的区域,即 它的面积是
  3. 左边一块(涂成红色): 的部分, 的曲线与横轴之间的区域,即 它的面积是
  4. 均值 = 蓝色面积 − 红色面积。

读图技巧:

  • 分布往右偏( 常取大的正数), 在右边升得慢,蓝色一块大,均值大。
  • 分布往左偏, 在左边早早升起,红色一块大,均值小。
  • 两块都是向无穷远延伸的「细长尾巴」。尾巴变细得够快(例如指数速度),面积有限;变细得太慢(例如 的速度),面积是无穷。
  • 如果画出的是第 11 页的矩形 本页就是把它的左右两条边推到无穷远。

例子

例 1:指数分布的均值

时 时

  • 红色一块:所以 (
  • 蓝色一块:

所以 第 15 页会用逆变换法再算一遍。

例 2:区间 (−1, 2) 上的均匀分布——两块面积都不为 0

在 上 时为 0, 时为 1。

  • 蓝色一块: 时 没有贡献。
  • 红色一块: 时 没有贡献。
  • 均值:正是区间中点

还可以单独核对:一致。

例 3:离散分布——台阶下的长方形

以各 的概率取 和 时 0, 时 时 1。

  • 蓝色一块: 上 时为 0,面积 直接算:一致。
  • 红色一块: 上 时为 0,面积 直接算:一致。
  • 也就是

离散分布的 是台阶,两块面积都是一些长方形拼成的。

例 4(反例):柯西分布——两块面积都是无穷,期望不存在

对 由

在 上是凹函数(图像在弦的上方),弦连接 与 所以 时 于是 时

(分布关于 0 对称),所以红色一块也是 两块都是无穷,由定理 11 第 1 条, 不存在。对比第 11 页例 4:截断变量的期望总存在,但截断放开以后就没有极限了。

常见疑问与易错点

易错点问:左边为什么用 F,不用 1 − F?

答:因为要积分的是离 0 越远越小的东西。 时 而 若在 上积分 面积必然是无穷,没有意义。直观上, 衡量 往左走了多远,「往左超过 的概率是 (所以左边用 更严格地,与 只在可数个点不同,积分相同。

易错点问:能不能把两块面积合并成一个积分?

答:两部分都有限时可以合并成 被积函数在 时是 在 时是 但如果某一部分是 合并后可能出现 所以定理里一定要分成两部分写,先分别判断是否有限,再相减。

易错点问:右边一块用 ℙ(X > x) 还是 ℙ(X ≥ x)?

答:都可以。两者之差 只在 的跳跃点处不为 0,而跳跃点至多可数个(第 10 页最后一个易错点),可数集的勒贝格测度为 0,不影响积分。同样,左边用 或 也一样。

易错点问:∫₀^∞(1 − F) = ∞,是不是就说明 𝔼X = +∞?

答:不一定。还要看另一块:若 则 若它也是 (例 4 的柯西分布),则 不存在。只有 时,第一块无穷才直接推出 (第 16 页 的 Pareto 分布就是这样)。

小结与自测

小结本页小结
  • 定理 11:对任何实值 成立(可为
  • 至少一个有限时 两个都有限时可积; 时
  • 证明: 用推论 10,再对随机变量和对积分区间各用一次 MCT。
  • 图像:右边 上方的面积减去左边 下方的面积。
自测

1. 以各 的概率取 用定理 11 求 和 并与直接计算比较。

点开看答案

时 0, 上 上 时 1。蓝色一块: 上 上 面积 红色一块: 上 面积 直接算:一致。

2. 设 (求

点开看答案

由第 3 条,在 上原函数是 积分 所以

3. 判断:「若 的分布关于 0 对称(则

点开看答案

错。对称只说明两块面积相等,但它们可能同为 这时 不存在,例 4 的柯西分布就是这样。正确的说法是:对称并且可积(时,

本页术语中英对照(按出现顺序)
中文English白话解释
累积分布函数cumulative distribution function (CDF)F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
分部积分integration by parts∫ₐᵇ u v′ dx = [u v]ₐᵇ − ∫ₐᵇ u′ v dx:把求导从一个函数挪到另一个函数上。由乘积求导法则 (uv)′ = u′v + uv′ 两边积分得到。
单调收敛定理monotone convergence theorem (MCT)非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
指数分布exponential distributionP(X > x) = e^(−λx)(x ≥ 0)的分布,均值 1/λ,常用来描述等待时间。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。
勒贝格积分Lebesgue integral按函数值分块的积分:先定义简单函数的积分,再用下方的简单函数逼近取上确界。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
当且仅当if and only if (iff)「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。
单调递增nondecreasing后一项不小于前一项;单调有界的数列一定有极限。
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
正部positive / negative partf⁺ = max(f, 0),f⁻ = max(−f, 0),f = f⁺ − f⁻,|f| = f⁺ + f⁻。
勒贝格测度Lebesgue measure实数轴上「长度」的严格版本,定义在勒贝格可测集上,m([a,b]) = b − a。
逆变换法inverse transform methodU 服从 (0,1) 上的均匀分布时,Q(U) 的分布函数恰好是 F,用来生成任意分布。
凹函数concave function−φ 是凸函数时,φ 叫凹函数:任意两点间的弦都在图像下方,例如 log x、√x。对凹函数,Jensen 不等式反向:E φ(X) ≤ φ(E X)。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。