高等概率论逐页精讲

第 2 讲 随机变量、期望与不等式›第 2 部分 用 CDF 计算期望

PDF 第 9 / 32 页幻灯片 9/33定义

CDF 的增量给出勒贝格积分

CDF increments give the Lebesgue integral

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

「对 CDF 积分」 的意思就是对分布 积分,所以它等于 而且当 连续时,它可以只用 的增量来算:把区间切成小段,每段上取一个 值,乘以 在这一段的增量,再相加——小段越切越细,和就趋于积分。

  • 位置:第 2 部分第 2 页。上一页 第 8 页 说 CDF 记录了整个分布;本页说:既然如此,对分布的积分也应该能用 CDF 表达出来。
  • 为什么需要:分布 是一个测度,不好直接操作; 是一个普通函数,好算。本页的命题 8 是一座桥:把勒贝格积分变成和中学黎曼和几乎一样的「分割求和」。
  • 后面怎么用:下一页 第 10 页 就在命题 8 的和式上做「分部求和」,推出 CDF 的分部积分公式。

先补基础

基础补课分割与细度
  • 区间 的一个分割(partition)是一串点 把 切成 小段。
  • 细度(mesh)是最长那一段的长度:「细度 → 0」就是「每一段都越切越短」。
  • 例: 的等分分割 细度是 时趋于 0。
  • 表示「对所有 取最大值」。
基础补课黎曼和(回顾)与它的「推广版」
  • 黎曼和:在每一段 里任取一点 (称为标记点),算 每一项是「高 × 宽」,宽就是这一段的长度。细度 → 0 时,它趋于 (达布和)。
  • 本页的推广:把「长度 换成「这一段分到的概率 概率多的段,权重就大。这种和叫黎曼–斯蒂尔杰斯和(Riemann–Stieltjes sum)。
基础补课一致连续(当作已知的微积分结论)
  • 在 上一致连续(uniformly continuous):对每个 存在 使得只要 且 就有 关键是:同一个 对区间上所有位置都管用。
  • 微积分定理(Heine–Cantor,这里当作已知结论使用):闭区间 上的连续函数一定一致连续,也一定有界。
  • 方便起见记 叫 的连续模。一致连续就是说 (
  • 例: 在 上,所以

课件原文逐句精读

课件原文CDF increments give the Lebesgue integral

Definition 7 (Integration with respect to a CDF) Write and let , uniquely determined by . Define

Proposition 8 (A formula using only CDF increments) If is continuous on and partitions have mesh , then

中文翻译

蓝条标题:CDF 的增量给出勒贝格积分。

定义 7(对 CDF 的积分) 记 令 它由 唯一确定。定义……(留白)

命题 8(只用 CDF 增量的公式) 若 在 上连续,且分割 的细度 则……(留白)

① Write F = F_X and let μ_F = 𝓛(X), uniquely determined by F|给分布起一个「以 F 命名」的名字

  • 记号 强调:这个测度只由 决定。理由正是上一页的定理 C:两个随机变量 CDF 相同,分布就相同。所以「 对应的测度」是一个意义明确的说法。
  • 下标写 而不写 是因为接下来的公式里只出现 不再出现 和

② If g is continuous on [a, b] and … mesh → 0|命题 8 的两个条件

  • 在闭区间上连续:保证在很短的一段上 几乎不变,取哪个标记点都差不多(下面「易错点」会给出去掉这个条件就出错的例子)。
  • 细度 → 0:每一段都要变短,而不只是段数变多。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

定义 7(对 CDF 的积分)

设 是实值随机变量,对博雷尔可测的 或满足 的博雷尔可测 定义

由 LOTUS(第 7 页),特别地,对

逐条解释:

  • 这不是新的积分: 只是 的另一种写法(通常叫勒贝格–斯蒂尔杰斯积分),好处是记号里直接看得见
  • 积分区间要写清开闭: 可能不同,差别恰好是端点 处的概率质量 所以对 CDF 积分时不要随手写 ,除非 在端点连续。
  • 为什么偏爱左开右闭 :因为 恰好是 的增量(上一页命题 B),公式最干净。
  • 只在 上有定义怎么办:在 外补定义为 0 即可,积分 本来就只看 上的值。下一页课件的 extended by zero outside 就是这个意思。
命题 8(只用 CDF 增量的公式)

设 在 上连续。对 的任一列分割 (每个分割各自带有任意选取的标记点 只要细度 就有

推导证明思路

把和式看成一个台阶函数 对 的积分:在第 段 上取常数 一致连续,所以台阶函数和 在 上处处相差不超过 而 的总质量不超过 1,所以两个积分相差也不超过它,趋于 0。

记当前分割的细度为 定义台阶函数

第 1 步:和式就是台阶函数的积分。 各段 两两不交,并起来恰好是 是简单函数,按简单函数积分的定义和上一页命题 B,

(系数 可正可负;有限个有界项,线性照样成立。)

第 2 步:台阶函数一致地逼近 任取 它落在唯一的一段 里,而标记点 也在 里,二者距离不超过这一段的长度 所以

第 3 步:积分之差被控制住。 在 上有界, 是有界函数,对总质量为 1 的 可积。于是

第 4 步:取极限。 细度 时,由一致连续 所以和式趋于 证毕。

另一种写法:用有界收敛定理

第 2 步说明 在 上逐点成立,并且 有界。 是有限测度,由有界收敛定理(BCT)直接得到 上面的第 3 步其实给出了更多信息:误差不超过 有明确的速度。

图解

图解:每一小段「装着」多少概率

课件这里没有图,可以这样画:

  1. 横轴上把 切成若干小段,每段写成左开右闭 右端点涂实心、左端点画空心,表示「每个点只属于一段」。
  2. 在每段下方写上它装着的概率 如果 在这一段里有跳跃,跳跃的质量就装在包含跳跃点的那一段里;如果 在这一段持平,这一段装的概率是 0,无论 多大都不贡献。
  3. 在每段上方画一条水平线段,高度 这就是台阶函数
  4. 和式 = 每段「台阶高度 × 这一段的概率」之和。切得越细,台阶越贴近 的曲线,和就越接近真实的积分。

和普通黎曼和唯一的区别:每段的「宽度」不再是长度,而是概率。

例子

例 1:均匀分布——退化成普通的黎曼和

在 上 于是 命题 8 的和式就是普通黎曼和。取

例 2:只有跳跃的 F——和式自动挑出跳跃点

取 连续。 只在 0 和 1 处跳 其余地方持平。

  • 包含 0 的那一段 增量为 包含 1 的那一段增量也为 其余各段增量为 0。
  • 所以和式 其中 分别是那两段的标记点。细度 → 0 时,它们被挤向 0 和 1,由 连续,和式

这正是 例如 时极限是

例 3:左端点的质量不算在 (a, b] 里

(常数),取 (所以每一段的增量 和式恒为 0。

这和命题 8 一致:点 0 的质量 1 没有被算进去,因为区间是左开的。想把它算进去,就要把 取在 0 的左边,比如 包含 0 的那一段增量为 1,和式

例 4:有密度时的公式(预告)

若 在 上连续可导,由微分中值定理 和式变成 它趋于 这与第 7 页推论「吻合。

常见疑问与易错点

易错点问:g 不连续会怎样?

答:和式可能根本没有极限。取 (在 0 处跳跃)。包含 0 的那一段 装着全部质量 1,而它的标记点可以取在 0 左边(或 0 右边(于是和式在 0 和 1 之间来回跳,不收敛。真正的积分是 恰好在 的跳跃点处不连续,是最危险的情形。

易错点问:∫ g dF 和中学的 ∫ g(x) f(x) dx 是什么关系?

答:后者是前者的特例。有密度时,「可以理解成「(例 4)。但 适用于所有分布,包括有跳跃的、以及连续却没有密度的(第 19 页)。

易错点问:命题 8 里的标记点能随便选吗?

答:能。只要在 里,左端点、右端点、中点都行,极限都一样。这是 一致连续带来的好处:同一段里 的值几乎相同。下一页的证明会专门取右端点

小结与自测

小结本页小结
  • 定义 7:由 LOTUS 等于
  • 命题 8: 在 连续时,
  • 证明:和式 = 台阶函数的积分;一致连续让台阶一致贴近 总质量 控制误差。
  • 注意区间开闭: 不含 处的质量; 在跳跃点不连续时公式会失效。
自测

1. 求 和

点开看答案

点 1 的质量不在 里。

2. 在命题 8 的证明里,哪一步用到了「 是概率测度(总质量不超过 1)」?

点开看答案

第 3 步最后一个不等号:若测度总质量是无穷,误差估计就可能失效。另外「 可积」也用到了总质量有限。

3. 取 用等分分割和右端点标记写出和式,并验证它的极限。

点开看答案

增量 和式 这正是

本页术语中英对照(按出现顺序)
中文English白话解释
累积分布函数cumulative distribution function (CDF)F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
勒贝格积分Lebesgue integral按函数值分块的积分:先定义简单函数的积分,再用下方的简单函数逼近取上确界。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
分割partition把区间 [a,b] 用分点 a = x₀ < x₁ < … < xₙ = b 切成小段。
分部积分integration by parts∫ₐᵇ u v′ dx = [u v]ₐᵇ − ∫ₐᵇ u′ v dx:把求导从一个函数挪到另一个函数上。由乘积求导法则 (uv)′ = u′v + uv′ 两边积分得到。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
无意识统计学家定律law of the unconscious statistician (LOTUS)求 g(X) 的期望,不必先求出 g(X) 的分布,直接把 g 对 X 的分布 𝓛(X) 积分;X 有密度 f 时就是 E g(X) = ∫ g(x) f(x) dx。
两两不交pairwise disjoint一列集合中任意两个都没有公共元素,对应「任意两件事不会同时发生」。
简单函数simple function只取有限个值的可测函数,是若干示性函数的线性组合,图像像台阶。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。
有界收敛定理bounded convergence theorem (BCT)有限测度上一致有界、几乎处处收敛的函数列,积分收敛;是 DCT 的特例。
中值定理mean value theoremf 在 [a,b] 上连续、在 (a,b) 内可导,则存在某个 ξ ∈ (a,b) 使 f(b) − f(a) = f′(ξ)(b − a):总增量等于某一点的斜率乘以区间长度。
概率测度probability measure总质量 P(Ω) = 1 的测度。