高等概率论逐页精讲

第 2 讲 随机变量、期望与不等式›第 2 部分 用 CDF 计算期望

PDF 第 10 / 32 页幻灯片 10/33定理

用分部积分从 CDF 直接计算

Integration by parts computes from the CDF itself

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

上一页的公式还要一段一段地算 的增量;这一页用分部积分把它换成一个普通的积分:只要 光滑, 就等于「两个端点项」减去「 乘 的普通积分」。公式里只出现 本身的值,不需要密度,也不需要知道 在哪里跳。

  • 位置:第 2 部分「用 CDF 计算期望」的第 3 页。第 9 页的命题 8 已经把 写成和式 的极限;本页在这个和式上做「分部求和」,得到定理 9。
  • 为什么需要:命题 8 的极限要切分割、算增量、再取极限,手算很麻烦;定理 9 把它变成 ——一个中学就会算的普通积分,被积函数里只有 和
  • 后面怎么用:下一页 第 11 页 取 得到截断随机变量的期望公式;第 12 页再让 得到「用 CDF 两侧的尾部面积算期望」的定理 11。

先补基础

基础补课C¹ 函数与微分中值定理
  • 读作「 属于 上的 C-一类」: 在闭区间 上处处可导(在两个端点处指单侧导数),并且导函数 在 上连续。例: 在任何闭区间上都属于 在 上不属于(在 0 处不可导)。
  • 带来两个好处。第一, 是闭区间上的连续函数,所以有界、并且一致连续(第 9 页基础补课里的 Heine–Cantor 定理);沿用第 9 页的记号,把 的连续模记为 它随 趋于 0。第二,可以用下面的中值定理。
  • 微分中值定理(Lagrange):若 在 上连续、在 内可导,则存在一点 使
    几何意义:连接两个端点的弦的斜率,等于中间某一点切线的斜率。例:弦的斜率是 而 给出
基础补课分部积分(中学版回顾)
  • 乘积求导法则 两边在 上积分,再移项:
  • 口诀:把导数从一个因子挪到另一个因子上,代价是一个「端点项」和一个负号。
  • 例:取 得
  • 本页的定理 9 就是这个公式,只不过把 换成了「 可以不可导,甚至可以跳,所以不能直接照搬 的推导,要换一条路(见下面的证明)。
基础补课CDF 是有界的可测函数,∫ g′F dx 一定有意义
  • 单调不减。对任意常数 只要某个 满足 它右边的所有点也都满足,所以集合 只能是空集、或者 这样的半直线。这些都是博雷尔集,所以 是博雷尔可测的(可测函数)。
  • CDF 还满足 于是 是 上有界的可测函数,它对勒贝格测度的积分
    一定存在而且有限。实际计算时 通常是分段的简单函数,按段用中学的方法积分即可(有界黎曼可积函数的两种积分相等,第 27 页;下面「更多细节」会说明 确实黎曼可积)。

课件原文逐句精读

课件原文Integration by parts computes from the CDF itself

Theorem 9 (CDF integration by parts) Let and , extended by zero outside when evaluating . Then

中文翻译

蓝条标题:分部积分让我们直接从 CDF 本身算出期望。

定理 9(CDF 的分部积分) 设 在计算 时,把 在 以外补定义为 0。那么……(课件正文留白,见下一节。)

① Let a < b and g ∈ C¹([a, b])|两个假设

  • 是两个有限实数:先在一个有界区间上做。区间无界的情形留给第 12 页用极限处理。
  • 比第 9 页命题 8 的「 连续」多要求了一点——可导,而且导数连续。原因有二:结论里要出现 证明里要对 用中值定理,还要用 的一致连续。

② extended by zero outside [a, b] when evaluating g(X)|为什么要「在外面补 0」

  • 只在 上有定义,可 完全可能落在 外面,那时 这个式子没有意义。
  • 约定: 时令 这样 对每个 都有定义。它还是一个随机变量:补 0 以后, 在 时是「 中满足 的点」,即开集与 的交;在 时再并上 的补集。两者都是博雷尔集,所以补 0 后的 博雷尔可测, 可测(第 4 页「复合保持可测」)。
  • 补的值是多少其实不影响结论:定理里 总是乘着示性函数 不在 里时整项都是 0。「补 0」只是让记号 合法的一个约定。

③ Integration by parts computes from the CDF itself|标题在强调什么

  • from the CDF itself(从 CDF 本身):公式右边只出现 在两个端点的值,以及 在 上的一个普通积分,不出现密度,也不出现 的增量或跳跃大小。
  • 所以不管 是离散的、混合型的(第 13 页),还是连续却没有密度的(第 19 页),公式都照样能用。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

定理 9(CDF 的分部积分)

设 是实值随机变量, 是实数,并在 外补定义为 0。则

等价地(把 换成尾概率

逐项解释:

  • 左边: 落在 里时取 否则取 0,再求期望。第一个等号是第 9 页定义 7 的记号。
  • 右边第一部分 「端点项」,对应中学分部积分里的 (这里
  • 右边第二部分 原来是「 对 积分」,现在变成「 对 积分」,代价是一个负号——导数从 身上挪到了 身上。 不可导不要紧, 可导就行。
  • 第二种形式怎么来:把 代入第一种形式,并用微积分基本定理 ( 连续):
    很大时 很小,第二种形式更方便,第 11、12 页用的就是它的思路。
推导证明思路

从第 9 页命题 8 出发:取右端点作标记点,左边是和式 的极限。对这个和式做分部求和(离散版的乘积求导法则),它变成「端点项」减去 再用中值定理把 写成 剩下的就是 的近似和。最后用 一致连续和 单调,证明近似的误差趋于 0。

取 的一列分割 细度 记第 段的长度

第 1 步:从命题 8 出发。 命题 8 允许任意选标记点,这里取右端点

命题 8 只要求 在 上连续,而 函数是可导的,当然连续。

第 2 步:离散的乘积法则(分部求和)。 对每个 有恒等式

理由:把右边展开,得 中间两项正负抵消,剩下的正是左边。它就是 的「差分版」。

对 求和。左边是 的形式(相加时中间的项逐个相消,只剩首尾两项 (这叫望远镜求和,telescoping sum)。于是

也就是

第 3 步:用中值定理改写 在每一段 上连续、在内部可导,由微分中值定理,存在 使 所以

它长得很像 的黎曼和:每一项是「高 × 宽」,高是 在第 段里的近似值,宽是

第 4 步:证明 记 (有限,因为 在闭区间上连续)。积分按段拆开(各段只在端点处重叠,单点是零测集,不影响积分),在第 段上把积分与 的第 项作差:

验证:右边两个被积函数相加, 一正一负抵消,剩下 而常数 在长度为 的区间上的积分就是

  • 第一项: 和 都在第 段里,距离不超过 所以 又 因此第一项的绝对值
  • 第二项: 单调不减,对 有 又 因此第二项的绝对值

对 求和,用 和 (又一次望远镜求和):

时, 一致连续给出 右边趋于 0,所以

第 5 步:合起来。 由第 2 步,对每个分割都有 令 左边由第 1 步趋于 右边由第 4 步趋于 同一列数的极限只有一个,所以二者相等。证毕。

更多细节:g′F 其实是黎曼可积的

第 4 步的估计本质上就是「单调函数黎曼可积」的证明。对第 段里的任意两点

所以 在这一段上的「最大值减最小值」不超过右边。于是达布上和减下和不超过 由 达布判别, 在 上黎曼可积,它的黎曼积分等于上面用的勒贝格积分(第 27 页)。所以 完全可以按中学的方法算。

如果区间换成闭区间 [a, b]

若把「补 0」理解成直接求 那么 时 也算在内,对应的是闭区间:

理由:多出来的一项期望是 (第 8 页命题 B),加到定理 9 上,两个版本只差左端点 处的原子; 在 连续时完全一样。

图解

图解:分部积分就是「两块面积拼成一个矩形框」

课件这里没有图,可以这样画(为了好画,设 在 上递增且为正):

  1. 画一个坐标系:横轴表示 的值,纵轴表示 的值。让 从 走到 描出点 得到一条从 走到 的曲线。 在某点跳跃时,曲线水平地跳过一段; 持平时,曲线竖直地往上走。
  2. 曲线下方(横轴从 到 的面积,是「高 × 宽 的累加,即
  3. 曲线左方(纵轴从 到 的面积,是「宽 × 高 的累加,而 所以它是
  4. 两块面积拼起来,恰好是大矩形 挖掉左下角的小矩形 面积

移项就是定理 9。图里还能看到原子的贡献: 在点 跳跃 时,曲线在高度 处水平走了 这一段下方的面积正是

例子

例 1:均匀分布,g(x) = x²

取 在 上

  • 左边:(第 9 页例 1)。
  • 右边:

两边相等。这里 可导,定理 9 就是中学分部积分

例 2:只有跳跃的 F——公式里看不见跳跃,结果照样对

取 在 上为 0,在 上为 在 上为 1。

  • 左边:
  • 右边:先算积分( 上 没有贡献):
    于是右边

两边相等。右边只用到 在各段上的值,跳跃的信息「藏」在 的分段里,不需要单独去找跳跃点。

例 3:指数分布,截到 (0, b] 上的均值

时 取 用第二种形式:

用密度 直接算(中学分部积分):结果完全一样。令 得到 ——这正是第 12、15 页要严格推出的指数分布均值。

例 4:左端点的原子不算——把区间往左挪一点就算进去了

(常数),((取

  • 左边 ( 不在 里)。右边
  • 左边 右边

两种取法都和左边吻合:端点项里的 会自动「知道」左端点的原子该不该算。

常见疑问与易错点

易错点问:端点项为什么是 F(a),而不是 F(a−)?

答:因为左边的区间是左开右闭的 左端点 处的原子不算在内。用 恰好把「的全部概率(包括 都扣掉。如果想要闭区间 就要把 换成 (见上面「更多细节」)。两者相差 例 4 的第一种取法就是这一项在起作用。

易错点问:有密度时,定理 9 和中学的分部积分是什么关系?

答:完全一致。若 在 上连续可导、左边就是 (第 7 页推论),定理 9 就是 取 定理 9 的进步在于: 可以不可导,甚至可以跳。也正因如此,证明不能用 只能改用「差分版」的乘积法则再取极限。

易错点问:g 只是连续、不可导,定理 9 还能用吗?

答:不能直接用,因为右边要出现 这时退回到第 9 页的命题 8,直接用增量和式计算。另外要记住第 9 页强调过的危险情形: 恰好在 的跳跃点处不连续时,和式可能根本不收敛。定理 9 要求 这些问题都不会出现。

易错点问:积分 ∫ₐᵇ g′(x)F(x)dx 里,F 在跳跃点取左极限还是右极限,要紧吗?

答:不要紧,但端点项里的 必须准确。理由是: 的跳跃点至多可数个。每个跳跃点 对应一个原子 若有 个不同的点概率都大于 它们的总概率就大于 1,不可能,所以「跳跃大于 的点不到 个;把 的这些有限集并起来,所有跳跃点是可数个。可数集的勒贝格测度为 0(第 18 页),在零测集上改变被积函数的值不影响积分(a.e. 与 L¹)。所以积分里把 换成 结果不变;但端点项是具体某一点的值,不能随便换。

小结与自测

小结本页小结
  • 定理 9: 时,等价形式把 换成 端点项和积分项变号。
  • 「在 外补 0」只是让 有定义;真正决定范围的是示性函数
  • 证明路线:命题 8(取右端点)→ 离散乘积法则 + 望远镜求和 → 中值定理 → 用 一致连续、 单调控制误差。
  • 右边只用 的值,不需要密度;端点项 对应左开区间,闭区间要换成
自测

1. 以各 的概率取 1、2、3。取 用定理 9 算 并与直接计算比较。

点开看答案

在 上为 0, 上为 上为 所以 定理 9 给出 直接算:一致。

2. 同一个 改取 用定理 9 计算,并解释为什么和第 1 题不同。

点开看答案

定理 9:直接算:比第 1 题少了 这正是左端点 处的原子——区间 不包含它,端点项里的 把它扣掉了。

3. 在证明第 4 步里,哪一处用到了「 单调不减」?哪一处用到了「

点开看答案

单调:第二项的估计 以及增量之和 每项非负、总和为 有界:第一项的估计里用 最后的 也用到了它。

本页术语中英对照(按出现顺序)
中文English白话解释
分部积分integration by parts∫ₐᵇ u v′ dx = [u v]ₐᵇ − ∫ₐᵇ u′ v dx:把求导从一个函数挪到另一个函数上。由乘积求导法则 (uv)′ = u′v + uv′ 两边积分得到。
累积分布函数cumulative distribution function (CDF)F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
分割partition把区间 [a,b] 用分点 a = x₀ < x₁ < … < xₙ = b 切成小段。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
中值定理mean value theoremf 在 [a,b] 上连续、在 (a,b) 内可导,则存在某个 ξ ∈ (a,b) 使 f(b) − f(a) = f′(ξ)(b − a):总增量等于某一点的斜率乘以区间长度。
单调递增nondecreasing后一项不小于前一项;单调有界的数列一定有极限。
集合set把一些对象放在一起当成一个整体,例如 {1,2,3}。
空集empty set一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。
博雷尔 σ-代数Borel sigma-algebra由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。
可测函数measurable function对每个 a,集合 {f > a} 都可测;这样的函数才能积分。
勒贝格测度Lebesgue measure实数轴上「长度」的严格版本,定义在勒贝格可测集上,m([a,b]) = b − a。
黎曼积分Riemann integral大一学的定积分:按 x 轴切竖条求和取极限。
简单函数simple function只取有限个值的可测函数,是若干示性函数的线性组合,图像像台阶。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。
补集complement样本空间里不属于 A 的元素全体,记作 Aᶜ,对应「A 不发生」。
示性函数indicator function𝟏_A(x) 在 x ∈ A 时取 1,否则取 0;它的积分就是 A 的测度。
尾概率tail probability随机变量取到「很大的值」的概率,例如 P(X > t) 或 P(|X| ≥ t)。它随 t 增大而下降得越慢,分布的尾巴就越「厚」。
零测集null set测度为 0 的集合,例如单点、有理数全体、康托尔集。
达布和Darboux sums每小段取函数的下确界(或上确界)乘以长度再求和;上下和夹住黎曼积分。
勒贝格积分Lebesgue integral按函数值分块的积分:先定义简单函数的积分,再用下方的简单函数逼近取上确界。
指数分布exponential distributionP(X > x) = e^(−λx)(x ≥ 0)的分布,均值 1/λ,常用来描述等待时间。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。