高等概率论逐页精讲

第 3 讲 Borel–Cantelli、收敛与 Radon–Nikodym›第 3 部分 期望与密度的收敛

PDF 第 22 / 47 页幻灯片 22/49定理

Scheffé 引理:逐点收敛再加上总质量收敛,积分误差就趋于 0

Scheffé's lemma

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

对非负函数:若 几乎处处,并且总质量也收敛,那么误差的总面积 不需要任何控制函数。对概率密度来说,总质量都是 1,条件自动成立:密度逐点收敛,就推出所有事件的概率一致地收敛。

这是第 3 部分「期望与密度的收敛」的第四页。

  • 第 19 页 的尖峰 说明:只有逐点收敛,质量可能从一个零概率集「逃走」,积分不跟着收敛。
  • 第 20 页–第 21 页 给出第一种补救:加一个共同的可积上界(控制收敛)。
  • 本页给出第二种补救,专门针对非负函数:不用找上界,只要检查总质量没有丢。这对概率密度特别方便,因为密度的总质量天然是 1。
  • 下一页 第 23 页 证明本定理;第 24 页 把它翻译成「事件概率的误差」;第 25 页 用一个具体例子把误差精确算出来。

先补基础

基础补课一般测度空间 (S, 𝓜, μ) 上的积分

第 1 讲的积分是对任意测度空间写的(第 12 页、第 33 页)。本页的 可以是:

  • 实轴上的长度:(勒贝格测度), 就是通常的面积
  • 计数测度: 是 里元素的个数,此时 (积分就是求和);
  • 概率空间:积分就是期望

同一个定理对这三种情况同时成立,这就是用抽象的 写定理的好处。

基础补课几乎处处收敛与积分误差
  • -几乎处处(a.e.):使 的点组成一个 -零测集(第 43 页)。例:在 上,只在有理数点不收敛也算几乎处处收敛,因为有理数可数,长度为 0。
  • 积分误差 两条曲线之间夹着的总面积。它趋于 0 叫 收敛(第 20 页)。
  • 例:在 上,两者只在 上不同,差为 1,所以
基础补课概率密度
  • 对测度 的概率密度:可测函数 满足 它定义了一个概率 (第 17 页;为什么这确实是概率,见 第 26 页)。
  • 例: 上的均匀密度 标准正态密度 参数为 的指数密度 (
  • 离散情形也算:掷骰子的分布列 (就是对计数测度的密度,
基础补课第 1 讲的三个交换工具(回顾)
  • Fatou 引理(第 41 页): 时 若 a.e.,就是 取极限时质量只会丢,不会多。
  • 控制收敛定理 DCT(第 44 页 定理 36): a.e.,且 则
  • 线性与 (第 43 页 命题 35):对可积函数成立。

课件原文逐句精读

课件原文Scheffé's lemma

Theorem 16 (Nonnegative Scheffé lemma)

Probability densities

中文翻译

(标题:Scheffé 引理)

定理 16(非负函数的 Scheffé 引理)

概率密度

  • Scheffé's lemma:以美国统计学家 Henry Scheffé 命名的引理(他在 1947 年用它研究密度的收敛)。lemma 是引理,指一个常被引用的辅助结论。
  • Theorem 16:定理 16,编号接着 第 20 页 的定理 15。
  • Nonnegative:非负的。这个版本要求所有函数都非负;对可正可负的函数,条件要改写(见下面的「更多细节」)。
  • Probability densities:概率密度。这是定理 16 最重要的特例,课件把它单列为一个小标题。
  • 两个标签下都留白,下面补全。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

Theorem 16 (Nonnegative Scheffé lemma)|定理 16(非负 Scheffé 引理)

定理 16(非负 Scheffé 引理)

设 是测度空间, 是可测函数。若

  1. -几乎处处,

则

因此对每个 右边与 无关并趋于 0:所有 一致地收敛到

逐个看:

  • 取有限值:非负防止正负抵消(见下面「两个条件各防止什么」的最后一条);有限值保证 处处有定义(不出现
  • 条件 1(几乎处处收敛):和 DCT 一样的收敛要求。
  • 条件 2(总质量收敛):把 DCT 的「共同可积上界」换成了「总面积对得上」。 不能省。
  • 结论: 收敛。最后一句里的不等式来自 (第 43 页 命题 35; 足够大时 相减合法)。
  • 条件 2 其实也是必要的:若 取 就得到 所以对非负且几乎处处收敛的函数列,
人话版:总账对上,明细就对上

把 想成沙子在地面上的堆积高度。几乎处处收敛说「每个位置的沙堆高度最终接近 Fatou 说「极限时沙子只会丢,不会凭空多出来」。条件 2 说「总沙量也没有丢」。既然每个位置都不会多出沙子,总量又一点没少,那就没有地方能藏着丢掉的沙子——所以每处的误差加起来也趋于 0。

推导证明思路(完整证明见下一页)

关键是「公共部分」它被 压住, 可积,所以可以对它用 DCT,得到 再用恒等式 积分,三项分别趋于 相减得 0。详见 第 23 页。

两个条件各防止什么

条件 2 防止「质量逃走」。 只有条件 1 不够:

  • 尖峰(第 19 页):在 上 几乎处处,但 结论失败。质量挤进越来越窄的区间,最后躲进零测集
  • 滑走的方块(第 1 讲):在 上 处处,但 质量一路滑向无穷远。

两次都是 Fatou 的不等号严格:极限的质量 小于 条件 2 正好排除这种情况。

动手试一试尖峰:条件 1 成立、条件 2 失败

拖动 每一点的值最终变成 0(条件 1 成立),面积却始终是 1,不收敛到极限函数的面积 0(条件 2 失败)。这就是 Scheffé 引理必须要求总质量收敛的原因。

条件 1 防止「质量来回搬家」。 只有条件 2 也不够:

  • 在 上令 并且 条件 2 成立( 在 个完整周期上积分为 0)。
  • 但 不逐点收敛:它在 0 和 2 之间越来越快地振荡。积分误差

对每个 都一样,不趋于 0。这里用了换元 以及 在每个长 的周期上积分为 4。质量总量不变,只是被反复搬来搬去。

非负性防止「正负抵消」。 去掉非负,条件 1、2 都成立也不行:

  • 在 上令 对每个 当 时 又 所以处处收敛到 0;
  • 但 正的尖峰和负的尖峰在总积分里抵消了,掩盖了巨大的误差。

防止「无穷等于无穷」。 在 上令 处处 形式上「总质量收敛」;但 总质量无穷时,「对得上」不包含任何信息。

一般(可正可负)版本

设 是实值可测函数, -a.e.,且 则

证明思路:对非负函数 用 Fatou(三角不等式保证它非负,几乎处处收敛到

消去有限数 得 非负时 就回到定理 16。上面「正负抵消」的反例里 正好不满足这个版本的条件。

Probability densities|概率密度

推论(密度的 Scheffé 引理)

设 都是对 的概率密度(可测、非负、取有限值、记 若 -几乎处处,则

  • 为什么是推论:条件 2 变成「自动成立。所以对密度来说,逐点收敛单独就够了。这和一般函数(尖峰)形成鲜明对比。
  • 尖峰为什么不是反例: 确实是 上的密度(积分为 1),但它的极限 不是密度(积分为 0)。推论要求极限 也是密度:一旦极限的总质量也是 1,就没有质量可以「逃走」。
  • 概率语言:若随机变量 有密度 有密度 且 a.e.,则对所有博雷尔集 同时有 误差有一个与 无关的上界。
  • 常数可以更好:第 24 页 会证明 恰好等于 并找出取到最大误差的事件。

例子

例 1:指数密度 λₙ = 1 + 1/n——把积分误差算出来

令 ( 时都为 0),

条件:都是密度(对每个 (指数函数连续)。推论给出

精确计算:

  1. 交点:(取对数,再用 移项)。
  2. 交点左边
  1. 交点右边 和第 2 步一样大。
  2. 合起来:
交点
1 2
2 1.5 0.811 0.296
10 1.1 0.953 0.070
100 1.01 0.995 0.0073

误差确实趋于 0。第 3 步里「两边一样大」不是巧合:两个密度的总面积都是 1,多出来的必须等于少掉的。这正是 第 24 页 的「正部与负部」。

例 2:离散密度——二项分布逼近泊松分布

取 为计数测度,于是积分就是求和。令 ( 时为 0),这是二项分布 的分布列; 是均值为 1 的泊松分布的分布列。

  • 逐点收敛(微积分事实 这里当作已知结论使用):固定
  • Scheffé:两者都是计数测度下的密度(和为 1),推论给出 数值: 时约 0.059, 时约 0.0056, 时约 0.00055。
  • 含义:对任何整数集合 (比如「偶数」「大于 3」), 都不超过这个和。只验证了每个点的概率收敛,却同时控制了所有事件。
例 3:Scheffé 能用、DCT 不能用

在 上依次排开互不相交的区间 的长度为 (总长 放得下)。令

  • 每个 至多属于一个 所以最终 处处收敛。Scheffé 给出 (直接算也是
  • 但没有可积的控制函数:任何控制函数都 其积分为 DCT 用不上。

推导:一步一步来

从 Fatou 的角度理解定理 16。 设 a.e.

  1. Fatou 总给出 质量最多丢失
  2. 条件 2 说丢失量是 0。
  3. 但「总量没丢」本身只是关于一个数的信息,结论却是关于整个函数的:误差面积 把两者连起来的,是「公共部分」 和下一页的恒等式。

为什么说结论是「一致」的。 对固定的 叫「逐个事件收敛」;而定理给出的是 即同一个 对所有事件同时管用。「条件 1 防止质量搬家」里的 就能说明两者的差别:对每个固定的区间 但取 (随 变化的事件), 始终不变。

常见疑问与易错点

易错点问:Scheffé 引理和控制收敛定理是什么关系?

答:两者都在「几乎处处收敛」之外补一个条件,补的东西不同。DCT 补「共同可积上界」,允许变号;Scheffé 补「总质量收敛」,要求非负。谁也不包含谁:例 3 中 Scheffé 能用、DCT 不能用;对可正可负、被常数 1 控制的函数列,DCT 能用,而非负 Scheffé 不适用。证明上,Scheffé 是借 DCT 完成的(第 23 页)。

易错点问:密度只要逐点收敛就够了,这和尖峰矛盾吗?

答:不矛盾。尖峰的极限 不是密度,总质量从 1 掉到了 0,条件 2 不成立。推论要求极限也是密度。如果只知道 是密度且逐点收敛到某个 由 Fatou 只能得到 必须另外确认

易错点问:为什么定理里要写 ∫f < ∞?

答:因为证明里要从 里做减法,有限才能相减。反例: 上 「成立,误差却恒为 1。对概率密度这一条自动满足。

易错点问:几乎处处收敛和逐点收敛在这里有区别吗?

答:没有实质区别。零测集上改动函数值不影响任何积分(第 43 页),所以只要求在零测集之外收敛。例如 的密度 在点 处收敛到 1,而 的密度 在 1 处是 0;只差一个点,仍是几乎处处收敛,定理照样适用。

小结与自测

小结本页小结
  • 定理 16: 可测, a.e., 从而
  • 条件 2 防止质量逃走(尖峰、滑走的方块);条件 1 防止质量搬家(非负防止正负抵消; 防止
  • 在非负、几乎处处收敛的前提下: 收敛 ⟺ 总质量收敛。
  • 概率密度:总质量都是 1,逐点收敛就推出所有事件概率一致收敛(但极限必须也是密度)。
  • 证明(下一页):对公共部分 用 DCT。
自测

1. 在 上令 验证 是密度且逐点收敛到 (并说明

点开看答案

乘以 得 1,且 所以是密度。对 故 只有 一点例外,长度为 0。 也是密度,由推论

2. 在 上 定理 16 的哪个条件不满足?结论成立吗?

点开看答案

条件 1 满足(每个 在 后 条件 2 不满足:结论也不成立:质量滑向了无穷远。

3. 判断:若 都是 上的概率密度,且除有理数点外 则对每个博雷尔集 都有

点开看答案

正确。有理数可数,长度为 0,所以 几乎处处。由推论,每个 当然都收敛,而且是一致收敛。

本页术语中英对照(按出现顺序)
中文English白话解释
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
几乎处处almost everywhere (a.e.)除了一个测度为 0 的集合之外都成立;零测集上的值不影响积分。
概率密度density满足 P(X ∈ B) = ∫_B f(x) dx 的函数 f;有密度等价于 CDF 绝对连续。
逐点收敛pointwise convergence对定义域里的每一个点 x,数列 fₙ(x) 都收敛到 f(x);这样得到的函数 f 叫逐点极限。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
上界upper bound数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。
测度空间measure space三元组 (S, 𝓜, μ):空间、σ-代数、测度。
勒贝格测度Lebesgue measure实数轴上「长度」的严格版本,定义在勒贝格可测集上,m([a,b]) = b − a。
计数测度counting measureμ(A) = A 中元素的个数(无限集记为 ∞)。在 ℕ 上对它积分就是求和。
元素element集合里的对象。ω ∈ Ω 读作「ω 属于 Ω」。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
零测集null set测度为 0 的集合,例如单点、有理数全体、康托尔集。
有理数rational number能写成分数 p/q 的数,全体有理数记作 ℚ;它们可数,却在数轴上处处稠密。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
可测函数measurable function对每个 a,集合 {f > a} 都可测;这样的函数才能积分。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
Fatou 引理Fatou's lemma非负可测函数列满足 ∫ liminf fₙ ≤ liminf ∫ fₙ(只保证这个方向)。
控制收敛定理dominated convergence theorem (DCT)fₙ → f 几乎处处且 |fₙ| ≤ g、g 可积时,∫fₙ → ∫f。
Scheffé 引理Scheffé's lemma非负可积的 fₙ → f 几乎处处,且 ∫fₙ → ∫f < ∞,则 ∫|fₙ − f| → 0。概率密度逐点收敛,分布就在全变差意义下收敛。
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
三角不等式triangle inequality|a + b| ≤ |a| + |b|:分两段走的总路程不会比直接走更短。推广有 |∫f| ≤ ∫|f|、E|X + Y| ≤ E|X| + E|Y|,以及 Lᵖ 范数的 Minkowski 不等式。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
博雷尔 σ-代数Borel sigma-algebra由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。
正部positive / negative partf⁺ = max(f, 0),f⁻ = max(−f, 0),f = f⁺ − f⁻,|f| = f⁺ + f⁻。
集合set把一些对象放在一起当成一个整体,例如 {1,2,3}。
两两不交pairwise disjoint一列集合中任意两个都没有公共元素,对应「任意两件事不会同时发生」。
一致收敛uniform convergence所有点上的最大差距 supₓ |fₙ(x) − f(x)| → 0。比逐点收敛强:不允许某些点收敛得特别慢。