高等概率论逐页精讲

第 3 讲 Borel–Cantelli、收敛与 Radon–Nikodym›补充

PDF 第 47 / 47 页幻灯片 47/49证明

补充:差商的积分、Fatou 引理与严格不等号

Supplement: the integral bound and strict inequality

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

两步完成上一页的例 24。第一步精确算出差商的积分:第二步用 Fatou 引理得到 最后用跳跃函数和康托尔函数说明不等号可以严格:导数「看不见」跳跃和奇异的增长。

  • 接着上一页:第 46 页 定义了延拓后的差商 证明了它非负、可测、几乎处处收敛到
  • 两个小标题:Integral of the difference quotient(差商的积分)和 Fatou and strict inequality(Fatou 与严格不等号),分别对应上面的两步。
  • 这一页是第 3 讲最后一页,末尾附有第 3 讲的回顾;下一讲从 第 1 页 开始。

先补基础

基础补课平移换元

令 则 从 0 走到 1 时, 从 走到 所以

直观上:把函数图像向左平移 再在 上看,相当于原函数在 上的面积。

基础补课区间可加

对 两个积分区间有公共部分时,相减就能把公共部分消掉,只剩两端。

基础补课用单调性估计小区间上的积分

单调不减时,在区间 上 所以

即区间上的平均值 夹在两端的函数值之间。

基础补课单调函数的右极限

单调不减的函数在每一点都有右极限 并且 两者不相等,说明 在 0 处向上跳了一下。

课件原文逐句精读

课件原文Supplement: the integral bound and strict inequality

Integral of the difference quotient(留白)

Fatou and strict inequality(留白)

中文翻译

蓝条标题:补充:积分上界与严格不等式。

差商的积分(课件留白)

Fatou 引理与严格不等号(课件留白)

(两部分内容见下一节。)

  • integral bound:积分的上界,指
  • strict inequality:严格不等号 即等号确实可能不成立。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

Integral of the difference quotient|差商的积分

命题差商积分的精确公式

对每个

并且 时

推导证明思路

把 拆成两项分别积分,第一项平移换元。两个积分区间 和 的公共部分抵消,只剩右端一小段减左端一小段。右端那段落在延拓区域里, 是常数;左端那段用单调性估计。

先说明积分都有意义: 在 上单调、有界(夹在 和 之间),不连续点至多可数,所以黎曼可积,黎曼积分与勒贝格积分相等(第 1 讲 第 27 页)。

上界:由「先补基础」的单调性估计,所以

极限: 是 在 上的平均值。区间左端点这一个点不影响积分,而在 上 所以这个平均值夹在 和 之间。 时 所以平均值趋于 从而

图解:一个「伸缩相消」的公式

是 上每一点「向右看 的增长量」的平均(乘了 把它写成两块面积之差:

  • 第一块: 在 上的面积(图像整体向左挪了
  • 第二块: 在 上的面积。

两块的绝大部分 重合、互相抵消,只剩右端多出的一条 和左端少掉的一条 每条宽 乘以 就是两端的平均高度之差:右端平均高度是 左端平均高度约为 这和离散求和里的「伸缩相消」 是同一个道理。

Fatou and strict inequality|Fatou 引理与严格不等号

定理结论:导数的积分不超过总增量

可积,并且

证明:由 第 46 页, 可测且几乎处处 所以几乎处处 由 Fatou 引理(第 1 讲 第 41 页),

最后一个等号用了上一小节算出的极限。右边有限,所以 可积。

用概率的语言: 在 上均匀分布,这正是 Fatou 引理的期望形式。

不等号会在哪里「丢」东西?上面的链条里有两个

  1. Fatou 那一步:原因是质量集中到零测集上,在极限中消失,如例 2 的尖峰、例 4 的康托尔函数。
  2. 最后一步:即 在左端点 0 处有跳跃。差商的窗口都在点的右边,任何 都「看不见」0 处的跳跃,见例 3。
动手试一试尖峰:跳跃函数的差商就是它

例 2 中跳跃函数 的差商 是一个宽 高 的矩形,和这个演示里的 形状完全相同,只是位置挪到了 左边。拖动 面积 一直是 1,而每一点最终都是 0,所以 这就是 Fatou 不等号严格的情形。

例子

例 1:等号成立——f(x) = x²

由公式,

  • 每个 都 并且
  • 而 所以 处处取等号。
  • 原因: 被常数 2 压住(第 46 页 例 1),控制收敛定理把 Fatou 的 升级成了
例 2:Fatou 那一步严格——中间的跳跃 f = 𝟏[1/2,1]
  • ( 时 上
  • 几乎处处,
  • 链条:丢失发生在 Fatou 这一步:质量 1 全部集中在跳跃点 左边的尖峰里,尖峰越来越窄,极限中消失了。
例 3:最后一步严格——左端点的跳跃

令 (它单调不减,在 上导数为 0。

  • 对每个 成立。
  • 所以 Fatou 这一步取等号:
  • 但 丢失发生在最后一步:0 处的跳跃在每个差商窗口的左边,没有任何 看得见它。
例 4:连续函数也可以严格——康托尔函数

康托尔函数 连续(所以 几乎处处,

  • 公式给出 在 上 所以 例如 时 故
  • 而 链条:丢失全部发生在 Fatou 这一步。
  • 和例 2 的区别:这里没有任何跳跃,增长被「抹」在长度为 0 的康托尔集上,差商的质量分散在越来越多、越来越细的小区间里。
了解更多:丢掉的增量到底是什么

把单调不减的 看成 CDF 那样的「增长记录」: 是区间 上的增长量。由第 2 讲 第 20 页 的分解,总增长可以分成三类:

类型 例子 导数能看见吗
绝对连续部分 的增长 能:这部分的增长恰好等于
跳跃部分 在 处的跳跃 不能:跳跃点处不可导,别处导数为 0
奇异连续部分 康托尔函数 不能:增长集中在零测集上

所以(当 右连续时)

等号成立当且仅当 绝对连续(第 2 讲 第 17 页)。这也是 Radon–Nikodym 定理(第 27 页)的一个具体例子:「绝对连续部分」才有密度,密度就是导数。

常见疑问与易错点

易错点问:为什么不直接用微积分基本定理?

答:微积分基本定理 要求 足够好,例如 连续,或者 绝对连续。一般的单调函数可以有跳跃(例 2、例 3),也可以像康托尔函数那样连续却「偷偷」增长(例 4),这时等号确实不成立。所以这里只能证明不等号,正如课件标题所说:only an inequality is justified。

易错点问:既然 ∫ gₙ → f(1) − f(0+) 存在极限,为什么还要用 liminf?

答:Fatou 引理的标准形式用 因为一般情况下 不一定收敛。这里恰好算出了极限, 就等于这个极限,写成 也对。

易错点问:这个结论在概率里有什么用?

答:CDF 就是单调不减的函数。把 换成一个随机变量的 CDF 结论就是:密度 的积分可能小于真实概率,缺掉的正是离散和奇异部分的质量。只有当分布绝对连续(有密度)时,才能放心地用 来算概率(第 2 讲 第 17 页)。

第 3 讲回顾

小结第 3 讲六个部分串起来
  1. Borel–Cantelli(第 3 页–第 8 页):「无穷多次」与「最终总是」; ⇒ 只发生有限次(第一引理);独立且 ⇒ 发生无穷多次(第二引理)。
  2. 随机变量的收敛(第 9 页–第 18 页):几乎必然收敛与误差事件;偏差概率可求和 ⇒ 几乎必然收敛;几乎必然 ⇒ 依概率,反之不成立(打字机序列);子列判别法;连续映射定理。
  3. 期望与密度的收敛(第 19 页–第 25 页):逐点收敛推不出期望收敛(尖峰);依概率收敛下的控制收敛;Scheffé 引理;密度收敛 ⇒ 事件概率一致收敛。
  4. Radon–Nikodym 与换测度(第 26 页–第 35 页):绝对连续与密度;Radon–Nikodym 定理及唯一性;换测度下的期望公式;链式法则与倒数密度。
  5. 抽样中的应用(第 36 页–第 45 页):无偏估计的方差可以无穷;重要性抽样怎样选密度;高斯换测度;稀有事件抽样及其方差改进。
  6. 补充(第 46 页–第 47 页):Fatou 引理给出 不等号可以严格。

三讲连起来看:第 1 讲建立测度与积分,以及 MCT、Fatou、DCT 这些「交换极限与积分」的工具;第 2 讲把它们翻译成随机变量、期望和不等式;第 3 讲研究无穷多个随机变量的极限行为,以及如何更换概率测度。回头复习时,可以从各讲的总结页开始:第 47 页、第 32 页。

下一讲(第 1 页):第 3 讲一直默认「独立的样本」存在。第 4 讲构造多个随机变量共同的乘积空间(乘积测度),学会用 Fubini–Tonelli 定理交换积分顺序,并给出「独立」的严格定义。

小结与自测

小结本页小结
  • 差商积分的精确公式:并且
  • Fatou:所以 可积。
  • 两处可能「丢」:Fatou 一步(尖峰、康托尔函数)和左端点的跳跃。
  • 等号成立当且仅当 绝对连续;导数只看得见绝对连续部分的增长。
自测

1. 对 用本页的公式算出 第 1 讲板书的做法得到的是 (第 42 页 自测第 2 题),两者为什么不同? 时呢?

点开看答案

板书的做法在最后一段 上令 得到 这里用常数延拓,最后一段上 还贡献了 合计 两种做法都 并且 时都趋于

2. 令 (两个跳跃,各高 1)。 和 各是多少?

点开看答案

几乎处处,所以 缺掉的 2 正是两个跳跃的高度之和。

3. 设 的 CDF 是 且 其余一半质量在 上均匀分布。 是多少?为什么不等于

点开看答案

几乎处处等于密度部分: 上为 其余为 0(0 处的跳跃不可导)。所以 缺掉的 是 0 处原子的质量(跳跃),导数看不见它。

本页术语中英对照(按出现顺序)
中文English白话解释
Fatou 引理Fatou's lemma非负可测函数列满足 ∫ liminf fₙ ≤ liminf ∫ fₙ(只保证这个方向)。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
几乎处处almost everywhere (a.e.)除了一个测度为 0 的集合之外都成立;零测集上的值不影响积分。
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
单调递增nondecreasing后一项不小于前一项;单调有界的数列一定有极限。
右极限right limit自变量从右边(比 x 大的一侧)靠近 x 时,函数值趋向的数,记作 f(x+)。分布函数总是右连续的:F(x+) = F(x)。
上界upper bound数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。
勒贝格积分Lebesgue integral按函数值分块的积分:先定义简单函数的积分,再用下方的简单函数逼近取上确界。
黎曼积分Riemann integral大一学的定积分:按 x 轴切竖条求和取极限。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
零测集null set测度为 0 的集合,例如单点、有理数全体、康托尔集。
控制收敛定理dominated convergence theorem (DCT)fₙ → f 几乎处处且 |fₙ| ≤ g、g 可积时,∫fₙ → ∫f。
康托尔集Cantor set反复挖掉中间三分之一得到的集合:不可数,但长度为 0。
累积分布函数cumulative distribution function (CDF)F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。
绝对连续absolute continuity函数版:小区间总长很小时增量总和也很小;测度版:Q ≪ P,P 为零的事件 Q 也为零。
奇异连续分布singular continuous distribution没有原子(每一点的概率都是 0),却没有密度的分布:全部质量集中在一个长度为 0 的集合上,例如康托尔分布。
当且仅当if and only if (iff)「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。
Radon–Nikodym 导数Radon–Nikodym derivativeQ ≪ P 时存在 L = dQ/dP ≥ 0,使 Q(A) = ∫_A L dP;它是「换测度的密度」。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
独立independence任意有限个事件同时发生的概率等于各自概率的乘积。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
打字机序列typewriter sequence在 [0,1) 上从左到右一遍遍扫过、越来越窄的小区间的示性函数列:依概率收敛到 0,却在每一点都不收敛。
偏差概率deviation probabilityXₙ 和目标 X 相差超过 ε 的概率 P(|Xₙ − X| > ε)。它趋于 0 就是依概率收敛;对每个 ε 它都可求和时,由 Borel–Cantelli 引理可推出几乎必然收敛。
可求和summable非负数列的级数和有限:Σ aₙ < ∞。例如 Σ 1/n² 可求和,Σ 1/n 不可求和(和是 +∞)。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
子列subsequence从一个数列里按顺序挑出无穷多项组成的新数列。
Scheffé 引理Scheffé's lemma非负可积的 fₙ → f 几乎处处,且 ∫fₙ → ∫f < ∞,则 ∫|fₙ − f| → 0。概率密度逐点收敛,分布就在全变差意义下收敛。
依概率收敛convergence in probability对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。
逐点收敛pointwise convergence对定义域里的每一个点 x,数列 fₙ(x) 都收敛到 f(x);这样得到的函数 f 叫逐点极限。
一致收敛uniform convergence所有点上的最大差距 supₓ |fₙ(x) − f(x)| → 0。比逐点收敛强:不允许某些点收敛得特别慢。
换测度change of measure用 E_Q[X] = E_P[X · dQ/dP] 在两个概率之间换算期望。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
重要性抽样importance sampling从另一个更合适的分布抽样,再乘以权重纠正,从而减小估计的方差。
方差varianceVar X = E[(X − E X)²],衡量随机变量围绕均值的波动大小。
概率测度probability measure总质量 P(Ω) = 1 的测度。
单调收敛定理monotone convergence theorem (MCT)非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。
Tonelli 定理Tonelli's theoremf 非负可测、两个测度 σ-有限时,二重积分等于两种顺序的累次积分,三者可以同时为 ∞。
乘积空间product space笛卡尔积 Ω₁ × Ω₂,配上乘积 σ-代数(以及乘积测度)。
乘积测度product measure在每个可测矩形上取 μ₁(A₁)μ₂(A₂) 的唯一测度(σ-有限时)。平面面积就是长度 × 长度的乘积测度。