高等概率论逐页精讲

作业 2 收敛方式、大数定律、中心极限定理与鞅›收敛方式

第 1 题 / 共 12 题解答原页 第 1 页证明题

几乎必然收敛 + 范数收敛 ⇒ Lᵖ 收敛(Fatou 引理的「减法技巧」)

a.s. convergence plus convergence of norms gives Lp convergence

解答原页第 1 页(本题所在部分)
解答原页第 1 页(本题部分)· 点击图片看整页

这道题在问什么

人话版一句话版

几乎必然,只说明「每个样本点上的误差最终趋于 0」,并不说明「平均误差」 趋于 0:质量可能像尖峰那样从一个零概率集逃走。本题说:只要再知道总量对得上,即 质量就无处可逃,于是 证明只用 Fatou 引理,关键一步是对「上界减去误差」这个非负量用 Fatou。 且 的情形就是 Scheffé 引理(第 3 讲 第 22 页); 而 可正可负时,本题是它的推广。

  • 考点:几乎必然收敛与 收敛的关系;Fatou 引理的标准用法(用它得到上界);凸函数给出的初等不等式。
  • 要用的讲义结论: 空间(第 2 讲 第 22 页);凸函数与 Jensen 不等式(第 2 讲 第 23 页、第 24 页);上极限与下极限(第 1 讲 第 40 页);Fatou 引理(第 1 讲 第 41 页);尖峰反例(第 3 讲 第 19 页);Scheffé 引理及其证明(第 3 讲 第 22 页、第 23 页)。
  • 与其他题的关系:
    • 小测 1 第 3 题 正是本题 的情形;
    • 小测 1 第 2 题「用 Fatou 引理证明控制收敛定理」用的是同一个减法技巧;
    • 作业 1 第 10 题(控制函数也可以变的控制收敛定理)可以一步推出本题(见「拓展延伸」);
    • 本作业 第 3 题 接着讨论 收敛下乘积的收敛。

先补基础

基础补课Lᵖ 空间、Lᵖ 范数与 Lᵖ 收敛
  • 定义(第 2 讲 第 22 页):设 随机变量 的 范数是 读作「 的 -范数」。(「 是 可积的」)指
  • 例: 在 上均匀分布,所以
  • 收敛: in 指 等价于 (开 次方不改变「趋于 0」)。 叫平均收敛, 叫均方收敛。
  • 范数收敛: 等价于 理由: 与 都是 上的连续函数,连续函数把收敛的数列映成收敛的数列。
  • 易混:「范数收敛」只比较两个数 和 「 收敛」比较的是两个随机变量之差的大小。前者弱得多: 与 范数相同,却可能相差很远。
基础补课几乎必然收敛(回顾)

几乎必然(a.s.)指 (第 3 讲 第 9 页)。例:在 (长度作概率)上, 对每个 都趋于 0,只在 处趋于 1。单点概率为 0,所以 几乎必然。

本题假设 取实数值(不取 这样 处处有定义。

基础补课上极限、下极限的两条运算规则

对实数列 (第 1 讲 第 40 页)。它们总存在(可以是 且 存在当且仅当两者相等。本题要用:

  1. :把数列取负号,「最小的聚点」变成「最大的聚点」的相反数。
  2. 若 (有限),则 :收敛的部分可以直接拿出来。
  3. 合起来: 有限时,

例: 为偶数时 为奇数时 所以 而 两边一致。

  1. 若 且 则 :因为 上下极限都等于 0。
基础补课Fatou 引理:它只给「下界」

Fatou 引理(第 1 讲 第 41 页):若 可测,则

若 几乎必然,左边就是 取极限时期望只会丢,不会多。

  • 它只要求非负,不要求单调,也不要求可积的上界。
  • 不等号可以严格:尖峰 在 上几乎处处趋于 0,于是 (第 3 讲 第 19 页)。
  • 怎么用它得到上界:Fatou 天然给的是「极限的期望 期望的下极限」这种下界。想证明某个 很小时,就找一个期望已知的上界 对非负量 用 Fatou,再把已知部分减掉。这叫「减法技巧」,本题的全部内容就是它。
基础补课一个初等不等式:|a − b|ᵖ ≤ 2ᵖ⁻¹(|a|ᵖ + |b|ᵖ)

凸函数:函数 的图像上任取两点连一条弦,弦总不在图像下方(可以重合,例如直线),就叫凸函数。取两个端点的中点,得到

时 在 上是凸的:二阶导数 (图像向上弯。这也是 Jensen 不等式(第 2 讲 第 24 页)对「各以概率 取 的两点分布的特例。

推导:对 两边乘 得 再由三角不等式 和 递增:

  • 检验 : 等价于 成立。
  • 常数 是最好的:取 左边 右边 等号成立,常数不能再小。 时常数为 1,就是三角不等式。

题目与原解答

课件原文题目

Let is the probability space, and is a measurable space. Questions are testing: Modes of convergence, LLN, CLT and discrete martingale applications. But you may still need Borel-Cantelli's and convergence theorems and inequalities to finish the questions.

1. If a sequence of integrable functions a.s., the random variable is also integrable with . Moreover, if holds true, then then in , i.e. .

中文翻译

设 是概率空间, 是测度空间。本次作业考查:收敛方式、大数定律(LLN)、中心极限定理(CLT)和离散鞅的应用;但你可能仍要用到 Borel–Cantelli 引理、收敛定理和各种不等式。

1. 设 可积的随机变量序列 几乎必然,且 也是 可积的。若进一步有 则 in 即

题面的几处笔误:

  • 「Let … is」应为「Let … be」;「 is a measurable space」应为 measure space(测度空间):可测空间只有 没有测度
  • 「then then」多写了一个 then。
  • 第一句「the random variable is also integrable」有歧义。若当作结论,单凭「 a.s.」推不出来(反例见例 4);它应当读作假设,或者读作「在后面的范数条件下 自动属于 后者由 Fatou 引理一行证明(完整解答第 1 步)。

原解答的思路(左栏):

  1. 把 截断成 用不等式把 拆成「和「两段。
  2. 声称 a.s.,于是「只需 a.s.」。
  3. 计算 用 MCT 说后一项趋于 再引用范数收敛结束。

「尾部 + 主体」的拆分方向可以修好,但原文有四处错误,而且真正困难的一步(主体部分的收敛)没有证明,见「原解答逐行对照」。

思路:怎么想到的

  1. 目标与已知:要证 已知 几乎必然,问题是「逐点收敛」能否升级成「期望收敛」。
  2. 控制收敛定理用不上:DCT(第 1 讲 第 44 页)要一个不依赖 的可积上界 题目没有给,尖峰例子说明一般也不存在。
  3. 只剩 Fatou,但它只给下界:直接对 用 Fatou,得到 毫无用处。
  4. 减法技巧:找一个随 变化、但期望已知会收敛的上界 对 用 Fatou。自然的选择是初等不等式给出的

它几乎必然收敛到 期望由题目假设收敛到 极限的期望与期望的极限恰好相等。Fatou 的「最多丢掉多少」于是被逼成 0,丢掉的正是

这个技巧和 小测 1 第 2 题 用 Fatou 证明 DCT 完全一样,只是那里上界 固定,这里上界 在变,但期望收敛。

完整解答

定理命题(几乎必然收敛 + 范数收敛 ⇒ Lᵖ 收敛)

设 几乎必然( 取实数值)。

  1. 若 则 且
  2. 若 则
推导证明思路

第 1 条直接对 用 Fatou。第 2 条对非负量 用 Fatou,算出 与 比较,把有限数 消掉。

第 1 步(: 连续,所以 几乎必然。由 Fatou 引理,

两边开 次方( 连续递增,与 可交换)得 第 2 条的假设 蕴含第 1 条的假设,所以在第 2 条里 是自动的。

第 2 步(逐点的上界):由「先补基础」的初等不等式(对每个

取期望:所以 下面出现的三个期望都是有限数。

第 3 步(构造非负量):令

由第 2 步,它是可测函数的和差,可测。

第 4 步( 的极限):在 成立的样本点上,所以

第 5 步(Fatou):

第 6 步(算出右边):三个期望都有限,可以用期望的线性(第 1 讲 第 43 页):

由假设和「先补基础」,所以 (有限)。由上下极限的运算规则 3,

第 7 步(消去):代回第 5 步:

是有限实数(第 1 步),两边同时减去它,得 又 由规则 4,即

每个假设用在哪里:

假设 用在
第 2 步的凸性不等式( 时常数要换,见拓展)
几乎必然 第 4 步求 的极限
范数收敛 即 第 6 步求 的极限
第 7 步消去两边的有限数

原解答逐行对照

第 1 行:加一项减一项是对的,但常数错了。

易错点原解答的问题:常数 2^{p/2} 应为 2^{p−1}

时 不等式不成立。反例:两项都等于 1,左边 原解答的右边 正确的常数是 (凸性,见「先补基础」),它对所有 成立,而且是最好的。 时 原式碰巧成立,但只是更松的界。

第 2 行:then a.s.

易错点原解答的问题:「X̂ₙ = Xₙ a.s.」不对

对固定的 只在 上成立;若 (题目没有排除),两者就不是几乎必然相等。正确的说法是:对几乎每个 当 足够大时 。理由:在 的点上,收敛数列有界,于是 时 由此得到 几乎必然,以及 几乎必然。

第 3 行:「so we only need to find some s.t. a.s.」

易错点原解答的问题:这个「化归」不成立

要让第 1 行右边的期望趋于 0,需要两件事: 和 「 几乎必然」只是逐点收敛,推不出期望收敛,而这恰恰是本题要解决的问题本身。

第 4 行:

易错点原解答的问题:左边应为 ∫|Xₙ − X̂ₙ|ᵖ

所以 而 里含有 不可能等于只含 的式子。原解答把「尾部」和「主体」两段弄混了。第二个等号是对的(可以相减)。

第 5 行:「Then by MCT,

易错点原解答的问题:MCT 用不上,结论要靠 Fatou + 范数条件

单调收敛定理要求被积函数随 单调递增。 随 变化时, 本身也在变,没有任何单调性。等式本身是对的,正确理由是两边夹:

  • 下界:被积函数非负,且由第 2 行的修正几乎必然收敛到 Fatou 给出
  • 上界:所以

于是极限等于 代回第 4 行得 尾部这一段被正确处理了。

第 6 行:「So by , we get the desired result.」

易错点原解答的问题:主体部分 E|X̂ₙ − X|ᵖ → 0 从未证明

被截断在 以下,可截断水平 所以 仍然没有共同的上界;它满足的条件(几乎必然收敛到 和原来的 完全一样。证明 与原题一样难,原解答在这里是循环论证。改正:用「完整解答」的 Fatou 证明;或者把截断水平固定下来,见下面的「更多细节」。

把原解答的截断思路修好:截断水平固定为 M

原解答的问题在于截断水平随 变大。改为固定 并用连续的截断 (把 夹到 里)。它有三条性质:

  1. 连续,
  2. ( 时为 0,否则为超出的部分);
  3. 时,由 (取 即得。

由 Minkowski 不等式(第 2 讲 第 27 页),

  • 主体:由性质 1, 几乎必然,且差的 次方不超过 概率空间总测度为 1,有界收敛定理(第 1 讲 第 46 页)给出主体
  • 尾部:由性质 2、3,(第一项用范数假设,第二项又是有界收敛)。第三项同样不超过

所以对每个 令 由 MCT 与 右边

这就是「尾部 + 主体」的正确写法:主体靠固定的界 用有界收敛,尾部靠范数条件统一地变小。

例子与数值验证

例 1:常数 2^{p/2} 为什么不行

取 比较 与两个候选上界(

1 2 2.83 2
2 4 4 4
3 8 5.66 8
4 16 8 16

时 版本的「上界」比左边还小,不等式错误; 版本处处成立且取等号。

例 2:没有范数条件就不行(尖峰)

在 上取

  • 对每个 后 所以 几乎必然。
  • 即 不趋于 范数条件失败。
  • 结论也失败:
  • Fatou 的不等号严格:丢掉的质量 1 正好是
例 3:没有几乎必然收敛也不行(范数相等不等于接近)

在 上令 ( 奇数),( 偶数)。每个 都有 可 为偶数时 这里每个 上 在 0、1 之间来回跳,不收敛,题目的第一个假设不成立。

例 4:「X ∈ Lᵖ」不能单凭几乎必然收敛得到

设 服从标准 Cauchy 分布,密度 令

  • 所以每个 属于所有 对每个 后 所以 处处成立。
  • 但 时约 1.47, 时约 4.40,趋于
  • 这和命题第 1 条一致:Fatou 给不出有限的上界。
例 5:正面应用——t 分布的密度收敛到正态密度(p = 1)

本命题的证明只用了 Fatou,对一般测度空间同样成立。取 为自由度 的 分布密度, 为标准正态密度。

  • 逐点收敛:归一化常数也收敛到
  • 范数收敛:自动成立。
  • 结论:于是对每个博雷尔集 一致地趋于 0。

用 Python 数值积分算出的

1 2 5 10 30 100
0.502 0.284 0.122 0.0622 0.0210 0.0063

这正是统计里「自由度 30 以上 分布可以用正态近似」的严格版本。

拓展延伸

逆命题也成立:几乎必然收敛时,Lᵖ 收敛 ⇔ 范数收敛

Minkowski 不等式(第 2 讲 第 27 页)给出反向三角不等式 所以 收敛总是推出范数收敛(不需要几乎必然收敛)。结合本题:在 几乎必然、 的前提下,

时这就是 小测 1 第 3 题 的「当且仅当」,也是第 3 讲 第 22 页 的 Scheffé 引理(非负的情形)。

几乎必然收敛可以换成依概率收敛

若 依概率、结论仍成立。理由(子列论证):任取一个子列,由子列判别法(第 3 讲 第 16 页)可以再抽出子子列几乎必然收敛到 它的范数仍然收敛,由本题,沿这个子子列 实数列 的「每个子列都有趋于 0 的子子列」,所以 (否则有 和一个子列使 它的子子列不可能趋于 0)。

0 < p < 1 的情形

时 是凹的,有更好的不等式 (常数为 1)。把第 3 步换成 证明一字不改,得到 只是此时 不满足三角不等式,不再是范数。

与作业 1 第 10 题(变动的控制函数)的关系

作业 1 第 10 题 的推广控制收敛定理:若 几乎处处,且 则 取 立即得到 那道题的证明本身就是对 用 Fatou,和这里的第 3–7 步是同一个论证。

一致可积与 Vitali 收敛定理(这里作为已知结论介绍)

一致可积(uniformly integrable):意思是「所有 的尾部质量一致地小」。尖峰 不是一致可积的: 时

定理(Durrett《Probability: Theory and Examples》第 5 版第 4.6 节):设每个 若 依概率,则下面三条等价:(i) 一致可积;(ii) in (iii) 本题(就是 (iii) ⇒ (ii)。对 有完全平行的 版本。「更多细节」里修好的截断证明,本质上就是在证明 一致可积。

更强的结论:Brezis–Lieb 引理

若 几乎必然且 (则

它把「Fatou 丢掉的质量」精确算了出来:丢掉的恰好是 本题是它的推论: 时,丢掉的部分只能是 0。(这里只介绍,不证明。)

常见疑问与易错点

易错点问:为什么不能直接对 |Xₙ − X|ᵖ 用 Fatou?

答:Fatou 给出 左边是 结论只是 是下界,而我们要的是上界。必须先把目标放进一个「已知期望的上界」里,对差用 Fatou,负号把下界翻成上界。

易错点问:第 7 步为什么一定要 E|X|ᵖ < ∞?

答:要从 推出 需要把 从两边减掉,这只对有限的 合法。若 这一行变成 什么也推不出。好在第 1 步说明,在范数条件下 自动有限。

易错点问:「‖Xₙ‖ₚ → ‖X‖ₚ」和「E|Xₙ|ᵖ → E|X|ᵖ」是一回事吗?

答:是。连续函数 和它的反函数 把一个收敛数列互相转换。证明里用后一种写法更方便,因为期望是线性的,范数不是。

易错点问:这道题和 Scheffé 引理有什么区别?

答: 时几乎一样。第 3 讲 第 22 页 的 Scheffé 引理要求 证明用 和控制收敛;本题允许 有正有负,因为我们比较的是 的积分。对非负函数,两者完全重合。

小结与自测

小结本题小结
  • 结论: 几乎必然、( ⇒ 反过来 收敛总推出范数收敛。
  • 证明:初等不等式 给出非负量 对 用 Fatou,再消掉有限数
  • 减法技巧:Fatou 只给下界;想要上界,就对「期望已知的上界 − 目标」用 Fatou。
  • 三个条件缺一不可:没有范数条件(尖峰),没有几乎必然收敛(来回跳的示性函数),(无法消去)。
  • 原解答:常数应为 不是几乎必然成立;MCT 不适用;主体部分 从未证明。
自测

1. 判断:若 几乎必然,则

点开看答案

正确。由本题(再由 的单调性(第 2 讲 第 25 页)或 Cauchy–Schwarz,

2. 填空:使 对所有实数 成立的最小常数 ____。

点开看答案

取 所以 凸性说明 足够。原解答的 不够。

3. 举例:给出 上的 几乎必然,使 对所有 成立。本题的哪个条件失败了?

点开看答案

而极限 的范数是 0,范数条件 失败,结论 也失败。

本页术语中英对照(按出现顺序)
中文English白话解释
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
样本点sample point一个完整的结局 ω;每次试验恰好实现一个样本点。
Fatou 引理Fatou's lemma非负可测函数列满足 ∫ liminf fₙ ≤ liminf ∫ fₙ(只保证这个方向)。
上界upper bound数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。
Scheffé 引理Scheffé's lemma非负可积的 fₙ → f 几乎处处,且 ∫fₙ → ∫f < ∞,则 ∫|fₙ − f| → 0。概率密度逐点收敛,分布就在全变差意义下收敛。
凸函数convex function图像上任意两点连线都在图像上方的函数,例如 x²、eˣ。
Jensen 不等式Jensen's inequalityφ 凸时 φ(E X) ≤ E φ(X),例如 (E X)² ≤ E X²。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
上极限limit superior (lim sup)数列「尾部的最大可能值」的极限;对集合则表示「发生无穷多次」。
下极限limit inferior (lim inf)数列「尾部的最小可能值」的极限;对集合则表示「从某一项起一直发生」。
控制收敛定理dominated convergence theorem (DCT)fₙ → f 几乎处处且 |fₙ| ≤ g、g 可积时,∫fₙ → ∫f。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
当且仅当if and only if (iff)「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
几乎处处almost everywhere (a.e.)除了一个测度为 0 的集合之外都成立;零测集上的值不影响积分。
下界lower bound数集 A 的下界是一个数 m,A 里每个数都 ≥ m。例如 0 和 −3 都是 (0,1] 的下界;所有下界中最大的那个叫下确界。
三角不等式triangle inequality|a + b| ≤ |a| + |b|:分两段走的总路程不会比直接走更短。推广有 |∫f| ≤ ∫|f|、E|X + Y| ≤ E|X| + E|Y|,以及 Lᵖ 范数的 Minkowski 不等式。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
Borel–Cantelli 引理Borel–Cantelli lemma概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。
中心极限定理central limit theorem (CLT)独立同分布、方差 σ² 有限时,(Sₙ − nμ)/(σ√n) 依分布收敛到标准正态分布:大量独立小误差之和近似正态。
测度空间measure space三元组 (S, 𝓜, μ):空间、σ-代数、测度。
鞅martingale适应、可积且 E[Xₙ₊₁ | 𝓕ₙ] = Xₙ 的随机过程:公平游戏,已知过去时对下一步的最佳猜测就是现在的值。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
可测空间measurable space一个集合加上它上面的一个 σ-代数,例如 (Ω, 𝓕);还没有给出测度。
单调收敛定理monotone convergence theorem (MCT)非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。
逐点收敛pointwise convergence对定义域里的每一个点 x,数列 fₙ(x) 都收敛到 f(x);这样得到的函数 f 叫逐点极限。
可测函数measurable function对每个 a,集合 {f > a} 都可测;这样的函数才能积分。
单调递增nondecreasing后一项不小于前一项;单调有界的数列一定有极限。
有界收敛定理bounded convergence theorem (BCT)有限测度上一致有界、几乎处处收敛的函数列,积分收敛;是 DCT 的特例。
博雷尔 σ-代数Borel sigma-algebra由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。
反向三角不等式reverse triangle inequality| |a| − |b| | ≤ |a − b|:两个数的绝对值之差不超过它们的距离。常用来从「fₙ 接近 f」推出「|fₙ| 接近 |f|」。
子列subsequence从一个数列里按顺序挑出无穷多项组成的新数列。
一致可积uniformly integrable (UI)一族随机变量的尾部期望一致地变小:supₜ E[|Xₜ|; |Xₜ| > λ] → 0(λ → ∞)。它是「依概率收敛 ⇒ 期望收敛」的关键条件。
反函数inverse functionf 把不同的输入送到不同的输出时,反函数 f⁻¹ 把输出送回原来的输入:f⁻¹(f(x)) = x。例:ln 是 eˣ 的反函数。注意:集合的原像 f⁻¹(D) 不需要反函数存在。
示性函数indicator function𝟏_A(x) 在 x ∈ A 时取 1,否则取 0;它的积分就是 A 的测度。
柯西–施瓦茨不等式Cauchy–Schwarz inequalityE|XY| ≤ √(E X²) · √(E Y²):Hölder 不等式取 p = q = 2 的特例。