这道题在问什么
几乎必然,只说明「每个样本点上的误差最终趋于 0」,并不说明「平均误差」 趋于 0:质量可能像尖峰那样从一个零概率集逃走。本题说:只要再知道总量对得上,即 质量就无处可逃,于是 证明只用 Fatou 引理,关键一步是对「上界减去误差」这个非负量用 Fatou。 且 的情形就是 Scheffé 引理(第 3 讲 第 22 页); 而 可正可负时,本题是它的推广。
- 考点:几乎必然收敛与 收敛的关系;Fatou 引理的标准用法(用它得到上界);凸函数给出的初等不等式。
- 要用的讲义结论: 空间(第 2 讲 第 22 页);凸函数与 Jensen 不等式(第 2 讲 第 23 页、第 24 页);上极限与下极限(第 1 讲 第 40 页);Fatou 引理(第 1 讲 第 41 页);尖峰反例(第 3 讲 第 19 页);Scheffé 引理及其证明(第 3 讲 第 22 页、第 23 页)。
- 与其他题的关系:
- 小测 1 第 3 题 正是本题 的情形;
- 小测 1 第 2 题「用 Fatou 引理证明控制收敛定理」用的是同一个减法技巧;
- 作业 1 第 10 题(控制函数也可以变的控制收敛定理)可以一步推出本题(见「拓展延伸」);
- 本作业 第 3 题 接着讨论 收敛下乘积的收敛。
先补基础
- 定义(第 2 讲 第 22 页):设 随机变量 的 范数是 读作「 的 -范数」。(「 是 可积的」)指
- 例: 在 上均匀分布,所以
- 收敛: in 指 等价于 (开 次方不改变「趋于 0」)。 叫平均收敛, 叫均方收敛。
- 范数收敛: 等价于 理由: 与 都是 上的连续函数,连续函数把收敛的数列映成收敛的数列。
- 易混:「范数收敛」只比较两个数 和 「 收敛」比较的是两个随机变量之差的大小。前者弱得多: 与 范数相同,却可能相差很远。
几乎必然(a.s.)指 (第 3 讲 第 9 页)。例:在 (长度作概率)上, 对每个 都趋于 0,只在 处趋于 1。单点概率为 0,所以 几乎必然。
本题假设 取实数值(不取 这样 处处有定义。
对实数列 (第 1 讲 第 40 页)。它们总存在(可以是 且 存在当且仅当两者相等。本题要用:
- :把数列取负号,「最小的聚点」变成「最大的聚点」的相反数。
- 若 (有限),则 :收敛的部分可以直接拿出来。
- 合起来: 有限时,
例: 为偶数时 为奇数时 所以 而 两边一致。
- 若 且 则 :因为 上下极限都等于 0。
凸函数:函数 的图像上任取两点连一条弦,弦总不在图像下方(可以重合,例如直线),就叫凸函数。取两个端点的中点,得到
时 在 上是凸的:二阶导数 (图像向上弯。这也是 Jensen 不等式(第 2 讲 第 24 页)对「各以概率 取 的两点分布的特例。
推导:对 两边乘 得 再由三角不等式 和 递增:
- 检验 : 等价于 成立。
- 常数 是最好的:取 左边 右边 等号成立,常数不能再小。 时常数为 1,就是三角不等式。
题目与原解答
Let is the probability space, and is a measurable space. Questions are testing: Modes of convergence, LLN, CLT and discrete martingale applications. But you may still need Borel-Cantelli's and convergence theorems and inequalities to finish the questions.
1. If a sequence of integrable functions a.s., the random variable is also integrable with . Moreover, if holds true, then then in , i.e. .
设 是概率空间, 是测度空间。本次作业考查:收敛方式、大数定律(LLN)、中心极限定理(CLT)和离散鞅的应用;但你可能仍要用到 Borel–Cantelli 引理、收敛定理和各种不等式。
1. 设 可积的随机变量序列 几乎必然,且 也是 可积的。若进一步有 则 in 即
题面的几处笔误:
- 「Let … is」应为「Let … be」;「 is a measurable space」应为 measure space(测度空间):可测空间只有 没有测度
- 「then then」多写了一个 then。
- 第一句「the random variable is also integrable」有歧义。若当作结论,单凭「 a.s.」推不出来(反例见例 4);它应当读作假设,或者读作「在后面的范数条件下 自动属于 后者由 Fatou 引理一行证明(完整解答第 1 步)。
原解答的思路(左栏):
- 把 截断成 用不等式把 拆成「和「两段。
- 声称 a.s.,于是「只需 a.s.」。
- 计算 用 MCT 说后一项趋于 再引用范数收敛结束。
「尾部 + 主体」的拆分方向可以修好,但原文有四处错误,而且真正困难的一步(主体部分的收敛)没有证明,见「原解答逐行对照」。
思路:怎么想到的
- 目标与已知:要证 已知 几乎必然,问题是「逐点收敛」能否升级成「期望收敛」。
- 控制收敛定理用不上:DCT(第 1 讲 第 44 页)要一个不依赖 的可积上界 题目没有给,尖峰例子说明一般也不存在。
- 只剩 Fatou,但它只给下界:直接对 用 Fatou,得到 毫无用处。
- 减法技巧:找一个随 变化、但期望已知会收敛的上界 对 用 Fatou。自然的选择是初等不等式给出的
它几乎必然收敛到 期望由题目假设收敛到 极限的期望与期望的极限恰好相等。Fatou 的「最多丢掉多少」于是被逼成 0,丢掉的正是
这个技巧和 小测 1 第 2 题 用 Fatou 证明 DCT 完全一样,只是那里上界 固定,这里上界 在变,但期望收敛。
完整解答
设 几乎必然( 取实数值)。
- 若 则 且
- 若 则
第 1 条直接对 用 Fatou。第 2 条对非负量 用 Fatou,算出 与 比较,把有限数 消掉。
第 1 步(: 连续,所以 几乎必然。由 Fatou 引理,
两边开 次方( 连续递增,与 可交换)得 第 2 条的假设 蕴含第 1 条的假设,所以在第 2 条里 是自动的。
第 2 步(逐点的上界):由「先补基础」的初等不等式(对每个
取期望:所以 下面出现的三个期望都是有限数。
第 3 步(构造非负量):令
由第 2 步,它是可测函数的和差,可测。
第 4 步( 的极限):在 成立的样本点上,所以
第 5 步(Fatou):
第 6 步(算出右边):三个期望都有限,可以用期望的线性(第 1 讲 第 43 页):
由假设和「先补基础」,所以 (有限)。由上下极限的运算规则 3,
第 7 步(消去):代回第 5 步:
是有限实数(第 1 步),两边同时减去它,得 又 由规则 4,即
每个假设用在哪里:
| 假设 | 用在 |
|---|---|
| 第 2 步的凸性不等式( 时常数要换,见拓展) | |
| 几乎必然 | 第 4 步求 的极限 |
| 范数收敛 即 | 第 6 步求 的极限 |
| 第 7 步消去两边的有限数 |
原解答逐行对照
第 1 行:加一项减一项是对的,但常数错了。
时 不等式不成立。反例:两项都等于 1,左边 原解答的右边 正确的常数是 (凸性,见「先补基础」),它对所有 成立,而且是最好的。 时 原式碰巧成立,但只是更松的界。
第 2 行:then a.s.
对固定的 只在 上成立;若 (题目没有排除),两者就不是几乎必然相等。正确的说法是:对几乎每个 当 足够大时 。理由:在 的点上,收敛数列有界,于是 时 由此得到 几乎必然,以及 几乎必然。
第 3 行:「so we only need to find some s.t. a.s.」
要让第 1 行右边的期望趋于 0,需要两件事: 和 「 几乎必然」只是逐点收敛,推不出期望收敛,而这恰恰是本题要解决的问题本身。
第 4 行:
所以 而 里含有 不可能等于只含 的式子。原解答把「尾部」和「主体」两段弄混了。第二个等号是对的(可以相减)。
第 5 行:「Then by MCT,
单调收敛定理要求被积函数随 单调递增。 随 变化时, 本身也在变,没有任何单调性。等式本身是对的,正确理由是两边夹:
- 下界:被积函数非负,且由第 2 行的修正几乎必然收敛到 Fatou 给出
- 上界:所以
于是极限等于 代回第 4 行得 尾部这一段被正确处理了。
第 6 行:「So by , we get the desired result.」
被截断在 以下,可截断水平 所以 仍然没有共同的上界;它满足的条件(几乎必然收敛到 和原来的 完全一样。证明 与原题一样难,原解答在这里是循环论证。改正:用「完整解答」的 Fatou 证明;或者把截断水平固定下来,见下面的「更多细节」。
把原解答的截断思路修好:截断水平固定为 M
例子与数值验证
取 比较 与两个候选上界(
| 1 | 2 | 2.83 | 2 |
| 2 | 4 | 4 | 4 |
| 3 | 8 | 5.66 | 8 |
| 4 | 16 | 8 | 16 |
时 版本的「上界」比左边还小,不等式错误; 版本处处成立且取等号。
在 上取
- 对每个 后 所以 几乎必然。
- 即 不趋于 范数条件失败。
- 结论也失败:
- Fatou 的不等号严格:丢掉的质量 1 正好是
在 上令 ( 奇数),( 偶数)。每个 都有 可 为偶数时 这里每个 上 在 0、1 之间来回跳,不收敛,题目的第一个假设不成立。
设 服从标准 Cauchy 分布,密度 令
- 所以每个 属于所有 对每个 后 所以 处处成立。
- 但 时约 1.47, 时约 4.40,趋于
- 这和命题第 1 条一致:Fatou 给不出有限的上界。
本命题的证明只用了 Fatou,对一般测度空间同样成立。取 为自由度 的 分布密度, 为标准正态密度。
- 逐点收敛:归一化常数也收敛到
- 范数收敛:自动成立。
- 结论:于是对每个博雷尔集 一致地趋于 0。
用 Python 数值积分算出的
| 1 | 2 | 5 | 10 | 30 | 100 | |
|---|---|---|---|---|---|---|
| 0.502 | 0.284 | 0.122 | 0.0622 | 0.0210 | 0.0063 |
这正是统计里「自由度 30 以上 分布可以用正态近似」的严格版本。
拓展延伸
逆命题也成立:几乎必然收敛时,Lᵖ 收敛 ⇔ 范数收敛
Minkowski 不等式(第 2 讲 第 27 页)给出反向三角不等式 所以 收敛总是推出范数收敛(不需要几乎必然收敛)。结合本题:在 几乎必然、 的前提下,
时这就是 小测 1 第 3 题 的「当且仅当」,也是第 3 讲 第 22 页 的 Scheffé 引理(非负的情形)。
几乎必然收敛可以换成依概率收敛
若 依概率、结论仍成立。理由(子列论证):任取一个子列,由子列判别法(第 3 讲 第 16 页)可以再抽出子子列几乎必然收敛到 它的范数仍然收敛,由本题,沿这个子子列 实数列 的「每个子列都有趋于 0 的子子列」,所以 (否则有 和一个子列使 它的子子列不可能趋于 0)。
0 < p < 1 的情形
时 是凹的,有更好的不等式 (常数为 1)。把第 3 步换成 证明一字不改,得到 只是此时 不满足三角不等式,不再是范数。
与作业 1 第 10 题(变动的控制函数)的关系
作业 1 第 10 题 的推广控制收敛定理:若 几乎处处,且 则 取 立即得到 那道题的证明本身就是对 用 Fatou,和这里的第 3–7 步是同一个论证。
一致可积与 Vitali 收敛定理(这里作为已知结论介绍)
一致可积(uniformly integrable):意思是「所有 的尾部质量一致地小」。尖峰 不是一致可积的: 时
定理(Durrett《Probability: Theory and Examples》第 5 版第 4.6 节):设每个 若 依概率,则下面三条等价:(i) 一致可积;(ii) in (iii) 本题(就是 (iii) ⇒ (ii)。对 有完全平行的 版本。「更多细节」里修好的截断证明,本质上就是在证明 一致可积。
更强的结论:Brezis–Lieb 引理
若 几乎必然且 (则
它把「Fatou 丢掉的质量」精确算了出来:丢掉的恰好是 本题是它的推论: 时,丢掉的部分只能是 0。(这里只介绍,不证明。)
常见疑问与易错点
答:Fatou 给出 左边是 结论只是 是下界,而我们要的是上界。必须先把目标放进一个「已知期望的上界」里,对差用 Fatou,负号把下界翻成上界。
答:要从 推出 需要把 从两边减掉,这只对有限的 合法。若 这一行变成 什么也推不出。好在第 1 步说明,在范数条件下 自动有限。
答:是。连续函数 和它的反函数 把一个收敛数列互相转换。证明里用后一种写法更方便,因为期望是线性的,范数不是。
答: 时几乎一样。第 3 讲 第 22 页 的 Scheffé 引理要求 证明用 和控制收敛;本题允许 有正有负,因为我们比较的是 的积分。对非负函数,两者完全重合。
小结与自测
- 结论: 几乎必然、( ⇒ 反过来 收敛总推出范数收敛。
- 证明:初等不等式 给出非负量 对 用 Fatou,再消掉有限数
- 减法技巧:Fatou 只给下界;想要上界,就对「期望已知的上界 − 目标」用 Fatou。
- 三个条件缺一不可:没有范数条件(尖峰),没有几乎必然收敛(来回跳的示性函数),(无法消去)。
- 原解答:常数应为 不是几乎必然成立;MCT 不适用;主体部分 从未证明。
1. 判断:若 几乎必然,则
点开看答案
正确。由本题(再由 的单调性(第 2 讲 第 25 页)或 Cauchy–Schwarz,
2. 填空:使 对所有实数 成立的最小常数 ____。
点开看答案
取 所以 凸性说明 足够。原解答的 不够。
3. 举例:给出 上的 几乎必然,使 对所有 成立。本题的哪个条件失败了?
点开看答案
而极限 的范数是 0,范数条件 失败,结论 也失败。
| 中文 | English | 白话解释 |
|---|---|---|
| 几乎必然收敛 | almost sure convergence | 除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。 |
| 样本点 | sample point | 一个完整的结局 ω;每次试验恰好实现一个样本点。 |
| Fatou 引理 | Fatou's lemma | 非负可测函数列满足 ∫ liminf fₙ ≤ liminf ∫ fₙ(只保证这个方向)。 |
| 上界 | upper bound | 数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。 |
| Scheffé 引理 | Scheffé's lemma | 非负可积的 fₙ → f 几乎处处,且 ∫fₙ → ∫f < ∞,则 ∫|fₙ − f| → 0。概率密度逐点收敛,分布就在全变差意义下收敛。 |
| 凸函数 | convex function | 图像上任意两点连线都在图像上方的函数,例如 x²、eˣ。 |
| Jensen 不等式 | Jensen's inequality | φ 凸时 φ(E X) ≤ E φ(X),例如 (E X)² ≤ E X²。 |
| 函数 | function / map | f: A → B 给 A 中每个元素指定 B 中唯一一个元素。 |
| 上极限 | limit superior (lim sup) | 数列「尾部的最大可能值」的极限;对集合则表示「发生无穷多次」。 |
| 下极限 | limit inferior (lim inf) | 数列「尾部的最小可能值」的极限;对集合则表示「从某一项起一直发生」。 |
| 控制收敛定理 | dominated convergence theorem (DCT) | fₙ → f 几乎处处且 |fₙ| ≤ g、g 可积时,∫fₙ → ∫f。 |
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 可积 | integrable (L¹) | ∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| 当且仅当 | if and only if (iff) | 「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。 |
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| 几乎处处 | almost everywhere (a.e.) | 除了一个测度为 0 的集合之外都成立;零测集上的值不影响积分。 |
| 下界 | lower bound | 数集 A 的下界是一个数 m,A 里每个数都 ≥ m。例如 0 和 −3 都是 (0,1] 的下界;所有下界中最大的那个叫下确界。 |
| 三角不等式 | triangle inequality | |a + b| ≤ |a| + |b|:分两段走的总路程不会比直接走更短。推广有 |∫f| ≤ ∫|f|、E|X + Y| ≤ E|X| + E|Y|,以及 Lᵖ 范数的 Minkowski 不等式。 |
| 概率空间 | probability space | 三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。 |
| Borel–Cantelli 引理 | Borel–Cantelli lemma | 概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。 |
| 中心极限定理 | central limit theorem (CLT) | 独立同分布、方差 σ² 有限时,(Sₙ − nμ)/(σ√n) 依分布收敛到标准正态分布:大量独立小误差之和近似正态。 |
| 测度空间 | measure space | 三元组 (S, 𝓜, μ):空间、σ-代数、测度。 |
| 鞅 | martingale | 适应、可积且 E[Xₙ₊₁ | 𝓕ₙ] = Xₙ 的随机过程:公平游戏,已知过去时对下一步的最佳猜测就是现在的值。 |
| 测度 | measure | 给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。 |
| 可测空间 | measurable space | 一个集合加上它上面的一个 σ-代数,例如 (Ω, 𝓕);还没有给出测度。 |
| 单调收敛定理 | monotone convergence theorem (MCT) | 非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。 |
| 逐点收敛 | pointwise convergence | 对定义域里的每一个点 x,数列 fₙ(x) 都收敛到 f(x);这样得到的函数 f 叫逐点极限。 |
| 可测函数 | measurable function | 对每个 a,集合 {f > a} 都可测;这样的函数才能积分。 |
| 单调递增 | nondecreasing | 后一项不小于前一项;单调有界的数列一定有极限。 |
| 有界收敛定理 | bounded convergence theorem (BCT) | 有限测度上一致有界、几乎处处收敛的函数列,积分收敛;是 DCT 的特例。 |
| 博雷尔 σ-代数 | Borel sigma-algebra | 由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。 |
| 反向三角不等式 | reverse triangle inequality | | |a| − |b| | ≤ |a − b|:两个数的绝对值之差不超过它们的距离。常用来从「fₙ 接近 f」推出「|fₙ| 接近 |f|」。 |
| 子列 | subsequence | 从一个数列里按顺序挑出无穷多项组成的新数列。 |
| 一致可积 | uniformly integrable (UI) | 一族随机变量的尾部期望一致地变小:supₜ E[|Xₜ|; |Xₜ| > λ] → 0(λ → ∞)。它是「依概率收敛 ⇒ 期望收敛」的关键条件。 |
| 反函数 | inverse function | f 把不同的输入送到不同的输出时,反函数 f⁻¹ 把输出送回原来的输入:f⁻¹(f(x)) = x。例:ln 是 eˣ 的反函数。注意:集合的原像 f⁻¹(D) 不需要反函数存在。 |
| 示性函数 | indicator function | 𝟏_A(x) 在 x ∈ A 时取 1,否则取 0;它的积分就是 A 的测度。 |
| 柯西–施瓦茨不等式 | Cauchy–Schwarz inequality | E|XY| ≤ √(E X²) · √(E Y²):Hölder 不等式取 p = q = 2 的特例。 |
