这道题在问什么
均值无穷时, 没有有限极限(作业 1 第 3 题)。那么换一个更快增长的尺度 会怎样?本题(Durrett 定理 2.5.13)给出完整答案:只要 递增, 要么是 0,要么是 ,没有中间值;分界线就是单独一项 是否会无穷多次超过 即 是否有限。直观意思:均值无穷时,和 的大小由最大的那几项决定,「单项冲不过 就等于「和冲不过
- 考点:两个 Borel–Cantelli 引理;截断;方差求和;Kolmogorov 一级数定理与 Kronecker 引理(强大数定律的经典证法);尾级数判别;交换求和次序。
- 要用的讲义结论:「无穷多次」(第 3 讲 第 3 页);第一、第二 Borel–Cantelli 引理(第 3 讲 第 4 页、第 7 页);独立性(第 3 讲 第 6 页);尾级数判别(第 3 讲 第 12 页);一阶矩无穷时 (第 3 讲 第 13 页);独立变量和的方差(第 3 讲 第 37 页)。
- 讲义没有讲过、这里作为已知结论使用的:Kolmogorov 极大不等式、Kolmogorov 一级数定理、Kronecker 引理(见「先补基础」)。
- 与其他题的关系:
- 取 就回到第 3 讲 第 13 页 和 作业 1 第 3 题,而且结论更强:(例 1)。第一部分的证明就是那两页论证的推广。
- 第 2 题 用同样的「单项超过门槛的概率之和」判别上极限;第 4 题 讨论均值有限、方差有限时的大数定律。
先补基础
设 单调不减(「increasing」在这里指不减)。
- 本身不减:两个正的不减数列之积不减。
- ( 是正整数):两边乘
- (
- 不增:它是 的倒数。
- :
例:( 都满足; 不满足( 递减)。
令 时保留,否则换成 0。
- 所以 有界,任何阶矩都存在,可以算方差。
- 只依赖 所以 仍然独立(但不同分布,截断水平 随 变)。
- 代价: 的事件是 若它只发生有限次,那么 与 只差一个固定的有限数(有限个差的和),除以 后消失。
定理(Durrett《Probability: Theory and Examples》第 5 版定理 2.5.5):设 独立,则对
- 和 Chebyshev 比较:Chebyshev 只控制终点 这里右边一样,左边却控制了整条路径上的最大值。代价是需要独立(Chebyshev 不需要)。
- 例: 各一半,路径在前 100 步中任何时刻偏离 0 达到 30 的概率
定理(Durrett 定理 2.5.6):设 独立,则随机级数 几乎必然收敛(部分和收敛到一个有限的随机变量)。
- 为什么对:由极大不等式,从第 项往后,部分和的最大摆动超过 的概率 部分和几乎必然是 Cauchy 列(详见「拓展延伸」)。
- 例(随机符号的调和级数):符号独立、各一半。但 所以几乎每一种随机符号都让级数收敛。
引理(Durrett 定理 2.5.9):设 实数列 使 收敛,则
- 意思:「除以 后可求和」推出「前 项之和相对 可以忽略」。它把级数收敛(一级数定理的结论)翻译成平均值趋于 0(大数定律式的结论)。
- 例: 收敛(交错级数),而 等于 0 或 确实
- 证明是「分部求和」,见「拓展延伸」。
题目与原解答
5. Let be i.i.d. with and let . Let be a sequence of positive numbers with increasing. Then
* Durrett, Theorem 2.5.13.
5. 设 独立同分布,设 是一列正数, 递增。则:若 若 (都是几乎必然)。
(题注:Durrett《Probability: Theory and Examples》第 5 版定理 2.5.13。Durrett 说它比定理 2.3.7(即作业 1 第 3 题)更强。)
原解答的思路(左栏,基本照搬 Durrett 的证明):
- 的情形:由 递增,由 Borel–Cantelli,再由 得到结论。
- 的情形:截断 「只需检查」 和
- 方差:交换求和次序,用 把 估成 归结为
- 均值:先说明 把 拆成 和一个尾部和,后者是收敛级数的尾巴。
框架完全正确,但最关键的一步(为什么检查这两件事就够了)一句没说;另有多处下标笔误、常数与不等号的问题,见「原解答逐行对照」。
思路:怎么想到的
- 的方向:一项就够。和 里只要有一项 非常大, 和 就不可能同时小(它们的差就是 所以「单项无穷多次超过 直接推出「和无穷多次超过 单项超过门槛是独立事件,正好用 BC II。
- 0 的方向:抄强大数定律的证明。要证 经典路线是「截断 → 方差可求和 → 一级数定理 → Kronecker」。截断是因为 没有任何矩;截断水平选 是因为 恰好保证截断只改动有限项(BC I)。
- 条件「 递增」用在哪里: 至少线性增长、而且增长率不倒退,这样 被第 项控制(方差估计), 递减(均值估计)。
完整解答
设 i.i.d., 不减。则几乎必然
发散的情形:对每个整数 BC II 给出 无穷多次,而 收敛的情形:截断 BC I 说截断只改动有限项; 加一级数定理、Kronecker 引理,得 再证
第一部分:∑P(|X₁| ≥ aₙ) = ∞ ⇒ lim sup = ∞
第 1 步(门槛放大 倍,级数仍发散):固定正整数 由「先补基础」第 2 条,所以 又 不减, 时 即一项 不小于这 项的平均。于是
最后一步:发散级数去掉前 项仍发散。
第 2 步(BC II):事件 只依赖 相互独立;同分布给出 由第 1 步其和发散。由 BC II,令 它是可数个概率 1 事件之交,
第 3 步(从单项到和):令 由三角不等式 固定 和 对无穷多个 有 于是 或 (用 总之存在下标 使 有无穷多个,这样的 也有无穷多个,所以
第 4 步: 任取,在 上 (这一部分没有用到
第二部分:∑P(|X₁| ≥ aₙ) < ∞ ⇒ Sₙ/aₙ → 0
记 由恒等式 和假设,
第 1 步(截断只改动有限项):令 由 BC I,几乎必然只有有限个 使 在这样的 上, 从某一项起不再变化,是一个固定的有限数 所以 只需证明 几乎必然。
第 2 步(方差可求和):且由同分布和
交换求和次序(各项非负):
由「先补基础」第 3 条, 时 所以
其中 时左边 时 又在 上 合起来,由
第 3 步(一级数定理 + Kronecker): 独立、均值 0、(第 2 步)。由 Kolmogorov 一级数定理, 几乎必然收敛。对这样的 把 Kronecker 引理用在 上( 由「先补基础」第 1、5 条),得
第 4 步(这里用到 : 不减,若它有有限的极限 则 由尾级数判别的缩放版本,与假设 矛盾。所以
第 5 步(均值项 : 有限,固定正整数 对 (把 拆成 和 两部分( 时后一部分只会让上界更松):
对 求和并除以
- 第一项: 固定, 是常数,由第 4 步 所以它 (
- 第二项:把 拆成 (并用 (「先补基础」第 4 条)和区间上
是收敛级数 的尾巴,不依赖 且 (
所以 对每个 成立;令
第 6 步(合起来):由第 1、3、5 步三项都几乎必然趋于 0,所以
每个假设用在哪里:
| 假设 | 用在 |
|---|---|
| 独立 | 第一部分 BC II;第二部分一级数定理 |
| 同分布 | 把所有概率、期望换成 的 |
| 不减 | 第一部分第 1 步;第二部分第 2 步(第 5 步( 不增) |
| 只在第二部分第 4 步( |
最后一行说明:若 第二部分可能失败。例:但 问题正出在 不趋于 均值项 不趋于 0。
原解答逐行对照
第 1 行:正确,两个不等号的理由是 和 不减(完整解答第一部分第 1 步);原解答只说了「Since is increasing」。
第 2 行:「In particular, with probability 1 by Borel-Cantelli. Since , the claim follows.」
- 这里用的是第二 Borel–Cantelli 引理,需要事件 相互独立(由 独立得到),原解答没有说。
- BC II 对每个 给出「 无穷多次」,要得到 需对可数个 取交。这正是第 1 行引入 的目的,原解答没有交代。
- 从 到 还要用 大时比较的是 (完整解答第 3 步)。
第 3 行:「Define . Since finitely often a.s., the proof consists in checking that and .」
这是整个证明的核心,需要三个讲义里没有的工具和两步推理:
- 「 finitely often」来自 BC I:然后 最终是常数,除以 后趋于 0。
- ⇒(Kolmogorov 一级数定理,其证明用 Kolmogorov 极大不等式) 几乎必然收敛 ⇒(Kronecker 引理,需要
- 再加上均值条件 才得到
另外 应为 ( 是笔误,第 6 题的原解答也有同样的笔误)。
第 4–6 行(方差):「since , (sufficiently) 于是 (sufficiently)
- 没有定义:应为 的分布函数(积分区间 指的是 的取值)。还必须约定 否则 的那一项没有意义。第一个等号是「拆分 + 交换求和次序」,要说明各项非负才能交换。
- 「(sufficiently)」应写成一个明确的常数:它大概想表达「不超过某个常数倍」,但没有写出常数;按字面读成「是错的(例如 时左边是 正确写法:所以 后面的不等号乘以常数 2,结论不受影响。
- 从 到 用了 ,原文没写。
- 左边的求和下标应为 (不是
- 最后的等号应为 (恒等式 里是 写成 时右边变小,等号不再成立。它有限的理由也应写出:
第 7 行:「since and , we have .」结论正确,理由(完整解答第 4 步的反证:否则 尾级数判别给出矛盾)没有写。
第 8–9 行(均值):「If grows sufficiently slowly, the first term tends to 0」。
- 下标混乱: 应为
- 「 grows sufficiently slowly」没有说清楚:让 随 慢慢增大是一种可行的写法,但必须说明怎样选,原文没有。例如取 为满足 的最大的 由 于是第一项 第二项 更不容易出错的写法是先固定 :令 第一项 第二项不超过 得到 再令 (完整解答第 5 步)。
- 「应为「:而且下一行把 拆成 时,端点 不在里面。
- 下一行的 用了 不增(由 不减),原文没说。
第 10–11 行:「Since , the latter tends to 0 as .」正确,就是恒等式 与「收敛级数的尾巴趋于 0」。恒等式本身(交换求和次序)原文没有证明。
例子与数值验证
不减。 时由尾级数判别 所以永远落在 的情形:
作业 1 第 3 题 只说「 没有有限极限」,这里说 会无穷多次超过任何给定的数。第一部分的证明也就是第 3 讲 第 13 页(单项 加上「从单项到和」的一步。
设 ((取 级数收敛 所以
例如 但 和的「真实尺度」是 恰好是单项最大值 的尺度(参照第 2 题 例 5 的 Pareto 分布)。
一般推论:对 取 由尾级数判别它有限 所以( 时)
这就是 Marcinkiewicz–Zygmund 强大数定律在 时的内容(Durrett 第 2.5 节讨论了这一族结论, 的情形另需
标准 Cauchy:
- 所以
- 所以
有意思的是: 对每个 都是标准 Cauchy(第 4 题 例 4),所以 依概率趋于 0;可它的上极限几乎必然是 造成这件事的是极少数巨大的单项。用 Python 计算「 中单项超过门槛的期望次数」
| 4.59 | 7.52 | 10.45 | |
| 2.08 | 2.40 | 2.62 | |
| 1.44 | 1.48 | 1.49 |
第二行趋于无穷,但慢得惊人(大约按 增长), 步里平均也只有 2–3 次;第三行收敛(总和约 1.53)。所以这类结论很难靠模拟「看到」,必须靠证明。
取 ( 均匀,用 Python 模拟 400 条路径(固定随机种子),在每个十倍区间 上记录
| 区间 | ||||
|---|---|---|---|---|
| 中位数 | 32.2 | 30.8 | 23.5 | 30.2 |
| 超过 10 的路径比例 | 0.72 | 0.71 | 0.71 | 0.73 |
| 中位数 | 2.33 | 0.698 | 0.178 | 0.064 |
| 超过 0.1 的路径比例 | 0.99 | 0.87 | 0.63 | 0.42 |
时(级数 收敛)每个区间的最大值稳定下降,大约每十倍缩小 3 倍:趋于 0。 时(级数 发散)每个区间都有约 70% 的路径超过 10,不随区间衰减:比值永远不会安定下来,这与 一致(真正冲到无穷要非常长的时间,见例 3)。
拓展延伸
Kronecker 引理的证明:分部求和
令 (有限)。则 令 分部求和:
权重 加起来等于 1,所以第二项是 的加权平均。 意味着任何固定的前几项权重都趋于 0,加权平均于是趋于 两项之差
一级数定理的证明:极大不等式 ⇒ 部分和是 Cauchy 列
令 对 把极大不等式用在 上:
令 (事件递增,从下连续),左边趋于 而 包含在这个事件里(上确界严格大于 就有某一项 所以 (记 它随 递减到某个 且 任意, 几乎必然,即部分和是 Cauchy 列,几乎必然收敛。
更一般的 Kolmogorov 三级数定理(Durrett 定理 2.5.8)给出独立级数 几乎必然收敛的充要条件:对某个 三个级数都收敛。本题第二部分的结构(截断概率可求和、均值项、方差项)正是它的影子。
为什么只能是 0 或 ∞?0-1 律给出「常数」,本题给出「是哪个常数」
改动有限个 只变一个固定的有限量,除以 后不影响上极限。所以 是「尾随机变量」,由 Kolmogorov 0-1 律(Durrett 定理 2.5.3,小测 2 第 4 题)它几乎必然是一个常数(可以是 0-1 律不告诉我们是哪个常数;本题说,均值无穷时这个常数不可能落在 里。
对比均值有限、方差有限的情形: 时,重对数律(Hartman–Wintner,这里只介绍)给出 一个有限正数。均值无穷时没有这种「恰好合适」的尺度:和被少数巨大的项支配,尺度稍微小一点就是 稍微大一点就是 0。
第二部分就是强大数定律的证明
若 同样的「截断 + 方差求和 + 一级数定理 + Kronecker」(取 截断 证明强大数定律 (Durrett 第 2.5 节给出的强大数定律的第二种证明)。区别在均值项:那里 (由控制收敛),而不是 0。
常见疑问与易错点
答: 的方差和均值都不存在,一级数定理无从用起。截断后 有界,所有矩都有;截断水平选 代价(的概率之和恰好是题目假设里的级数,有限,BC I 说代价只付有限次。截断水平选得太低(例如固定常数),代价会付无穷多次;选得太高,方差和会发散。
答:不是。 本身可以趋于无穷,而且增长得比 快得多(均值无穷)。结论只说 增长得更快。例 2 中 时 大约是 的量级, 只说明它比 小。
答: 只给出 无穷多次,从而 是一个有限的下界。要得到 必须对每个 都有 无穷多次;第 1 步的不等式 正是为此准备的,它用到 即 不减。
小结与自测
- 结论:i.i.d., 不减,则 几乎必然为 0 或 按 有限或无穷而定。
- BC II 给出 无穷多次,再用
- 0:截断 (BC I 只改动有限项);一级数定理 + Kronecker 给出 (这里用 给出
- 原解答:照搬 Durrett,但「为什么检查这两件事就够」(一级数定理、Kronecker、截断只改有限项)没有说明; 应为 未定义;「(sufficiently)」应为常数 2; 应为 应先固定再趋于无穷。
1. 设 (求 和
点开看答案
所以 (所以 两个尺度都满足 不减。
2. 判断:若 则对任何满足 不减的 都不收敛到 0。
点开看答案
错误。第 1 题就是反例: 时 只排除了 (以及 有界)的情形:那时
3. 第二部分第 5 步里,为什么要先固定 让 再让
点开看答案
第一项 只有在 固定时才能由 推出趋于 0;第二项的界 不依赖 只有让 才变小。所以先对固定 得到 左边不依赖 再令 原解答「 grows sufficiently slowly」是让 随 变化,这也能做,但它没有说明 怎样选,两个极限的关系就没交代清楚。
| 中文 | English | 白话解释 |
|---|---|---|
| 无穷多次 | infinitely often (i.o.) | 「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。 |
| Borel–Cantelli 引理 | Borel–Cantelli lemma | 概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。 |
| Kronecker 引理 | Kronecker's lemma | 若 0 < aₙ ↑ ∞ 且级数 ∑ xₙ/aₙ 收敛,则 (x₁ + ⋯ + xₙ)/aₙ → 0:把「级数收敛」翻译成「平均趋于 0」。 |
| 强大数定律 | strong law of large numbers (SLLN) | 独立同分布且 E|X₁| < ∞ 时,样本均值 Sₙ/n 几乎必然收敛到 E X₁。 |
| 级数 | series | 无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。 |
| 方差 | variance | Var X = E[(X − E X)²],衡量随机变量围绕均值的波动大小。 |
| 独立 | independence | 任意有限个事件同时发生的概率等于各自概率的乘积。 |
| 阶矩 | moment | E[|X|ᵖ] 叫 p 阶(绝对)矩;它有限与否反映尾部有多「重」。 |
| Kolmogorov 极大不等式 | Kolmogorov's maximal inequality | 独立、均值 0、方差有限时,P(max(|S₁|, …, |Sₙ|) ≥ λ) ≤ Var(Sₙ)/λ²:控制的是整条路径的最大值,而不只是终点。 |
| 上极限 | limit superior (lim sup) | 数列「尾部的最大可能值」的极限;对集合则表示「发生无穷多次」。 |
| 单调递增 | nondecreasing | 后一项不小于前一项;单调有界的数列一定有极限。 |
| 可数 | countable | 元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| Tonelli 定理 | Tonelli's theorem | f 非负可测、两个测度 σ-有限时,二重积分等于两种顺序的累次积分,三者可以同时为 ∞。 |
| 计数测度 | counting measure | μ(A) = A 中元素的个数(无限集记为 ∞)。在 ℕ 上对它积分就是求和。 |
| 区间 | interval | 数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。 |
| 几乎必然收敛 | almost sure convergence | 除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。 |
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 部分和 | partial sum | 级数 a₁ + a₂ + … 的前 n 项之和 Sₙ = a₁ + … + aₙ;级数的值就是 Sₙ 在 n → ∞ 时的极限。 |
| 可求和 | summable | 非负数列的级数和有限:Σ aₙ < ∞。例如 Σ 1/n² 可求和,Σ 1/n 不可求和(和是 +∞)。 |
| 独立同分布 | independent and identically distributed (i.i.d.) | 一列随机变量相互独立,并且分布都相同,例如反复独立地掷同一颗骰子。 |
| 三角不等式 | triangle inequality | |a + b| ≤ |a| + |b|:分两段走的总路程不会比直接走更短。推广有 |∫f| ≤ ∫|f|、E|X + Y| ≤ E|X| + E|Y|,以及 Lᵖ 范数的 Minkowski 不等式。 |
| 上界 | upper bound | 数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。 |
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| 累积分布函数 | cumulative distribution function (CDF) | F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。 |
| 从下连续 | continuity from below | 集合一层层变大(Eₙ ↑ E)时,测度也跟着收敛:μ(Eₙ) → μ(E)。 |
| 上确界 | supremum (sup) | 最小的上界。最大值不一定存在,但有上界的实数集一定有上确界。 |
| Kolmogorov 0-1 律 | Kolmogorov's zero–one law | 独立随机变量序列的尾事件(改动前面有限项不受影响的事件)概率只能是 0 或 1。 |
| 下界 | lower bound | 数集 A 的下界是一个数 m,A 里每个数都 ≥ m。例如 0 和 −3 都是 (0,1] 的下界;所有下界中最大的那个叫下确界。 |
| 依概率收敛 | convergence in probability | 对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。 |
| 打字机序列 | typewriter sequence | 在 [0,1) 上从左到右一遍遍扫过、越来越窄的小区间的示性函数列:依概率收敛到 0,却在每一点都不收敛。 |

