高等概率论逐页精讲

作业 2 收敛方式、大数定律、中心极限定理与鞅›大数定律与中心极限定理

第 5 题 / 共 12 题解答原页 第 5–6 页证明题

均值无穷时 lim sup |Sₙ|/aₙ 只能是 0 或 ∞,由 ∑P(|X₁| ≥ aₙ) 是否有限决定

Infinite mean: lim sup |Sₙ|/aₙ is 0 or ∞

解答原页第 5 页(本题所在部分)
解答原页第 6 页(本题所在部分)
解答原页第 5–6 页(本题部分)· 点击图片看整页

这道题在问什么

人话版一句话版

均值无穷时, 没有有限极限(作业 1 第 3 题)。那么换一个更快增长的尺度 会怎样?本题(Durrett 定理 2.5.13)给出完整答案:只要 递增, 要么是 0,要么是 ,没有中间值;分界线就是单独一项 是否会无穷多次超过 即 是否有限。直观意思:均值无穷时,和 的大小由最大的那几项决定,「单项冲不过 就等于「和冲不过

  • 考点:两个 Borel–Cantelli 引理;截断;方差求和;Kolmogorov 一级数定理与 Kronecker 引理(强大数定律的经典证法);尾级数判别;交换求和次序。
  • 要用的讲义结论:「无穷多次」(第 3 讲 第 3 页);第一、第二 Borel–Cantelli 引理(第 3 讲 第 4 页、第 7 页);独立性(第 3 讲 第 6 页);尾级数判别(第 3 讲 第 12 页);一阶矩无穷时 (第 3 讲 第 13 页);独立变量和的方差(第 3 讲 第 37 页)。
  • 讲义没有讲过、这里作为已知结论使用的:Kolmogorov 极大不等式、Kolmogorov 一级数定理、Kronecker 引理(见「先补基础」)。
  • 与其他题的关系:
    • 取 就回到第 3 讲 第 13 页 和 作业 1 第 3 题,而且结论更强:(例 1)。第一部分的证明就是那两页论证的推广。
    • 第 2 题 用同样的「单项超过门槛的概率之和」判别上极限;第 4 题 讨论均值有限、方差有限时的大数定律。

先补基础

基础补课「aₙ/n 递增」能推出的五件事

设 单调不减(「increasing」在这里指不减)。

  1. 本身不减:两个正的不减数列之积不减。
  2. ( 是正整数):两边乘
  3. (
  4. 不增:它是 的倒数。
  5. :

例:( 都满足; 不满足( 递减)。

基础补课Borel–Cantelli 引理与「lim sup = ∞」(回顾)
  • BC I(第 3 讲 第 4 页):不需要独立。
  • BC II(第 3 讲 第 7 页): 相互独立且
  • 证明 的标准写法:对每个正整数 证明「 无穷多次」的概率为 1,再对可数个 取交(可数个概率 1 事件之交概率仍为 1,见第 2 题 的基础部分)。
基础补课尾级数判别(回顾第 3 讲 p12)

对 (第 3 讲 第 12 页)。本题用它的缩放版本:若 则对每个常数 取 (得

例:(时

基础补课截断:把「没有矩」的变量变成有界变量

令 时保留,否则换成 0。

  • 所以 有界,任何阶矩都存在,可以算方差。
  • 只依赖 所以 仍然独立(但不同分布,截断水平 随 变)。
  • 代价: 的事件是 若它只发生有限次,那么 与 只差一个固定的有限数(有限个差的和),除以 后消失。
基础补课非负二重级数可以交换求和次序

若 则 (两边可以同时为 这是 Tonelli 定理对计数测度的特例(第 4 讲 第 12 页)。本题用它证明一个恒等式:令 则

最后一步: 不减且 区间 (恰好拼成 又 所以 的右边

基础补课Kolmogorov 极大不等式(这里作为已知结论使用)

定理(Durrett《Probability: Theory and Examples》第 5 版定理 2.5.5):设 独立,则对

  • 和 Chebyshev 比较:Chebyshev 只控制终点 这里右边一样,左边却控制了整条路径上的最大值。代价是需要独立(Chebyshev 不需要)。
  • 例: 各一半,路径在前 100 步中任何时刻偏离 0 达到 30 的概率
基础补课Kolmogorov 一级数定理(这里作为已知结论使用)

定理(Durrett 定理 2.5.6):设 独立,则随机级数 几乎必然收敛(部分和收敛到一个有限的随机变量)。

  • 为什么对:由极大不等式,从第 项往后,部分和的最大摆动超过 的概率 部分和几乎必然是 Cauchy 列(详见「拓展延伸」)。
  • 例(随机符号的调和级数):符号独立、各一半。但 所以几乎每一种随机符号都让级数收敛。
基础补课Kronecker 引理(这里作为已知结论使用)

引理(Durrett 定理 2.5.9):设 实数列 使 收敛,则

  • 意思:「除以 后可求和」推出「前 项之和相对 可以忽略」。它把级数收敛(一级数定理的结论)翻译成平均值趋于 0(大数定律式的结论)。
  • 例: 收敛(交错级数),而 等于 0 或 确实
  • 证明是「分部求和」,见「拓展延伸」。

题目与原解答

课件原文题目

5. Let be i.i.d. with and let . Let be a sequence of positive numbers with increasing. Then

* Durrett, Theorem 2.5.13.

中文翻译

5. 设 独立同分布,设 是一列正数, 递增。则:若 若 (都是几乎必然)。

(题注:Durrett《Probability: Theory and Examples》第 5 版定理 2.5.13。Durrett 说它比定理 2.3.7(即作业 1 第 3 题)更强。)

原解答的思路(左栏,基本照搬 Durrett 的证明):

  1. 的情形:由 递增,由 Borel–Cantelli,再由 得到结论。
  2. 的情形:截断 「只需检查」 和
  3. 方差:交换求和次序,用 把 估成 归结为
  4. 均值:先说明 把 拆成 和一个尾部和,后者是收敛级数的尾巴。

框架完全正确,但最关键的一步(为什么检查这两件事就够了)一句没说;另有多处下标笔误、常数与不等号的问题,见「原解答逐行对照」。

思路:怎么想到的

  1. 的方向:一项就够。和 里只要有一项 非常大, 和 就不可能同时小(它们的差就是 所以「单项无穷多次超过 直接推出「和无穷多次超过 单项超过门槛是独立事件,正好用 BC II。
  2. 0 的方向:抄强大数定律的证明。要证 经典路线是「截断 → 方差可求和 → 一级数定理 → Kronecker」。截断是因为 没有任何矩;截断水平选 是因为 恰好保证截断只改动有限项(BC I)。
  3. 条件「 递增」用在哪里: 至少线性增长、而且增长率不倒退,这样 被第 项控制(方差估计), 递减(均值估计)。

完整解答

定理命题(Durrett 定理 2.5.13)

设 i.i.d., 不减。则几乎必然

推导证明思路

发散的情形:对每个整数 BC II 给出 无穷多次,而 收敛的情形:截断 BC I 说截断只改动有限项; 加一级数定理、Kronecker 引理,得 再证

第一部分:∑P(|X₁| ≥ aₙ) = ∞ ⇒ lim sup = ∞

第 1 步(门槛放大 倍,级数仍发散):固定正整数 由「先补基础」第 2 条,所以 又 不减, 时 即一项 不小于这 项的平均。于是

最后一步:发散级数去掉前 项仍发散。

第 2 步(BC II):事件 只依赖 相互独立;同分布给出 由第 1 步其和发散。由 BC II,令 它是可数个概率 1 事件之交,

第 3 步(从单项到和):令 由三角不等式 固定 和 对无穷多个 有 于是 或 (用 总之存在下标 使 有无穷多个,这样的 也有无穷多个,所以

第 4 步: 任取,在 上 (这一部分没有用到

第二部分:∑P(|X₁| ≥ aₙ) < ∞ ⇒ Sₙ/aₙ → 0

记 由恒等式 和假设,

第 1 步(截断只改动有限项):令 由 BC I,几乎必然只有有限个 使 在这样的 上, 从某一项起不再变化,是一个固定的有限数 所以 只需证明 几乎必然。

第 2 步(方差可求和):且由同分布和

交换求和次序(各项非负):

由「先补基础」第 3 条, 时 所以

其中 时左边 时 又在 上 合起来,由

第 3 步(一级数定理 + Kronecker): 独立、均值 0、(第 2 步)。由 Kolmogorov 一级数定理, 几乎必然收敛。对这样的 把 Kronecker 引理用在 上( 由「先补基础」第 1、5 条),得

第 4 步(这里用到 : 不减,若它有有限的极限 则 由尾级数判别的缩放版本,与假设 矛盾。所以

第 5 步(均值项 : 有限,固定正整数 对 (把 拆成 和 两部分( 时后一部分只会让上界更松):

对 求和并除以

  • 第一项: 固定, 是常数,由第 4 步 所以它 (
  • 第二项:把 拆成 (并用 (「先补基础」第 4 条)和区间上

是收敛级数 的尾巴,不依赖 且 (

所以 对每个 成立;令

第 6 步(合起来):由第 1、3、5 步三项都几乎必然趋于 0,所以

每个假设用在哪里:

假设 用在
独立 第一部分 BC II;第二部分一级数定理
同分布 把所有概率、期望换成 的
不减 第一部分第 1 步;第二部分第 2 步(第 5 步( 不增)
只在第二部分第 4 步(

最后一行说明:若 第二部分可能失败。例:但 问题正出在 不趋于 均值项 不趋于 0。

原解答逐行对照

第 1 行:正确,两个不等号的理由是 和 不减(完整解答第一部分第 1 步);原解答只说了「Since is increasing」。

第 2 行:「In particular, with probability 1 by Borel-Cantelli. Since , the claim follows.」

易错点原解答的问题:第一部分的跳步
  1. 这里用的是第二 Borel–Cantelli 引理,需要事件 相互独立(由 独立得到),原解答没有说。
  2. BC II 对每个 给出「 无穷多次」,要得到 需对可数个 取交。这正是第 1 行引入 的目的,原解答没有交代。
  3. 从 到 还要用 大时比较的是 (完整解答第 3 步)。

第 3 行:「Define . Since finitely often a.s., the proof consists in checking that and .」

易错点原解答的问题:为什么「只需检查这两件事」完全没有说明

这是整个证明的核心,需要三个讲义里没有的工具和两步推理:

  1. 「 finitely often」来自 BC I:然后 最终是常数,除以 后趋于 0。
  2. ⇒(Kolmogorov 一级数定理,其证明用 Kolmogorov 极大不等式) 几乎必然收敛 ⇒(Kronecker 引理,需要
  3. 再加上均值条件 才得到

另外 应为 ( 是笔误,第 6 题的原解答也有同样的笔误)。

第 4–6 行(方差):「since , (sufficiently) 于是 (sufficiently)

易错点原解答的问题:方差估计中的记号、常数与不等号
  1. 没有定义:应为 的分布函数(积分区间 指的是 的取值)。还必须约定 否则 的那一项没有意义。第一个等号是「拆分 + 交换求和次序」,要说明各项非负才能交换。
  2. 「(sufficiently)」应写成一个明确的常数:它大概想表达「不超过某个常数倍」,但没有写出常数;按字面读成「是错的(例如 时左边是 正确写法:所以 后面的不等号乘以常数 2,结论不受影响。
  3. 从 到 用了 ,原文没写。
  4. 左边的求和下标应为 (不是
  5. 最后的等号应为 (恒等式 里是 写成 时右边变小,等号不再成立。它有限的理由也应写出:

第 7 行:「since and , we have .」结论正确,理由(完整解答第 4 步的反证:否则 尾级数判别给出矛盾)没有写。

第 8–9 行(均值):「If grows sufficiently slowly, the first term tends to 0」。

易错点原解答的问题:均值估计中 N 的处理与下标
  1. 下标混乱: 应为
  2. 「 grows sufficiently slowly」没有说清楚:让 随 慢慢增大是一种可行的写法,但必须说明怎样选,原文没有。例如取 为满足 的最大的 由 于是第一项 第二项 更不容易出错的写法是先固定 :令 第一项 第二项不超过 得到 再令 (完整解答第 5 步)。
  3. 「应为「:而且下一行把 拆成 时,端点 不在里面。
  4. 下一行的 用了 不增(由 不减),原文没说。

第 10–11 行:「Since , the latter tends to 0 as .」正确,就是恒等式 与「收敛级数的尾巴趋于 0」。恒等式本身(交换求和次序)原文没有证明。

例子与数值验证

例 1:aₙ = n——回到作业 1 第 3 题,而且更强

不减。 时由尾级数判别 所以永远落在 的情形:

作业 1 第 3 题 只说「 没有有限极限」,这里说 会无穷多次超过任何给定的数。第一部分的证明也就是第 3 讲 第 13 页(单项 加上「从单项到和」的一步。

例 2:幂律尾部——分界线 c = 1/α,以及 Marcinkiewicz–Zygmund

设 ((取 级数收敛 所以

例如 但 和的「真实尺度」是 恰好是单项最大值 的尺度(参照第 2 题 例 5 的 Pareto 分布)。

一般推论:对 取 由尾级数判别它有限 所以( 时)

这就是 Marcinkiewicz–Zygmund 强大数定律在 时的内容(Durrett 第 2.5 节讨论了这一族结论, 的情形另需

例 3:Cauchy 分布——在对数尺度上精确地分界

标准 Cauchy:

  • 所以
  • 所以

有意思的是: 对每个 都是标准 Cauchy(第 4 题 例 4),所以 依概率趋于 0;可它的上极限几乎必然是 造成这件事的是极少数巨大的单项。用 Python 计算「 中单项超过门槛的期望次数」

4.59 7.52 10.45
2.08 2.40 2.62
1.44 1.48 1.49

第二行趋于无穷,但慢得惊人(大约按 增长), 步里平均也只有 2–3 次;第三行收敛(总和约 1.53)。所以这类结论很难靠模拟「看到」,必须靠证明。

例 4:模拟——同一个分布,两个尺度

取 ( 均匀,用 Python 模拟 400 条路径(固定随机种子),在每个十倍区间 上记录

区间
中位数 32.2 30.8 23.5 30.2
超过 10 的路径比例 0.72 0.71 0.71 0.73
中位数 2.33 0.698 0.178 0.064
超过 0.1 的路径比例 0.99 0.87 0.63 0.42

时(级数 收敛)每个区间的最大值稳定下降,大约每十倍缩小 3 倍:趋于 0。 时(级数 发散)每个区间都有约 70% 的路径超过 10,不随区间衰减:比值永远不会安定下来,这与 一致(真正冲到无穷要非常长的时间,见例 3)。

拓展延伸

Kronecker 引理的证明:分部求和

令 (有限)。则 令 分部求和:

权重 加起来等于 1,所以第二项是 的加权平均。 意味着任何固定的前几项权重都趋于 0,加权平均于是趋于 两项之差

一级数定理的证明:极大不等式 ⇒ 部分和是 Cauchy 列

令 对 把极大不等式用在 上:

令 (事件递增,从下连续),左边趋于 而 包含在这个事件里(上确界严格大于 就有某一项 所以 (记 它随 递减到某个 且 任意, 几乎必然,即部分和是 Cauchy 列,几乎必然收敛。

更一般的 Kolmogorov 三级数定理(Durrett 定理 2.5.8)给出独立级数 几乎必然收敛的充要条件:对某个 三个级数都收敛。本题第二部分的结构(截断概率可求和、均值项、方差项)正是它的影子。

为什么只能是 0 或 ∞?0-1 律给出「常数」,本题给出「是哪个常数」

改动有限个 只变一个固定的有限量,除以 后不影响上极限。所以 是「尾随机变量」,由 Kolmogorov 0-1 律(Durrett 定理 2.5.3,小测 2 第 4 题)它几乎必然是一个常数(可以是 0-1 律不告诉我们是哪个常数;本题说,均值无穷时这个常数不可能落在 里。

对比均值有限、方差有限的情形: 时,重对数律(Hartman–Wintner,这里只介绍)给出 一个有限正数。均值无穷时没有这种「恰好合适」的尺度:和被少数巨大的项支配,尺度稍微小一点就是 稍微大一点就是 0。

第二部分就是强大数定律的证明

若 同样的「截断 + 方差求和 + 一级数定理 + Kronecker」(取 截断 证明强大数定律 (Durrett 第 2.5 节给出的强大数定律的第二种证明)。区别在均值项:那里 (由控制收敛),而不是 0。

常见疑问与易错点

易错点问:为什么一定要截断?直接对 Xₙ/aₙ 用一级数定理不行吗?

答: 的方差和均值都不存在,一级数定理无从用起。截断后 有界,所有矩都有;截断水平选 代价(的概率之和恰好是题目假设里的级数,有限,BC I 说代价只付有限次。截断水平选得太低(例如固定常数),代价会付无穷多次;选得太高,方差和会发散。

易错点问:0 的情形 Sₙ/aₙ → 0,是不是说 Sₙ 很小?

答:不是。 本身可以趋于无穷,而且增长得比 快得多(均值无穷)。结论只说 增长得更快。例 2 中 时 大约是 的量级, 只说明它比 小。

易错点问:第一部分里,为什么不能只看 k = 1?

答: 只给出 无穷多次,从而 是一个有限的下界。要得到 必须对每个 都有 无穷多次;第 1 步的不等式 正是为此准备的,它用到 即 不减。

易错点问:既然 Sₙ/(n log n) 对 Cauchy 依概率趋于 0,为什么上极限却是 ∞?

答:依概率收敛只看每个固定时刻(第 3 讲 第 14 页): 大的概率趋于 0。上极限看整条路径:只要单项 无穷多次发生(概率之和发散,独立,BC II),路径就会无穷多次冲高。两者并不矛盾,这和打字机序列(第 3 讲 第 15 页)是同一种现象。

小结与自测

小结本题小结
  • 结论:i.i.d., 不减,则 几乎必然为 0 或 按 有限或无穷而定。
  • BC II 给出 无穷多次,再用
  • 0:截断 (BC I 只改动有限项);一级数定理 + Kronecker 给出 (这里用 给出
  • 原解答:照搬 Durrett,但「为什么检查这两件事就够」(一级数定理、Kronecker、截断只改有限项)没有说明; 应为 未定义;「(sufficiently)」应为常数 2; 应为 应先固定再趋于无穷。
自测

1. 设 (求 和

点开看答案

所以 (所以 两个尺度都满足 不减。

2. 判断:若 则对任何满足 不减的 都不收敛到 0。

点开看答案

错误。第 1 题就是反例: 时 只排除了 (以及 有界)的情形:那时

3. 第二部分第 5 步里,为什么要先固定 让 再让

点开看答案

第一项 只有在 固定时才能由 推出趋于 0;第二项的界 不依赖 只有让 才变小。所以先对固定 得到 左边不依赖 再令 原解答「 grows sufficiently slowly」是让 随 变化,这也能做,但它没有说明 怎样选,两个极限的关系就没交代清楚。

本页术语中英对照(按出现顺序)
中文English白话解释
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
Borel–Cantelli 引理Borel–Cantelli lemma概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。
Kronecker 引理Kronecker's lemma若 0 < aₙ ↑ ∞ 且级数 ∑ xₙ/aₙ 收敛,则 (x₁ + ⋯ + xₙ)/aₙ → 0:把「级数收敛」翻译成「平均趋于 0」。
强大数定律strong law of large numbers (SLLN)独立同分布且 E|X₁| < ∞ 时,样本均值 Sₙ/n 几乎必然收敛到 E X₁。
级数series无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。
方差varianceVar X = E[(X − E X)²],衡量随机变量围绕均值的波动大小。
独立independence任意有限个事件同时发生的概率等于各自概率的乘积。
阶矩momentE[|X|ᵖ] 叫 p 阶(绝对)矩;它有限与否反映尾部有多「重」。
Kolmogorov 极大不等式Kolmogorov's maximal inequality独立、均值 0、方差有限时,P(max(|S₁|, …, |Sₙ|) ≥ λ) ≤ Var(Sₙ)/λ²:控制的是整条路径的最大值,而不只是终点。
上极限limit superior (lim sup)数列「尾部的最大可能值」的极限;对集合则表示「发生无穷多次」。
单调递增nondecreasing后一项不小于前一项;单调有界的数列一定有极限。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
Tonelli 定理Tonelli's theoremf 非负可测、两个测度 σ-有限时,二重积分等于两种顺序的累次积分,三者可以同时为 ∞。
计数测度counting measureμ(A) = A 中元素的个数(无限集记为 ∞)。在 ℕ 上对它积分就是求和。
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
部分和partial sum级数 a₁ + a₂ + … 的前 n 项之和 Sₙ = a₁ + … + aₙ;级数的值就是 Sₙ 在 n → ∞ 时的极限。
可求和summable非负数列的级数和有限:Σ aₙ < ∞。例如 Σ 1/n² 可求和,Σ 1/n 不可求和(和是 +∞)。
独立同分布independent and identically distributed (i.i.d.)一列随机变量相互独立,并且分布都相同,例如反复独立地掷同一颗骰子。
三角不等式triangle inequality|a + b| ≤ |a| + |b|:分两段走的总路程不会比直接走更短。推广有 |∫f| ≤ ∫|f|、E|X + Y| ≤ E|X| + E|Y|,以及 Lᵖ 范数的 Minkowski 不等式。
上界upper bound数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
累积分布函数cumulative distribution function (CDF)F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。
从下连续continuity from below集合一层层变大(Eₙ ↑ E)时,测度也跟着收敛:μ(Eₙ) → μ(E)。
上确界supremum (sup)最小的上界。最大值不一定存在,但有上界的实数集一定有上确界。
Kolmogorov 0-1 律Kolmogorov's zero–one law独立随机变量序列的尾事件(改动前面有限项不受影响的事件)概率只能是 0 或 1。
下界lower bound数集 A 的下界是一个数 m,A 里每个数都 ≥ m。例如 0 和 −3 都是 (0,1] 的下界;所有下界中最大的那个叫下确界。
依概率收敛convergence in probability对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。
打字机序列typewriter sequence在 [0,1) 上从左到右一遍遍扫过、越来越窄的小区间的示性函数列:依概率收敛到 0,却在每一点都不收敛。