这道题在问什么
独立同分布的 若 会发生两件事:(1) 观测值会无穷多次大到超过自己的下标,即 无穷多次(概率 1);(2) 因此样本均值 几乎必然没有有限的极限。第一件事用「尾级数比较 + 第二 Borel–Cantelli 引理」;第二件事用一个恒等式: 若收敛,相邻两个平均值之差必须趋于 0,可每当 这个差都要跳一大步。
- 考点:期望与尾级数的比较(第 3 讲 第 12 页);第二 Borel–Cantelli 引理(第 3 讲 第 7 页);收敛数列「相邻两项之差趋于 0」。第一部分其实就是第 3 讲 第 13 页 定理 9 取斜率 的情形。
- 这道题的意义:强大数定律说 时 几乎必然。本题说明这个条件不能去掉:对独立同分布序列,「 收敛到有限数」与「是等价的。
- 和其他题的关系:第 2 题、第 4 题、第 5 题 也用第二引理把「概率之和发散」变成「发生无穷多次」。作业 2 第 5 题 把本题推广到一般的除数
先补基础
- 独立同分布(i.i.d.,independent and identically distributed): 相互独立,而且每个 的分布都和 一样(第 3 讲 第 6 页 补充定义)。所以对任何博雷尔集
- 部分和:样本均值:前 次观测的平均。
- 小例子:抛一枚均匀硬币,正面记 1、反面记 0。 是前 次的正面个数, 是正面的比例,直觉上它应当趋于 本题要说的是:如果单次观测的平均大小是无穷,这种「平均值稳定下来」的现象就不会发生。
- 相邻部分和之差就是单项:本题第二部分的全部技巧都来自这一行。
设 是有限实数。
- 相邻两项之差趋于 0:逆否说法:若 对无穷多个 成立, 就不可能收敛到有限数。
- 有界乘以趋于 0 还是趋于 0:若 则
注意性质 1 只能单向使用: 的相邻差 可它趋于 另外,「是说「极限存在并且是有限数」;(极限不存在)和 (极限是 都不满足。
强大数定律(strong law of large numbers,SLLN):若 独立同分布,且 则
出处:Durrett《Probability: Theory and Examples》第 2.4 节。小例子:于是 a.s.(「例子」一节有模拟)。原解答最后一句说的「necessary for SLLN」,就是指本题证明了这个定理里的条件 去不掉。
题目与原解答
- If are i.i.d. with , then . So if then
- 若 独立同分布,且 则 因此,若记 则
- 题目有两个结论,用「So」(因此)连接:第二个结论要用第一个结论来证。
- 的意思是「极限存在且有限」。题目没有排除 这种情形(例 2 就是这样)。
- 写成 还是 都一样:同分布,所有 相等。
原解答的思路(左栏):
- 由 得级数发散,再由独立同分布和第二 Borel–Cantelli 引理得
- 恒等式 在 上
- 在 上,相邻平均值之差 无穷多次,与收敛矛盾,所以交集是空集,
这正是 Durrett 教材里的证明,思路完全正确,但有几处跳步(求和从 开始、 与 从哪里来)和一处笔误,见「原解答逐行对照」。
思路:怎么想到的
- 第一部分是「无穷多次」,找第二引理。要证某个事件以概率 1 发生无穷多次,标准工具是第二 Borel–Cantelli 引理。它要两样东西:事件独立(题目给了独立)、概率之和发散(要从 得到)。
- 同分布把概率之和变成尾级数。 和 一样,于是 只和 的尾巴有关。「期望无穷 ⇒ 尾级数无穷」正是第 3 讲 第 12 页 的上阶梯不等式。
- 第二部分:怎样把「平均值」和「单项」联系起来? 单项可以从部分和里「减」出来:如果 稳定在某个有限数附近,相邻两个平均值几乎一样,那么单项 相对 必须很小。
- 可第一部分说单项无穷多次「很大」: 无穷多次。两者矛盾,所以「平均值收敛」只能发生在概率 0 的事件上。恒等式只是把这个想法写成精确的算式。
完整解答
设 是独立同分布的实值随机变量,则
- 记 为「极限 存在且是有限实数」的那些 组成的事件,即 则
第一部分:上阶梯不等式 ⇒ 尾级数发散(去掉 那一项)⇒ 同分布把它变成 ⇒ 独立 + 第二引理。第二部分:在 上,恒等式左边和右边第一项都趋于 0;第一部分给出右边第二项无穷多次绝对值 矛盾,所以 与「 无穷多次」不相交。
第一部分:|Xₙ| ≥ n 无穷多次
第 1 步:尾级数发散。 令 由「先补基础」的上阶梯不等式,
左边是 右边第一项不超过 1,所以第二项必须是
为什么要去掉 这一项:下一步要把第 项换成 的事件,而序列里没有 去掉一个不超过 1 的有限项,不改变级数是否发散。
第 2 步:换成 的事件。 令 因为 又因为 与 同分布,
第 3 步:独立 + 第二引理。 是闭集,因而是博雷尔集。 相互独立,所以 相互独立。由第二 Borel–Cantelli 引理,即
第二部分:Sₙ/n 没有有限极限
第 4 步:恒等式。 由
(
第 5 步:在 上,两项都趋于 0。 取 记 它是有限实数。
- 左边:由「先补基础」性质 1,
- 右边第一项:由性质 2,趋于
所以存在 使 时
第 6 步:再在「 无穷多次」上,推出矛盾。 假设 同时属于 满足 的 有无穷多个,其中有无穷多个 对每个这样的 令 则 对这些 由第 4 步和三角不等式
这样的 有无穷多个,所以左边不趋于 0,与第 5 步矛盾。因此
第 7 步:结论。 由第 6 步,由第 3 步,后者的概率是 所以
第 5–6 步的另一种说法(第 3 讲 第 13 页 的写法):在 上,由第 4 步,即 而在 上 无穷多次。两者不能同时成立。原解答的「只是把这个矛盾写成了具体的数。
原解答逐行对照
第 1 行 We have .
等号是尾积分公式,不等号是上阶梯(每段 上,尾函数不超过左端点的值)。两步都对。
- 不等式右边从 开始,首项是 序列里却没有 要用第二引理,必须先说明 首项不超过 1,去掉它不改变发散(完整解答第 1 步)。
- 级数里是 要证的事件却是 需要补一句:第二个等号用同分布(完整解答第 2 步)。
第 2 行 Since and are i.i.d., it follows from the second Borel-Cantelli lemma that .
这一句把三件事压在了一起:期望无穷 ⇒ 级数发散;同分布 ⇒ 级数就是 独立 ⇒ 事件 独立,可以用第二引理。
第二引理要求的是事件相互独立、事件的概率之和发散。「i.i.d.」里的「同分布」负责后者(把概率换成 的尾概率),「独立」负责前者(只写「i.i.d.」,读者看不出两个字分别用在哪里。
第 3 行 To prove the second claim, observe that .
代数恒等式,验算见完整解答第 4 步,正确。
第 4 行 and on , .
理由:前一个因子收敛到有限数,后一个趋于 0。这里有限二字是关键:若 这个乘积就不一定趋于 0。
第 5 行 So, on , we have i.o.
意思是:于是在 上,相邻两个平均值之差 有无穷多次大于
需要补两点:(1) 由上一行, 足够大以后 (2) 「 无穷多次」等价于「 无穷多次」(下标平移一位,无穷多个仍是无穷多个),所以有无穷多个足够大的 使 对这些 三角不等式给出差值 (完整解答第 6 步)。 本身没有特别含义,换成 里的任何数都行。
第 6–7 行 contradicting the fact that … and since , it follows that .
矛盾的理由: 时 收敛到有限数,相邻两项之差必须趋于 0(先补基础性质 1),不能无穷多次 交集为空 ⇒ 含在一个概率为 0 的事件里。正确。
第 8 行 It also showed that is necessary for SLLN.
意思是:这也说明 是强大数定律(SLLN)成立的必要条件(原文写成 是笔误)。
- 应为 It also showed 应为 This also shows。
- 「必要」的准确说法:对独立同分布序列,若 以正概率收敛到有限数,则 (这是本题的逆否命题);再由强大数定律,此时极限就是 所以「 几乎必然收敛到有限数」
例子与数值验证
服从标准柯西分布,( 大时)。
越线次数:前 项中满足 的平均个数是 Python 算得: 时约 时约 大致像 那样增长——极慢,但趋于无穷,和第二引理一致。
一条模拟路径(满足 的 是 1、51、6462、6971、40758、54697、628362、991742,共 8 次。在其中几次,相邻平均值之差 分别为: 时 时 时 绝对值都远大于 在 的值依次是 −0.544、0.554、−0.007、1.058、0.957、3.399,看不出任何稳定的迹象。
很多条路径:一个已知事实(用特征函数可以证明,这里作为已知结论使用)是 本身仍服从标准柯西分布,所以 对每个 都成立。模拟 2 万条路径, 时 的比例是 平均 1000 个数并没有让结果更集中。
独立、在 上均匀,由本题, 没有有限极限。但由于 实际发生的是 几乎必然(Durrett 第 2.4 节;思路:把 截断成 对截断后的变量用强大数定律,再让
一条模拟路径(Python,numpy.random.default_rng(1))上 的值(括号里是 时 ( 时 ( 时 ( 时 ( 时 ( 时 (第 项出现了一个约 的巨大观测值,一下子把平均值从 抬到 此后慢慢回落,但整体趋势随 一起往上走。
这说明题目写 是有意的:结论只排除有限极限,不排除
令 服从标准柯西分布,每个 同分布,但不独立。
- 第一个结论失败: 是有限数, 只对有限个 成立,所以 证明坏在第 3 步:事件 一个套一个,不独立,第二引理用不上,尽管概率之和照样发散。
- 第二个结论失败:对每个 都收敛到有限数 所以
独立同分布,
- 由第一引理, 只发生有限次(第 3 讲 第 11 页 推论 8 说得更多: a.s.)。
- 强大数定律:一条模拟路径在 的值是 0.885、0.955、0.970、0.986、0.997、1.001,稳稳地靠近 1。
拓展延伸
强大数定律及其逆:独立同分布时的完整图景
更强的结论:lim sup |Sₙ|/n = ∞
第 3 讲 第 13 页 定理 9 说 a.s.。由
若某个 上 则 足够大时右边两项都 于是 与 矛盾(除了一个概率 0 的事件)。所以 a.s.:平均值不仅不收敛,而且无界。作业 2 第 5 题 进一步把除数 换成一般的
C 是一个事件吗?
要谈 必须属于 数列收敛到有限数等价于它是柯西列(任给 从某项起任意两项之差 所以
里面每个集合都是事件( 是随机变量),外面只用了可数次交、并,所以
常见疑问与易错点
答:不是。 包含两种情况:极限是 (例 2,非负的 或者极限根本不存在(例 1,柯西变量的平均值来回跳)。本题只说「有限极限」几乎不可能。
答:没有直接用到。第 4–7 步只用了恒等式和极限运算,对任何序列都成立;独立性只通过第一部分的结论「进入。例 3 说明,一旦第一部分失败,第二部分也会失败。
答:行。只要先取 使 时 (就得到差值 无穷多次。原解答取 所以是 重要的是这个下界是一个固定的正数,而收敛要求差值趋于 0。
答:因为这不对。柯西分布的 但和 发散。第二引理要的正是「和发散」,不是「各项不趋于 0」。「各项趋于 0 但和发散」恰好是期望无穷时的典型样子。
小结与自测
- 第一部分: ⇒(去掉首项) ⇒(同分布、 比 大) ⇒(独立 + 第二引理) 无穷多次。
- 第二部分:在 上左边与右边第一项都趋于 0,而第二项无穷多次绝对值 所以 与「 i.o.」不相交,
- 意义:独立同分布时, 收敛到有限数 (强大数定律的逆);去掉独立,结论失败。
- 原解答要补的地方:求和首项、 与 第二引理的条件来源、 的来历;笔误 应为
1. 独立同分布,(按完整解答第 1–3 步,验证
点开看答案
直接看级数也行:(调和级数去掉首项)。事件 由独立的 决定,相互独立,由第二引理得结论。
2. 只用第 4 步的恒等式,证明:在 上
点开看答案
恒等式改写为 在 上 (有限),第一项 括号里是相邻两项之差,也 所以 即
3. 判断:「若 独立同分布且 则 几乎必然。」
点开看答案
错误。柯西分布时 仍服从标准柯西分布(已知事实), 对所有 成立。若 a.s.,由「几乎必然收敛 ⇒ 依概率收敛」的同样论证(第 3 讲 第 14 页),应有 矛盾。本题只排除有限极限;平均值可以像例 1 那样来回跳,也可以像例 2 那样趋于
| 中文 | English | 白话解释 |
|---|---|---|
| 独立同分布 | independent and identically distributed (i.i.d.) | 一列随机变量相互独立,并且分布都相同,例如反复独立地掷同一颗骰子。 |
| 无穷多次 | infinitely often (i.o.) | 「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。 |
| 几乎必然收敛 | almost sure convergence | 除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。 |
| Borel–Cantelli 引理 | Borel–Cantelli lemma | 概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。 |
| 级数 | series | 无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。 |
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| 强大数定律 | strong law of large numbers (SLLN) | 独立同分布且 E|X₁| < ∞ 时,样本均值 Sₙ/n 几乎必然收敛到 E X₁。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| 独立 | independence | 任意有限个事件同时发生的概率等于各自概率的乘积。 |
| 博雷尔 σ-代数 | Borel sigma-algebra | 由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。 |
| 部分和 | partial sum | 级数 a₁ + a₂ + … 的前 n 项之和 Sₙ = a₁ + … + aₙ;级数的值就是 Sₙ 在 n → ∞ 时的极限。 |
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 函数 | function / map | f: A → B 给 A 中每个元素指定 B 中唯一一个元素。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 空集 | empty set | 一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。 |
| 交集 | intersection | 同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。 |
| 三角不等式 | triangle inequality | |a + b| ≤ |a| + |b|:分两段走的总路程不会比直接走更短。推广有 |∫f| ≤ ∫|f|、E|X + Y| ≤ E|X| + E|Y|,以及 Lᵖ 范数的 Minkowski 不等式。 |
| 尾概率 | tail probability | 随机变量取到「很大的值」的概率,例如 P(X > t) 或 P(|X| ≥ t)。它随 t 增大而下降得越慢,分布的尾巴就越「厚」。 |
| 特征函数 | characteristic function | φ_X(t) = E e^{itX}(i 是虚数单位),把一个分布编码成一个函数:两个随机变量同分布 ⟺ 特征函数相同。本课没有讲它,作业里只当作已知工具提到。 |
| 集合 | set | 把一些对象放在一起当成一个整体,例如 {1,2,3}。 |
| 可数 | countable | 元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。 |
| 下界 | lower bound | 数集 A 的下界是一个数 m,A 里每个数都 ≥ m。例如 0 和 −3 都是 (0,1] 的下界;所有下界中最大的那个叫下确界。 |
| 依概率收敛 | convergence in probability | 对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。 |

