高等概率论逐页精讲

作业 1 Borel–Cantelli 引理、概率不等式与收敛定理›Borel–Cantelli 引理的应用

第 3 题 / 共 12 题解答原页 第 1–2 页证明题

均值无穷时 |Xₙ| ≥ n 无穷多次,Sₙ/n 没有有限极限

E|X| = ∞: |Xₙ| ≥ n i.o., and Sₙ/n has no finite limit

解答原页第 1 页(本题所在部分)
解答原页第 2 页(本题所在部分)
解答原页第 1–2 页(本题部分)· 点击图片看整页

这道题在问什么

人话版一句话版

独立同分布的 若 会发生两件事:(1) 观测值会无穷多次大到超过自己的下标,即 无穷多次(概率 1);(2) 因此样本均值 几乎必然没有有限的极限。第一件事用「尾级数比较 + 第二 Borel–Cantelli 引理」;第二件事用一个恒等式: 若收敛,相邻两个平均值之差必须趋于 0,可每当 这个差都要跳一大步。

  • 考点:期望与尾级数的比较(第 3 讲 第 12 页);第二 Borel–Cantelli 引理(第 3 讲 第 7 页);收敛数列「相邻两项之差趋于 0」。第一部分其实就是第 3 讲 第 13 页 定理 9 取斜率 的情形。
  • 这道题的意义:强大数定律说 时 几乎必然。本题说明这个条件不能去掉:对独立同分布序列,「 收敛到有限数」与「是等价的。
  • 和其他题的关系:第 2 题、第 4 题、第 5 题 也用第二引理把「概率之和发散」变成「发生无穷多次」。作业 2 第 5 题 把本题推广到一般的除数

先补基础

基础补课独立同分布、部分和与样本均值
  • 独立同分布(i.i.d.,independent and identically distributed): 相互独立,而且每个 的分布都和 一样(第 3 讲 第 6 页 补充定义)。所以对任何博雷尔集
  • 部分和:样本均值:前 次观测的平均。
  • 小例子:抛一枚均匀硬币,正面记 1、反面记 0。 是前 次的正面个数, 是正面的比例,直觉上它应当趋于 本题要说的是:如果单次观测的平均大小是无穷,这种「平均值稳定下来」的现象就不会发生。
  • 相邻部分和之差就是单项:本题第二部分的全部技巧都来自这一行。
基础补课E|X₁| = ∞ 的意思,以及「期望 ≤ 上阶梯」
  • 对非负随机变量 尾积分公式:(第 2 讲 第 12 页、第 21 页 推论 21 取 人话:期望是尾函数 曲线下方的面积。
  • 尾函数是递减的: 越大,「越难发生。所以在 上,曲线不高于左端点的值。把每一段的面积换成「宽 1、高 的矩形,矩形盖住曲线,得到

这就是第 3 讲 第 12 页 的「上阶梯」不等式。

  • 不是说 会取到 每个 都是有限实数,只是大值出现得不够罕见,平均起来没有上限。例: 在 上均匀,(柯西分布(密度 也是
基础补课第二 Borel–Cantelli 引理(回顾)

若事件 相互独立,且 则 (第 3 讲 第 7 页 定理 4)。「i.o.」是 infinitely often(无穷多次)的缩写:(第 3 讲 第 3 页)。

独立随机变量 ⇒ 独立事件:若 相互独立, 是博雷尔集,则事件 (相互独立(第 3 讲 第 6 页)。本题用

基础补课数列极限的两条小性质

设 是有限实数。

  1. 相邻两项之差趋于 0:逆否说法:若 对无穷多个 成立, 就不可能收敛到有限数。
  2. 有界乘以趋于 0 还是趋于 0:若 则

注意性质 1 只能单向使用: 的相邻差 可它趋于 另外,「是说「极限存在并且是有限数」;(极限不存在)和 (极限是 都不满足。

基础补课强大数定律(讲义尚未讲,这里作为已知结论使用)

强大数定律(strong law of large numbers,SLLN):若 独立同分布,且 则

出处:Durrett《Probability: Theory and Examples》第 2.4 节。小例子:于是 a.s.(「例子」一节有模拟)。原解答最后一句说的「necessary for SLLN」,就是指本题证明了这个定理里的条件 去不掉。

题目与原解答

课件原文题目
  1. If are i.i.d. with , then . So if then
中文翻译
  1. 若 独立同分布,且 则 因此,若记 则
  • 题目有两个结论,用「So」(因此)连接:第二个结论要用第一个结论来证。
  • 的意思是「极限存在且有限」。题目没有排除 这种情形(例 2 就是这样)。
  • 写成 还是 都一样:同分布,所有 相等。

原解答的思路(左栏):

  1. 由 得级数发散,再由独立同分布和第二 Borel–Cantelli 引理得
  2. 恒等式 在 上
  3. 在 上,相邻平均值之差 无穷多次,与收敛矛盾,所以交集是空集,

这正是 Durrett 教材里的证明,思路完全正确,但有几处跳步(求和从 开始、 与 从哪里来)和一处笔误,见「原解答逐行对照」。

思路:怎么想到的

  1. 第一部分是「无穷多次」,找第二引理。要证某个事件以概率 1 发生无穷多次,标准工具是第二 Borel–Cantelli 引理。它要两样东西:事件独立(题目给了独立)、概率之和发散(要从 得到)。
  2. 同分布把概率之和变成尾级数。 和 一样,于是 只和 的尾巴有关。「期望无穷 ⇒ 尾级数无穷」正是第 3 讲 第 12 页 的上阶梯不等式。
  3. 第二部分:怎样把「平均值」和「单项」联系起来? 单项可以从部分和里「减」出来:如果 稳定在某个有限数附近,相邻两个平均值几乎一样,那么单项 相对 必须很小。
  4. 可第一部分说单项无穷多次「很大」: 无穷多次。两者矛盾,所以「平均值收敛」只能发生在概率 0 的事件上。恒等式只是把这个想法写成精确的算式。

完整解答

定理命题(一阶矩无穷时样本均值不收敛)

设 是独立同分布的实值随机变量,则

  1. 记 为「极限 存在且是有限实数」的那些 组成的事件,即 则
推导证明思路

第一部分:上阶梯不等式 ⇒ 尾级数发散(去掉 那一项)⇒ 同分布把它变成 ⇒ 独立 + 第二引理。第二部分:在 上,恒等式左边和右边第一项都趋于 0;第一部分给出右边第二项无穷多次绝对值 矛盾,所以 与「 无穷多次」不相交。

第一部分:|Xₙ| ≥ n 无穷多次

第 1 步:尾级数发散。 令 由「先补基础」的上阶梯不等式,

左边是 右边第一项不超过 1,所以第二项必须是

为什么要去掉 这一项:下一步要把第 项换成 的事件,而序列里没有 去掉一个不超过 1 的有限项,不改变级数是否发散。

第 2 步:换成 的事件。 令 因为 又因为 与 同分布,

第 3 步:独立 + 第二引理。 是闭集,因而是博雷尔集。 相互独立,所以 相互独立。由第二 Borel–Cantelli 引理,即

第二部分:Sₙ/n 没有有限极限

第 4 步:恒等式。 由

(

第 5 步:在 上,两项都趋于 0。 取 记 它是有限实数。

  • 左边:由「先补基础」性质 1,
  • 右边第一项:由性质 2,趋于

所以存在 使 时

第 6 步:再在「 无穷多次」上,推出矛盾。 假设 同时属于 满足 的 有无穷多个,其中有无穷多个 对每个这样的 令 则 对这些 由第 4 步和三角不等式

这样的 有无穷多个,所以左边不趋于 0,与第 5 步矛盾。因此

第 7 步:结论。 由第 6 步,由第 3 步,后者的概率是 所以

第 5–6 步的另一种说法(第 3 讲 第 13 页 的写法):在 上,由第 4 步,即 而在 上 无穷多次。两者不能同时成立。原解答的「只是把这个矛盾写成了具体的数。

原解答逐行对照

第 1 行 We have .

等号是尾积分公式,不等号是上阶梯(每段 上,尾函数不超过左端点的值)。两步都对。

易错点原解答的问题:求和从 n = 0 开始,还要从「>」过渡到「≥」
  • 不等式右边从 开始,首项是 序列里却没有 要用第二引理,必须先说明 首项不超过 1,去掉它不改变发散(完整解答第 1 步)。
  • 级数里是 要证的事件却是 需要补一句:第二个等号用同分布(完整解答第 2 步)。

第 2 行 Since and are i.i.d., it follows from the second Borel-Cantelli lemma that .

这一句把三件事压在了一起:期望无穷 ⇒ 级数发散;同分布 ⇒ 级数就是 独立 ⇒ 事件 独立,可以用第二引理。

易错点原解答的问题:第二引理的两个条件各从哪里来,应当写明

第二引理要求的是事件相互独立、事件的概率之和发散。「i.i.d.」里的「同分布」负责后者(把概率换成 的尾概率),「独立」负责前者(只写「i.i.d.」,读者看不出两个字分别用在哪里。

第 3 行 To prove the second claim, observe that .

代数恒等式,验算见完整解答第 4 步,正确。

第 4 行 and on , .

理由:前一个因子收敛到有限数,后一个趋于 0。这里有限二字是关键:若 这个乘积就不一定趋于 0。

第 5 行 So, on , we have i.o.

意思是:于是在 上,相邻两个平均值之差 有无穷多次大于

易错点原解答的问题:「> 2/3」的来历没有交代

需要补两点:(1) 由上一行, 足够大以后 (2) 「 无穷多次」等价于「 无穷多次」(下标平移一位,无穷多个仍是无穷多个),所以有无穷多个足够大的 使 对这些 三角不等式给出差值 (完整解答第 6 步)。 本身没有特别含义,换成 里的任何数都行。

第 6–7 行 contradicting the fact that … and since , it follows that .

矛盾的理由: 时 收敛到有限数,相邻两项之差必须趋于 0(先补基础性质 1),不能无穷多次 交集为空 ⇒ 含在一个概率为 0 的事件里。正确。

第 8 行 It also showed that is necessary for SLLN.

意思是:这也说明 是强大数定律(SLLN)成立的必要条件(原文写成 是笔误)。

易错点原解答的问题:笔误 E[|X|₁],以及「必要」的确切含义
  • 应为 It also showed 应为 This also shows。
  • 「必要」的准确说法:对独立同分布序列,若 以正概率收敛到有限数,则 (这是本题的逆否命题);再由强大数定律,此时极限就是 所以「 几乎必然收敛到有限数」

例子与数值验证

例 1:独立同分布的柯西变量——平均值永远在跳

服从标准柯西分布,( 大时)。

越线次数:前 项中满足 的平均个数是 Python 算得: 时约 时约 大致像 那样增长——极慢,但趋于无穷,和第二引理一致。

一条模拟路径(满足 的 是 1、51、6462、6971、40758、54697、628362、991742,共 8 次。在其中几次,相邻平均值之差 分别为: 时 时 时 绝对值都远大于 在 的值依次是 −0.544、0.554、−0.007、1.058、0.957、3.399,看不出任何稳定的迹象。

很多条路径:一个已知事实(用特征函数可以证明,这里作为已知结论使用)是 本身仍服从标准柯西分布,所以 对每个 都成立。模拟 2 万条路径, 时 的比例是 平均 1000 个数并没有让结果更集中。

例 2:非负的 1/U——极限存在,但等于 +∞

独立、在 上均匀,由本题, 没有有限极限。但由于 实际发生的是 几乎必然(Durrett 第 2.4 节;思路:把 截断成 对截断后的变量用强大数定律,再让

一条模拟路径(Python,numpy.random.default_rng(1))上 的值(括号里是 时 ( 时 ( 时 ( 时 ( 时 ( 时 (第 项出现了一个约 的巨大观测值,一下子把平均值从 抬到 此后慢慢回落,但整体趋势随 一起往上走。

这说明题目写 是有意的:结论只排除有限极限,不排除

例 3(反例):去掉独立,两个结论都会失败

令 服从标准柯西分布,每个 同分布,但不独立。

  • 第一个结论失败: 是有限数, 只对有限个 成立,所以 证明坏在第 3 步:事件 一个套一个,不独立,第二引理用不上,尽管概率之和照样发散。
  • 第二个结论失败:对每个 都收敛到有限数 所以
例 4(对照):一阶矩有限时一切正常

独立同分布,

  • 由第一引理, 只发生有限次(第 3 讲 第 11 页 推论 8 说得更多: a.s.)。
  • 强大数定律:一条模拟路径在 的值是 0.885、0.955、0.970、0.986、0.997、1.001,稳稳地靠近 1。

拓展延伸

强大数定律及其逆:独立同分布时的完整图景

把本题和强大数定律合起来,对独立同分布序列:

而且本题说明「收敛到有限数」的概率只能是 0 或 1,没有中间情况。这和第 3 讲 第 11 页、第 13 页 的二分法( a.s. 是平行的:单项的次线性增长和平均值的收敛,由同一个条件决定。

更强的结论:lim sup |Sₙ|/n = ∞

第 3 讲 第 13 页 定理 9 说 a.s.。由

若某个 上 则 足够大时右边两项都 于是 与 矛盾(除了一个概率 0 的事件)。所以 a.s.:平均值不仅不收敛,而且无界。作业 2 第 5 题 进一步把除数 换成一般的

C 是一个事件吗?

要谈 必须属于 数列收敛到有限数等价于它是柯西列(任给 从某项起任意两项之差 所以

里面每个集合都是事件( 是随机变量),外面只用了可数次交、并,所以

常见疑问与易错点

易错点问:P(C) = 0 是不是说 Sₙ/n → +∞ 或 −∞?

答:不是。 包含两种情况:极限是 (例 2,非负的 或者极限根本不存在(例 1,柯西变量的平均值来回跳)。本题只说「有限极限」几乎不可能。

易错点问:第二部分用到独立性了吗?

答:没有直接用到。第 4–7 步只用了恒等式和极限运算,对任何序列都成立;独立性只通过第一部分的结论「进入。例 3 说明,一旦第一部分失败,第二部分也会失败。

易错点问:为什么是 2/3?换成 1/2 行不行?

答:行。只要先取 使 时 (就得到差值 无穷多次。原解答取 所以是 重要的是这个下界是一个固定的正数,而收敛要求差值趋于 0。

易错点问:第一部分为什么不能直接说「E|X₁| = ∞,所以 P(|X_n| ≥ n) 不趋于 0」?

答:因为这不对。柯西分布的 但和 发散。第二引理要的正是「和发散」,不是「各项不趋于 0」。「各项趋于 0 但和发散」恰好是期望无穷时的典型样子。

小结与自测

小结本题小结
  • 第一部分: ⇒(去掉首项) ⇒(同分布、 比 大) ⇒(独立 + 第二引理) 无穷多次。
  • 第二部分:在 上左边与右边第一项都趋于 0,而第二项无穷多次绝对值 所以 与「 i.o.」不相交,
  • 意义:独立同分布时, 收敛到有限数 (强大数定律的逆);去掉独立,结论失败。
  • 原解答要补的地方:求和首项、 与 第二引理的条件来源、 的来历;笔误 应为
自测

1. 独立同分布,(按完整解答第 1–3 步,验证

点开看答案

直接看级数也行:(调和级数去掉首项)。事件 由独立的 决定,相互独立,由第二引理得结论。

2. 只用第 4 步的恒等式,证明:在 上

点开看答案

恒等式改写为 在 上 (有限),第一项 括号里是相邻两项之差,也 所以 即

3. 判断:「若 独立同分布且 则 几乎必然。」

点开看答案

错误。柯西分布时 仍服从标准柯西分布(已知事实), 对所有 成立。若 a.s.,由「几乎必然收敛 ⇒ 依概率收敛」的同样论证(第 3 讲 第 14 页),应有 矛盾。本题只排除有限极限;平均值可以像例 1 那样来回跳,也可以像例 2 那样趋于

本页术语中英对照(按出现顺序)
中文English白话解释
独立同分布independent and identically distributed (i.i.d.)一列随机变量相互独立,并且分布都相同,例如反复独立地掷同一颗骰子。
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
Borel–Cantelli 引理Borel–Cantelli lemma概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。
级数series无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
强大数定律strong law of large numbers (SLLN)独立同分布且 E|X₁| < ∞ 时,样本均值 Sₙ/n 几乎必然收敛到 E X₁。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
独立independence任意有限个事件同时发生的概率等于各自概率的乘积。
博雷尔 σ-代数Borel sigma-algebra由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。
部分和partial sum级数 a₁ + a₂ + … 的前 n 项之和 Sₙ = a₁ + … + aₙ;级数的值就是 Sₙ 在 n → ∞ 时的极限。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
空集empty set一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。
交集intersection同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。
三角不等式triangle inequality|a + b| ≤ |a| + |b|:分两段走的总路程不会比直接走更短。推广有 |∫f| ≤ ∫|f|、E|X + Y| ≤ E|X| + E|Y|,以及 Lᵖ 范数的 Minkowski 不等式。
尾概率tail probability随机变量取到「很大的值」的概率,例如 P(X > t) 或 P(|X| ≥ t)。它随 t 增大而下降得越慢,分布的尾巴就越「厚」。
特征函数characteristic functionφ_X(t) = E e^{itX}(i 是虚数单位),把一个分布编码成一个函数:两个随机变量同分布 ⟺ 特征函数相同。本课没有讲它,作业里只当作已知工具提到。
集合set把一些对象放在一起当成一个整体,例如 {1,2,3}。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
下界lower bound数集 A 的下界是一个数 m,A 里每个数都 ≥ m。例如 0 和 −3 都是 (0,1] 的下界;所有下界中最大的那个叫下确界。
依概率收敛convergence in probability对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。