高等概率论逐页精讲

作业 1 Borel–Cantelli 引理、概率不等式与收敛定理›Borel–Cantelli 引理的应用

第 2 题 / 共 12 题解答原页 第 1 页证明题

独立序列:sup Xₙ 有限 ⇔ 某个 A 使 ∑ P(Xₙ > A) 有限

Independent Xₙ: sup Xₙ < ∞ a.s. iff ∑ P(Xₙ > A) < ∞ for some A

解答原页第 1 页(本题所在部分)
解答原页第 1 页(本题部分)· 点击图片看整页

这道题在问什么

人话版一句话版

一列独立的随机变量什么时候「整体有上限」( 几乎必然)?答案只看一个级数:存在某个门槛 使「超过 的概率加起来有限。「⇐」用第一 Borel–Cantelli 引理,不需要独立;「⇒」用第二 Borel–Cantelli 引理,必须独立,而且要对可数个门槛 同时使用。

  • 考点:两个 Borel–Cantelli 引理各管一个方向(第 3 讲 第 4 页、第 7 页);「存在 的否定是「对所有 可数个概率为 1 的事件之交仍然概率为 1(第 3 讲 第 13 页 第 5 步的同一技巧)。
  • 副产品:独立序列的 只有两种命运:要么几乎必然有限,要么几乎必然是 没有中间情况。
  • 和其他题的关系:第 4 题(伯努利序列)和 第 5 题(指数序列)都是同一个模式:独立 + 概率之和有限 / 无穷 ⇒ 事件发生有限次 / 无穷多次。

先补基础

基础补课上确界 sup,以及「sup Xₙ < ∞」的意思
  • 一列实数 的上确界(supremum)是「不小于每一个 的数」中最小的那个;若数列没有上界,就记
  • 例:(取不到,但最小的上界是 1);
  • 有限个实数的最大值总是有限的。所以数列「从某项起 时,
  • a.s. 的意思:对几乎每个 数列 有上界。上界可以随 变,不要求存在一个公共的常数上界。
基础补课「对某个 A」与「对所有 A」:量词的否定
  • 「存在 使 的否定是「对每个 证明「⇒」时用反证法,假设的必须是后者。
  • 门槛越高,级数越小: 时 所以 因此「某个 使级数有限」等价于「所有足够大的 都使级数有限」。
基础补课两个 Borel–Cantelli 引理(回顾)
  • 第一引理(第 3 讲 第 4 页 定理 2):对任意事件列成立。
  • 第二引理(第 3 讲 第 7 页 定理 4): 相互独立且
  • 独立随机变量 ⇒ 独立事件: 相互独立时,事件 (相互独立(第 3 讲 第 6 页 补充定义)。
基础补课可数个概率为 1 的事件,交集的概率还是 1

若 (则 理由:补集 由可数次可加性,不可数个就不行:在 上均匀取点, 每个概率都是 1,但对所有 取交是空集。

题目与原解答

课件原文题目
  1. Let be independent. Show that a.s. if and only if for some .
中文翻译
  1. 设 相互独立。证明: 几乎必然成立,当且仅当存在某个 使

原解答的思路(左栏):

  1. 「⇒」:反设级数发散,由独立性和 Borel–Cantelli 引理得 对所有 成立,于是 a.s.,矛盾。
  2. 「⇐」:级数有限时 即几乎必然地最终 所以 a.s.

框架正确,但量词、引理的选择和两处关键跳步都需要补,见「原解答逐行对照」。

思路:怎么想到的

  1. 把「sup 有限」和「超过门槛」联系起来。数列有上界,就是「存在一个门槛,只被超过有限次」;数列无上界,就是「每个门槛都被超过无穷多次」。所以 的问题自然变成「 是否发生无穷多次」。
  2. 「发生有限次」找第一引理,「发生无穷多次」找第二引理。第一引理要「和有限」,正好是题目的条件;第二引理要「和无穷 + 独立」,正好是题目条件的否定加上题设的独立性。
  3. 「每个门槛」不可数,要先换成可数个。只对 用第二引理,就足以推出

完整解答

定理命题(独立序列上确界有限的判别)

设 是相互独立的实值随机变量。则

而且,若对每个 级数都发散,则 所以 只能是 0 或 1。「⇐」方向不需要独立性。

推导证明思路

「⇐」:第一引理 ⇒ 最终 ⇒ 上确界不超过「前面有限项的最大值」与 中较大者。「⇒」:证逆否命题。对每个正整数 第二引理 ⇒ 无穷多次;可数个交 ⇒ 几乎必然地每个 都被超过 ⇒

(⇐)级数有限 ⇒ 上确界有限(不用独立)

第 1 步:第一引理。 设 由第一 Borel–Cantelli 引理,令 则

第 2 步:逐点估计上确界。 取 存在 使 对所有 成立。于是对每个

  • 时,
  • 时,

所以

右边是有限个实数的最大值(每个 都是有限数),所以有限。

第 3 步:结论。 所以

(⇒)上确界有限 ⇒ 存在 A 使级数有限(要用独立)

证明逆否命题:若对每个 都有 则 ,从而

第 1 步:对每个正整数门槛用第二引理。 固定正整数 事件 (相互独立(先补基础),且由假设 由第二 Borel–Cantelli 引理,

第 2 步:可数个交。 令 由先补基础,

第 3 步:在 上 取 对每个正整数 所以至少有一个 使 从而 可以任意大,所以

第 4 步:结论。 这与「 a.s.」矛盾,所以「对每个 级数都发散」不可能,即存在 使级数有限。

为什么只取正整数 :若对任意实数 用第二引理,得到的是不可数个概率为 1 的事件,交集未必概率为 1(先补基础)。任何实数 都小于某个正整数 所以正整数门槛已经够用。

原解答逐行对照

第 1 句 If a.s., we can suppose .

开始反证「⇒」:已知上确界几乎必然有限,假设结论不成立。

易错点原解答的问题:反证的假设必须写成「对每个 A」

结论是「存在 使级数有限」,它的否定是「对每个 原句没给 加量词,读起来像是「对某个 级数发散」,那推不出矛盾(门槛太低时级数当然可以发散)。应写成:「反设对每个 另外 里的小写 是笔误,应为

第 2 句 Due to are independent, according to Berel-cantelli Lemma, we have for all .

由独立性和第二 Borel–Cantelli 引理,每个门槛都被超过无穷多次。

易错点原解答的问题:引理名拼写、引理编号、事件独立性
  • 「Berel-cantelli」应为 Borel–Cantelli;这里用的是第二引理,应写明,因为只有它需要独立性。
  • 第二引理要求的是事件 相互独立。这由随机变量 的独立性推出(可以补一句。「应为「要独立的是整个无穷序列。

第 3 句 It means that a.s. which contradicts a.s.

意思是:这说明 几乎必然成立,与 a.s. 矛盾。

易错点原解答的问题:从「每个 A 概率为 1」到「sup = ∞ a.s.」要用可数交

「对所有 是不可数个结论。要得到「几乎必然地,所有门槛同时被超过」,需要像完整解答第 2 步那样只取 用可数次可加性说明交集概率为 1。(另一种写法:所以 对每个 成立;事件 随 递减到 由从上连续,

第 4 句 If , similarly, we can have . Therefore a.s.

这是「⇐」方向:第一引理 ⇒ 最终 ⇒ 上确界有限。

易错点原解答的问题:「similarly」不恰当,最后一步有跳步
  • 这一方向用的是第一引理,它不需要独立,与上一段用第二引理并不「类似」。写成「similarly」容易让人以为两个方向都要独立。
  • 「最终 并不直接给出「前面有限项可能超过 正确的推理是 右边有限,因为每个 都是有限实数(完整解答「⇐」第 2 步)。

例子与数值验证

例 1:独立同分布的标准正态——sup 几乎必然是 ∞

独立同分布。对任何 不随 变,级数是无穷多个相同的正数相加,等于 由命题, a.s.

但增长极慢: 时 平均约 350 万次才超过一次。Python 模拟一条路径,前 项的最大值: 时约 时约 时约 (一条路径的结果是随机的;用数值积分算出前 项最大值的期望分别约为 大致像 那样增长( 时 但永不停止。

例 2:只取 0 和 n 的独立变量——sup 有限,却没有公共上界

设 独立,对 (当 (当 所以级数有限

: a.s.。还能精确算出分布:对

(连乘相邻项约掉),所以 Python 模拟 2 万条路径(取前 2 万项):(理论 (理论 2 万条路径的模拟误差分别约为 和

: a.s.。精确地,

例 3(反例):去掉独立,「⇒」失败

令 每个 则 (每个 上都有限)。但对任何 级数 所以「上确界几乎必然有限,却没有任何 使级数有限」——「⇒」不成立。

证明坏在第二引理:事件 对所有 是同一个事件,完全不独立;它要么对所有 发生,要么都不发生,「发生无穷多次」的概率是 不是 1。

「⇐」在这里仍然成立:若某个 使级数有限,那么上确界有限。这个方向从来不需要独立。

拓展延伸

0–1 律:独立序列的很多「长期性质」只能以概率 0 或 1 发生

命题说明 这是一般现象的特例:Kolmogorov 0–1 律(这里作为已知结论介绍,见 Durrett《Probability: Theory and Examples》第 2.5 节)说,若 相互独立,那么任何「改动有限项不影响其是否发生」的事件(尾事件),概率只能是 0 或 1。 就是尾事件:改动前面有限项,上确界是否有限不变。本题则用 Borel–Cantelli 引理直接算出了到底是 0 还是 1。小测 2 第 4 题「独立序列的极限只能是常数」也是这一现象。

同一个判别法的几种变形
  • 下确界:对 用本题, a.s. 存在 使
  • 绝对值: a.s. 存在 使
  • 有上界 ≠ 上界可积:例 2 中 时 有限,但 「几乎必然有限」远弱于「可积」。

常见疑问与易错点

易错点问:sup Xₙ < ∞ a.s. 和「Xₙ 一致有界」是一回事吗?

答:不是。「一致有界」要求一个常数 使几乎必然 对所有 成立。 a.s. 只要求每个 有自己的上界。例 2(中,对每个 没有公共上界,但上确界几乎必然有限。

易错点问:为什么「⇐」不需要独立,「⇒」却需要?

答:「⇐」要证坏事件(超过 只发生有限次,第一引理只看平均发生次数 是否有限,与事件之间的关系无关。「⇒」要证坏事件发生无穷多次,概率之和发散还不够,必须保证这些概率不「挤」在同一批 上(例 3 恰好全挤在一起),独立性正是这个保证。

易错点问:A 可以是负数吗?题目里的 A 有什么限制?

答: 是任意实数。由于门槛越高级数越小,若某个负的 使级数有限,那么 也行。所以不妨只考虑 甚至只考虑正整数

小结与自测

小结本题小结
  • 独立序列: a.s. 存在 否则 a.s.(0–1 二分)。
  • 「⇐」:第一引理 + 「最终 + 前面有限项都是有限实数;不需要独立。
  • 「⇒」:逆否命题;对 用第二引理(独立),可数交得 a.s.
  • 原解答要补的地方:反设应为「对每个 级数发散」;要写明用的是哪个引理;从「每个 到「要用可数交;「⇐」最后一步要用到前面有限项有限。
自测

1. 相互独立, 在 上均匀分布。 几乎必然有限吗?

点开看答案

不是,几乎必然为 对任何 时 当 时它 所以级数 由命题(独立), a.s.

2. 设 独立同分布于 几乎必然有限吗?

点开看答案

有限。取 由「⇐」方向(甚至不需要独立), a.s.

3. 把题目里的「independent」删掉,哪个方向仍然成立?给出另一个方向的反例。

点开看答案

「⇐」(存在 使级数有限 ⇒ 上确界有限)仍然成立,它只用第一引理。「⇒」不成立:取 对所有 但对任何

本页术语中英对照(按出现顺序)
中文English白话解释
独立independence任意有限个事件同时发生的概率等于各自概率的乘积。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
级数series无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。
Borel–Cantelli 引理Borel–Cantelli lemma概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
上确界supremum (sup)最小的上界。最大值不一定存在,但有上界的实数集一定有上确界。
上界upper bound数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。
补集complement样本空间里不属于 A 的元素全体,记作 Aᶜ,对应「A 不发生」。
次可加性subadditivity并集的测度不超过各部分测度之和:μ(A ∪ B) ≤ μ(A) + μ(B)。
不可数uncountable无论怎么排都排不成一列,例如区间 [0,1] 里的全体实数。
空集empty set一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。
当且仅当if and only if (iff)「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。
交集intersection同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。
从上连续continuity from above集合一层层变小(Eₙ ↓ E)且 μ(E₁) < ∞ 时,μ(Eₙ) → μ(E)。
独立同分布independent and identically distributed (i.i.d.)一列随机变量相互独立,并且分布都相同,例如反复独立地掷同一颗骰子。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
尾事件tail event改动任意有限个坐标都不影响是否发生的事件,例如「序列 ω₁, ω₂, … 收敛」。
下确界infimum (inf)最大的下界。例如 (0,1] 没有最小值,但下确界是 0。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。
一致有界uniformly bounded存在同一个常数 M,使所有 n、所有点 x 都有 |fₙ(x)| ≤ M。「一致」是指一个 M 管住整列函数。