高等概率论逐页精讲

第 3 讲 Borel–Cantelli、收敛与 Radon–Nikodym›第 2 部分 随机变量的收敛:误差与子列

PDF 第 13 / 47 页幻灯片 13/49定理

一阶矩无穷时 lim sup |Xₙ|/n = ∞:独立同分布的观测会无穷多次越过任何直线

Infinite first moment: lim sup |Xn|/n = ∞

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

如果 独立同分布,而 那么几乎必然 不管直线 多陡,点 都会无穷多次跑到直线上方。证明是三步:尾级数比较(第 12 页)说 第二 Borel–Cantelli 引理(第 7 页)说这些独立事件发生无穷多次;最后对 取交。

这是第 2 部分「随机变量的收敛」的第五页,是 第 11 页 推论 8 的反面。

  • 第 11 页:同分布、 ⇒ 几乎必然(不需要独立)。
  • 本页:独立同分布、 ⇒ 几乎必然(需要独立)。
  • 两页合起来,对独立同分布的序列得到一个干净的二分:

两页的结构完全对称:第 11 页 用尾级数比较的左半边 + 第一 Borel–Cantelli 引理;本页用右半边 + 第二 Borel–Cantelli 引理。代价是:第二引理需要独立性,所以本页的定理要求独立。

先补基础

基础补课实数列的上极限 lim sup(可以等于 ∞)
  • 对实数列 令 (第 项以后的上确界,可以是 变大时,取上确界的范围变小,所以 只减不增。取值在 里(第 40 页)。
  • 人话:数列「最终」能反复达到的最高水平。
  • 本页要用的一条:若 对无穷多个 成立,则 理由:对每个 第 项以后还有某个 所以 每个 都 极限
  • 于是:若对每个正整数 都发生无穷多次,则 对所有 成立,只能是
  • 例:(偶数 (奇数 但 数列并不趋于
基础补课一阶矩无穷:E|X₁| = ∞
  • 意思是 的平均值是无穷大。注意 本身每一个值都是有限实数,只是大值出现得不够罕见,平均起来没有上限。
  • 用尾函数说:尾巴下方的面积无穷,(第 12 页)。
  • 例: 是 上的均匀随机变量,((第 11 页 基础补课)。
  • 例:柯西分布(Cauchy distribution),密度 因为被积函数在 很大时约为 像 一样不可积。
基础补课独立随机变量决定的事件也独立(第 6 页)
  • 随机变量 相互独立,按定义(第 6 页 补充定义)就是:对任意博雷尔集 事件 相互独立。
  • 所以本页的事件 ( 是开集,因而是博雷尔集)自动相互独立。第 6 页 正是为这一页准备了这句话。
基础补课第二 Borel–Cantelli 引理(第 7 页定理 4)

若事件 相互独立,且 则 以概率 1,有无穷多个 发生。两个条件缺一不可:独立性去掉不行(第 5 页),和有限时结论正好反过来(第一引理,第 4 页)。

课件原文逐句精读

课件原文Infinite first moment:

Theorem 9 (Independent, identically distributed )

Proof

中文翻译

蓝条标题:一阶矩无穷:

定理 9(独立同分布的

证明

  • Infinite first moment(蓝条标题前半):「一阶矩无穷」,即 这是定理的条件。
  • (蓝条标题后半):比值 的上极限是无穷,即「比值会无穷多次超过任何给定的数」。这是定理的结论(几乎必然成立)。
  • Theorem 9:定理 9,编号接着 第 11 页 的推论 8。它叫「定理」而不是「推论」,因为证明要用到一个新的条件(独立性)和另一个引理(第二 Borel–Cantelli 引理)。
  • Independent, identically distributed :「独立同分布的 简写 i.i.d.(第 6 页 补充定义)。和 第 11 页 的推论 8 相比,多了「独立」两个字——这是定理成立的关键条件,后面例 3 说明去掉它会怎样。
  • Proof:证明。定理和证明都留白,下面补全。
  • 设定沿用 第 9 页:所有 是同一个概率空间 上的实值随机变量。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

Theorem 9 (Independent, identically distributed (Xₙ))|定理 9(独立同分布的序列)

定理 9(独立同分布,一阶矩无穷)

设 是 上独立同分布的实值随机变量,且 则

等价地:对每个

逐个看:

  • 独立:让事件 相互独立,才能用第二 Borel–Cantelli 引理。
  • 同分布:让每个 都等于 的尾概率 于是概率之和变成 的尾级数,能用 第 12 页 的比较。
  • :通过尾级数比较的右半边,保证这个尾级数发散。
  • 结论的人话:在几乎每一个世界 里,画任意一条过原点的直线 点 都会无穷多次跳到直线上方。和 第 11 页 对照:那里是「任何直线最终都压得住」,这里是「任何直线永远压不住」。
  • 「等价地」那一句:若对每个 都有 下面证明第 4、5 步给出 反过来,若 则对每个 无穷多次(否则从某项起都 上极限

Proof|证明

推导证明思路

固定斜率 同分布把偏差概率换成 尾级数比较的右半边说它们的和是无穷;独立性 + 第二 Borel–Cantelli 引理说「越过直线 发生无穷多次(概率 1);最后对可数多个斜率 取交。

  1. 写出事件,验证独立。固定正整数 令

是开集,因而是博雷尔集。 相互独立,所以 相互独立(先补基础,第 6 页)。2. 用同分布换成 的尾概率。同分布给出 即

  1. 尾级数发散。对 宽度 用 第 12 页 引理的右半边:

右边第一项 是有限数,所以第二项必须是

  1. 第二 Borel–Cantelli 引理。第 1 步给出独立,第 3 步给出和为无穷。由定理 4(第 7 页),

在 上, 对无穷多个 成立,由先补基础, 5. 对 取交。令 由可数次可加性(第 4 页)和第 4 步,

所以 在 上,对每个正整数 都有 因此 证毕。

定理里「对每个 的说法:任给实数 取正整数 则 所以 后者概率也是 1。

补充第 5 步为什么只取正整数 C

「对每个实数 概率都是 1」推不出「对所有 同时成立的概率是 1」:不可数多个概率为 1 的事件的交,可能概率为 0,甚至是空集(例如在 上, 对每个 概率都是 1,但对所有 取交是空集)。可数次可加性只对可数多个事件有效,所以先把 限制在 上。这和 第 9 页 命题 B、第 10 页 推论 7 里只取 是同一个技巧。

与推论 8 合起来:独立同分布时的二分法

推论(独立同分布序列的次线性判别)

设 独立同分布。则下列二者恰有一个成立:

  1. 此时 几乎必然(第 11 页 推论 8);
  2. 此时 几乎必然(定理 9)。

特别地, 几乎必然 而且 要么几乎必然是 0,要么几乎必然是 没有中间情况。

例子

例 1:独立的 1/Uₙ——越线稀少但永不停止

设 独立同分布,都服从 上的均匀分布,(第 11 页 基础补课)。

  • 偏差概率:取
  • 和发散:由定理 9 的证明, 以概率 1 发生无穷多次。
  • 有多稀少:前 次里越线的平均次数是 时约 次;要平均越线一次,大约需要 次观测。无穷多次,但来得极慢——这是「概率之和刚好发散」的典型样子。
  • 上极限 ∞,下极限 0:事件 也相互独立,概率 和为无穷,所以也发生无穷多次。于是 同样的论证对任意 用 得 比值在 0 附近和极大值之间来回跳,既不趋于 0,也不趋于 ∞。
例 2:独立同分布的柯西变量

设 独立同分布,都服从标准柯西分布,密度

  • 尾概率: 很大时 所以 像 一样慢。
  • 一阶矩无穷:尾巴下方的面积 像 一样发散。
  • 结论:由定理 9, 几乎必然。柯西分布是统计里「平均值不稳定」的标准例子,这里看到的就是原因之一:单个观测会无穷多次大到和 同一量级甚至更大(见下面「推导」一节)。
例 3(反例):去掉独立,结论可以失败

设 是 上的均匀随机变量,令每个 (第 11 页 例 4)。

  • 同分布:每个 都是同一个随机变量。
  • 但 对每个 成立,上极限是 0,不是
  • 定理 9 的证明坏在第 4 步:事件 一个套一个,不独立,第二 Borel–Cantelli 引理用不上。概率之和照样发散(第 3 步没问题),但一个 只能落进有限个这样的事件(第 5 页 的同一现象)。

教训:独立性让「概率之和发散」变成「真的发生无穷多次」。 没有独立,发散的概率之和可能全部「压」在同一批样本点上。

推导:一步一步来

推广:样本均值也不收敛(强大数定律的逆)。 设 独立同分布,则 不可能几乎必然收敛到一个有限的数(甚至有限的随机变量)。

  1. 反设在一个概率为正的事件 上, 是有限实数。
  2. 对 所以
  1. 在 上,所以
  2. 于是 在 上成立,而定理 9 说 几乎必然,两者只能在概率为 0 的事件上同时成立。所以 矛盾。

意思是:一阶矩无穷时,样本均值无法稳定下来。 这是后面学强大数定律时「为什么要假设 的答案:这个条件不仅够用,而且对独立同分布序列是必要的。

每个 都能独立地用一次第二引理吗? 能。第 1–4 步里 是固定的,用的是一列事件 换一个 就是另一列事件,重新用一次引理。第 5 步才把这可数多个结论合并。整个证明里从不需要不同 对应的事件之间有任何独立性。

尾级数比较右半边的作用。 第 3 步要从「推出「第 11 页 只用了左半边(期望 下阶梯),那个方向推不出这里要的结论;这里必须用「期望 上阶梯」:上阶梯面积至少是无穷,而它只比级数多一个有限的首项。

常见疑问与易错点

易错点问:lim sup |Xₙ|/n = ∞,是不是说 |Xₙ|/n → ∞?

答:不是。上极限只说比值无穷多次很大,不说它一直很大。例 1 中 的下极限是 0:大部分时候比值很小,只是偶尔冒出一个巨大的值,而且这种「偶尔」永远不会停止。

易错点问:为什么推论 8 不需要独立,定理 9 却需要?

答:推论 8 要证明坏事件「只发生有限次」,用第一 Borel–Cantelli 引理,它对任意事件列成立。定理 9 要证明坏事件「发生无穷多次」,用第二引理,它必须要独立(例 3 是去掉独立后的反例)。「证明某件事几乎不发生」只需要概率小;「证明某件事一定反复发生」需要各次之间不互相牵连。

易错点问:E|X₁| = ∞,那 X₁ 是不是会取到 ∞?

答:不会。本页的 都是实值随机变量,每个 都是有限实数。 说的是「平均」没有上限:大值出现得不够少(尾概率衰减得像 那样慢)。例 1 中每个 都是有限的数。

易错点问:如果只是同分布而不独立,E|X₁| = ∞ 时会发生什么?

答:什么都有可能。例 3 中上极限是 0;另一方面,独立同分布本身也是「同分布」的一种,上极限是 所以不独立时,一阶矩无穷对 的行为不给任何结论。

小结与自测

小结本页小结
  • 定理 9: 独立同分布、 ⇒ 几乎必然;等价地,对每个 无穷多次发生(概率 1)。
  • 证明:同分布 → 尾级数比较右半边 → 和为 独立 + 第二 Borel–Cantelli → 无穷多次;对 取交。
  • 和推论 8 合起来:独立同分布时, a.s. 上极限只能是 0 或
  • 独立性不能去掉(例 3);上极限为 ∞ 不等于趋于 ∞(例 1 的下极限是 0)。
  • 推论:一阶矩无穷时,独立同分布的样本均值 不会几乎必然收敛到有限数。
自测

1. 设 独立同分布,( 等于多少?

点开看答案

几乎必然等于 (由定理 9 即得。也可以直接验证第 3 步:(和 一样发散)。

2. 定理 9 的证明第 5 步,为什么不能直接说「对每个 都有 的概率为 1,所以 的概率为 1」?应该怎么补?

点开看答案

「每个 单独以概率 1 成立」要变成「所有 同时成立」,需要对 取交集,而不可数多个概率 1 的事件之交可能不是概率 1。补法:只取 可数次可加性给出交集的补集概率 而「对每个正整数 都有 已经推出

3. 判断:「若 独立同分布,且 依某种方式不趋于 0,则 用本页和 第 11 页 说明「不趋于 0」应理解为什么。

点开看答案

正确的说法是:若 独立同分布,且 则 理由:若 推论 8 给出 矛盾。进一步由二分法,此时其实 且 几乎必然。

本页术语中英对照(按出现顺序)
中文English白话解释
独立同分布independent and identically distributed (i.i.d.)一列随机变量相互独立,并且分布都相同,例如反复独立地掷同一颗骰子。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
级数series无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。
Borel–Cantelli 引理Borel–Cantelli lemma概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
独立independence任意有限个事件同时发生的概率等于各自概率的乘积。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
上确界supremum (sup)最小的上界。最大值不一定存在,但有上界的实数集一定有上确界。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。
博雷尔 σ-代数Borel sigma-algebra由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。
阶矩momentE[|X|ᵖ] 叫 p 阶(绝对)矩;它有限与否反映尾部有多「重」。
上极限limit superior (lim sup)数列「尾部的最大可能值」的极限;对集合则表示「发生无穷多次」。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
尾概率tail probability随机变量取到「很大的值」的概率,例如 P(X > t) 或 P(|X| ≥ t)。它随 t 增大而下降得越慢,分布的尾巴就越「厚」。
偏差概率deviation probabilityXₙ 和目标 X 相差超过 ε 的概率 P(|Xₙ − X| > ε)。它趋于 0 就是依概率收敛;对每个 ε 它都可求和时,由 Borel–Cantelli 引理可推出几乎必然收敛。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
次可加性subadditivity并集的测度不超过各部分测度之和:μ(A ∪ B) ≤ μ(A) + μ(B)。
不可数uncountable无论怎么排都排不成一列,例如区间 [0,1] 里的全体实数。
空集empty set一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。
下极限limit inferior (lim inf)数列「尾部的最小可能值」的极限;对集合则表示「从某一项起一直发生」。
样本点sample point一个完整的结局 ω;每次试验恰好实现一个样本点。
强大数定律strong law of large numbers (SLLN)独立同分布且 E|X₁| < ∞ 时,样本均值 Sₙ/n 几乎必然收敛到 E X₁。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
交集intersection同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。
补集complement样本空间里不属于 A 的元素全体,记作 Aᶜ,对应「A 不发生」。