这一页在讲什么
这是第 2 部分「随机变量的收敛」的第五页,是 第 11 页 推论 8 的反面。
- 第 11 页:同分布、 ⇒ 几乎必然(不需要独立)。
- 本页:独立同分布、 ⇒ 几乎必然(需要独立)。
- 两页合起来,对独立同分布的序列得到一个干净的二分:
两页的结构完全对称:第 11 页 用尾级数比较的左半边 + 第一 Borel–Cantelli 引理;本页用右半边 + 第二 Borel–Cantelli 引理。代价是:第二引理需要独立性,所以本页的定理要求独立。
先补基础
- 对实数列 令 (第 项以后的上确界,可以是 变大时,取上确界的范围变小,所以 只减不增。取值在 里(第 40 页)。
- 人话:数列「最终」能反复达到的最高水平。
- 本页要用的一条:若 对无穷多个 成立,则 理由:对每个 第 项以后还有某个 所以 每个 都 极限
- 于是:若对每个正整数 都发生无穷多次,则 对所有 成立,只能是
- 例:(偶数 (奇数 但 数列并不趋于
课件原文逐句精读
Theorem 9 (Independent, identically distributed )
Proof
蓝条标题:一阶矩无穷:
定理 9(独立同分布的
证明
- Infinite first moment(蓝条标题前半):「一阶矩无穷」,即 这是定理的条件。
- (蓝条标题后半):比值 的上极限是无穷,即「比值会无穷多次超过任何给定的数」。这是定理的结论(几乎必然成立)。
- Theorem 9:定理 9,编号接着 第 11 页 的推论 8。它叫「定理」而不是「推论」,因为证明要用到一个新的条件(独立性)和另一个引理(第二 Borel–Cantelli 引理)。
- Independent, identically distributed :「独立同分布的 简写 i.i.d.(第 6 页 补充定义)。和 第 11 页 的推论 8 相比,多了「独立」两个字——这是定理成立的关键条件,后面例 3 说明去掉它会怎样。
- Proof:证明。定理和证明都留白,下面补全。
- 设定沿用 第 9 页:所有 是同一个概率空间 上的实值随机变量。
补全课件留白
课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。
Theorem 9 (Independent, identically distributed (Xₙ))|定理 9(独立同分布的序列)
设 是 上独立同分布的实值随机变量,且 则
等价地:对每个
逐个看:
- 独立:让事件 相互独立,才能用第二 Borel–Cantelli 引理。
- 同分布:让每个 都等于 的尾概率 于是概率之和变成 的尾级数,能用 第 12 页 的比较。
- :通过尾级数比较的右半边,保证这个尾级数发散。
- 结论的人话:在几乎每一个世界 里,画任意一条过原点的直线 点 都会无穷多次跳到直线上方。和 第 11 页 对照:那里是「任何直线最终都压得住」,这里是「任何直线永远压不住」。
- 「等价地」那一句:若对每个 都有 下面证明第 4、5 步给出 反过来,若 则对每个 无穷多次(否则从某项起都 上极限
Proof|证明
固定斜率 同分布把偏差概率换成 尾级数比较的右半边说它们的和是无穷;独立性 + 第二 Borel–Cantelli 引理说「越过直线 发生无穷多次(概率 1);最后对可数多个斜率 取交。
- 写出事件,验证独立。固定正整数 令
是开集,因而是博雷尔集。 相互独立,所以 相互独立(先补基础,第 6 页)。2. 用同分布换成 的尾概率。同分布给出 即
- 尾级数发散。对 宽度 用 第 12 页 引理的右半边:
右边第一项 是有限数,所以第二项必须是
- 第二 Borel–Cantelli 引理。第 1 步给出独立,第 3 步给出和为无穷。由定理 4(第 7 页),
在 上, 对无穷多个 成立,由先补基础, 5. 对 取交。令 由可数次可加性(第 4 页)和第 4 步,
所以 在 上,对每个正整数 都有 因此 证毕。
定理里「对每个 的说法:任给实数 取正整数 则 所以 后者概率也是 1。
与推论 8 合起来:独立同分布时的二分法
例子
设 独立同分布,都服从 上的均匀分布,(第 11 页 基础补课)。
- 偏差概率:取
- 和发散:由定理 9 的证明, 以概率 1 发生无穷多次。
- 有多稀少:前 次里越线的平均次数是 时约 次;要平均越线一次,大约需要 次观测。无穷多次,但来得极慢——这是「概率之和刚好发散」的典型样子。
- 上极限 ∞,下极限 0:事件 也相互独立,概率 和为无穷,所以也发生无穷多次。于是 同样的论证对任意 用 得 比值在 0 附近和极大值之间来回跳,既不趋于 0,也不趋于 ∞。
设 独立同分布,都服从标准柯西分布,密度
- 尾概率: 很大时 所以 像 一样慢。
- 一阶矩无穷:尾巴下方的面积 像 一样发散。
- 结论:由定理 9, 几乎必然。柯西分布是统计里「平均值不稳定」的标准例子,这里看到的就是原因之一:单个观测会无穷多次大到和 同一量级甚至更大(见下面「推导」一节)。
推导:一步一步来
推广:样本均值也不收敛(强大数定律的逆)。 设 独立同分布,则 不可能几乎必然收敛到一个有限的数(甚至有限的随机变量)。
- 反设在一个概率为正的事件 上, 是有限实数。
- 对 所以
- 在 上,所以
- 于是 在 上成立,而定理 9 说 几乎必然,两者只能在概率为 0 的事件上同时成立。所以 矛盾。
意思是:一阶矩无穷时,样本均值无法稳定下来。 这是后面学强大数定律时「为什么要假设 的答案:这个条件不仅够用,而且对独立同分布序列是必要的。
每个 都能独立地用一次第二引理吗? 能。第 1–4 步里 是固定的,用的是一列事件 换一个 就是另一列事件,重新用一次引理。第 5 步才把这可数多个结论合并。整个证明里从不需要不同 对应的事件之间有任何独立性。
尾级数比较右半边的作用。 第 3 步要从「推出「第 11 页 只用了左半边(期望 下阶梯),那个方向推不出这里要的结论;这里必须用「期望 上阶梯」:上阶梯面积至少是无穷,而它只比级数多一个有限的首项。
常见疑问与易错点
答:不是。上极限只说比值无穷多次很大,不说它一直很大。例 1 中 的下极限是 0:大部分时候比值很小,只是偶尔冒出一个巨大的值,而且这种「偶尔」永远不会停止。
答:推论 8 要证明坏事件「只发生有限次」,用第一 Borel–Cantelli 引理,它对任意事件列成立。定理 9 要证明坏事件「发生无穷多次」,用第二引理,它必须要独立(例 3 是去掉独立后的反例)。「证明某件事几乎不发生」只需要概率小;「证明某件事一定反复发生」需要各次之间不互相牵连。
答:不会。本页的 都是实值随机变量,每个 都是有限实数。 说的是「平均」没有上限:大值出现得不够少(尾概率衰减得像 那样慢)。例 1 中每个 都是有限的数。
答:什么都有可能。例 3 中上极限是 0;另一方面,独立同分布本身也是「同分布」的一种,上极限是 所以不独立时,一阶矩无穷对 的行为不给任何结论。
小结与自测
- 定理 9: 独立同分布、 ⇒ 几乎必然;等价地,对每个 无穷多次发生(概率 1)。
- 证明:同分布 → 尾级数比较右半边 → 和为 独立 + 第二 Borel–Cantelli → 无穷多次;对 取交。
- 和推论 8 合起来:独立同分布时, a.s. 上极限只能是 0 或
- 独立性不能去掉(例 3);上极限为 ∞ 不等于趋于 ∞(例 1 的下极限是 0)。
- 推论:一阶矩无穷时,独立同分布的样本均值 不会几乎必然收敛到有限数。
1. 设 独立同分布,( 等于多少?
点开看答案
几乎必然等于 (由定理 9 即得。也可以直接验证第 3 步:(和 一样发散)。
2. 定理 9 的证明第 5 步,为什么不能直接说「对每个 都有 的概率为 1,所以 的概率为 1」?应该怎么补?
点开看答案
「每个 单独以概率 1 成立」要变成「所有 同时成立」,需要对 取交集,而不可数多个概率 1 的事件之交可能不是概率 1。补法:只取 可数次可加性给出交集的补集概率 而「对每个正整数 都有 已经推出
3. 判断:「若 独立同分布,且 依某种方式不趋于 0,则 用本页和 第 11 页 说明「不趋于 0」应理解为什么。
点开看答案
正确的说法是:若 独立同分布,且 则 理由:若 推论 8 给出 矛盾。进一步由二分法,此时其实 且 几乎必然。
| 中文 | English | 白话解释 |
|---|---|---|
| 独立同分布 | independent and identically distributed (i.i.d.) | 一列随机变量相互独立,并且分布都相同,例如反复独立地掷同一颗骰子。 |
| 几乎必然收敛 | almost sure convergence | 除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。 |
| 无穷多次 | infinitely often (i.o.) | 「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。 |
| 级数 | series | 无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。 |
| Borel–Cantelli 引理 | Borel–Cantelli lemma | 概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 独立 | independence | 任意有限个事件同时发生的概率等于各自概率的乘积。 |
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| 上确界 | supremum (sup) | 最小的上界。最大值不一定存在,但有上界的实数集一定有上确界。 |
| 函数 | function / map | f: A → B 给 A 中每个元素指定 B 中唯一一个元素。 |
| 可积 | integrable (L¹) | ∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。 |
| 博雷尔 σ-代数 | Borel sigma-algebra | 由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。 |
| 阶矩 | moment | E[|X|ᵖ] 叫 p 阶(绝对)矩;它有限与否反映尾部有多「重」。 |
| 上极限 | limit superior (lim sup) | 数列「尾部的最大可能值」的极限;对集合则表示「发生无穷多次」。 |
| 概率空间 | probability space | 三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。 |
| 尾概率 | tail probability | 随机变量取到「很大的值」的概率,例如 P(X > t) 或 P(|X| ≥ t)。它随 t 增大而下降得越慢,分布的尾巴就越「厚」。 |
| 偏差概率 | deviation probability | Xₙ 和目标 X 相差超过 ε 的概率 P(|Xₙ − X| > ε)。它趋于 0 就是依概率收敛;对每个 ε 它都可求和时,由 Borel–Cantelli 引理可推出几乎必然收敛。 |
| 可数 | countable | 元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。 |
| 次可加性 | subadditivity | 并集的测度不超过各部分测度之和:μ(A ∪ B) ≤ μ(A) + μ(B)。 |
| 不可数 | uncountable | 无论怎么排都排不成一列,例如区间 [0,1] 里的全体实数。 |
| 空集 | empty set | 一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。 |
| 下极限 | limit inferior (lim inf) | 数列「尾部的最小可能值」的极限;对集合则表示「从某一项起一直发生」。 |
| 样本点 | sample point | 一个完整的结局 ω;每次试验恰好实现一个样本点。 |
| 强大数定律 | strong law of large numbers (SLLN) | 独立同分布且 E|X₁| < ∞ 时,样本均值 Sₙ/n 几乎必然收敛到 E X₁。 |
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| 交集 | intersection | 同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。 |
| 补集 | complement | 样本空间里不属于 A 的元素全体,记作 Aᶜ,对应「A 不发生」。 |