这一页在讲什么
这是第 2 部分「随机变量的收敛」的第二页。上一页(第 9 页)已经把几乎必然收敛翻译成了一句关于事件的话:
右边「i.o. 的概率为 0」恰好是第一 Borel–Cantelli 引理的结论,而那个引理的条件是「概率之和有限」。把两件事接起来,就得到这一页的推论 7。这一页做三件事:
- 陈述并证明推论 7:偏差概率可求和 ⇒ 几乎必然收敛;
- 课件的例子:只知道误差的矩 时,先用 Markov 不等式把矩换成概率,再用推论 7;
- 说明它只是充分条件,并给后面几页做准备:第 11 页 马上用它证明 第 16 页 用它的加强版从依概率收敛的序列里挑出几乎必然收敛的子列。
先补基础
- 偏差就是误差 第 个随机变量离目标 有多远。它本身也是随机变量,不同的 上大小不同。
- 误差事件 「第 步的误差超过容忍度 它属于 (第 9 页 的可测性),所以可以谈它的概率,这个概率就是「偏差概率」。
- 例: 时,误差恒为 取 当且仅当 所以误差事件在 时是整个 在 时是空集。
- 对随机变量 和 叫 的 阶(绝对)矩。 是平均绝对误差, 是均方误差。
- Markov 不等式(第 29 页 的广义形式):对任意
理由:处处有 ( 时左边是 否则左边是 两边取期望,左边是
- 例:若 则 矩小,意味着大误差的概率小。
课件原文逐句精读
Corollary 7 (Summable deviations)
Proof
Example: a summable moment bound
推论 7(偏差可求和)
证明
例:可求和的矩界
- Summable deviation probabilities(蓝条标题):「可求和的偏差概率」。deviation probabilities 指 summable 指把它们对 加起来是有限数。标题已经把推论 7 的条件说出来了。
- Corollary 7:推论 7,编号接着 第 9 页 的定义 6。设定也沿用 第 9 页: 是同一个概率空间 上的实值随机变量。
- Proof:推论的证明。
- Example: a summable moment bound:moment 是「矩」,bound 是「上界」。「可求和的矩界」指条件 误差的矩加起来有限。这个例子说明:不知道误差的具体分布、只知道它的矩时,推论 7 照样能用。
- 三个标签下面都是留白,下面逐一补全。
补全课件留白
课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。
Corollary 7 (Summable deviations)|推论 7(偏差概率可求和)
设 是 上的实值随机变量。若对每个
则 几乎必然。
逐个看条件:
- 「对每个 :容忍度越小,误差事件越大( 时 和也越大。所以这个条件的真正分量在很小的 上。证明里会看到,只检查 就够了。
- 「和有限」:不只要求 还要求它趋于 0 得足够快,快到加起来有限。例如 可以, 不行。
- 没有独立性: 之间怎样相关都可以,因为第一 Borel–Cantelli 引理本身不需要独立(第 4 页)。
- 结论:几乎必然收敛,即不收敛的样本点合起来概率为 0。
Proof|证明
固定 把第一 Borel–Cantelli 引理用在误差事件 上,得到「以概率 1 只出错有限次」;再对可数多个 合起来,用上一页的命题 B(或直接用可数次可加性)得到收敛。
- 对每个 都成立:第 2 步里的 是任取的。由 第 9 页 的命题 B(「⇐」方向), 几乎必然。
第 3 步也可以不引用命题 B,直接写出来:
第一个等号是 第 9 页 的命题 A(不收敛集的误差事件表示),不等号是可数次可加性(第 4 页)。
所以 注意这里只用到了 这可数多个容忍度;正因为是可数个,才能用可数次可加性把它们合起来。
Example: a summable moment bound|例:矩的和有限
命题:若存在某个 使
则 几乎必然。
证明:
- Markov 不等式把矩换成概率:固定 对 用 Markov 不等式(第 29 页):
第一个不等号是单调性: 2. 对 求和:由比较法,
右边是一个有限数乘以常数 仍是有限数。3. 用推论 7:第 2 步对每个 成立,所以 几乎必然。
数值例:抛硬币的频率,只看平方数时刻。 设 是独立的公平抛硬币(正面 1、反面 0,第 8 页)。令 (正面记 反面记 前 次正面的频率是
所以「频率趋于 就是「
- 二阶矩:每个 对 两次结果相同时 不同时为 由独立性,所以 于是
- 整列不行:二阶矩的和发散,命题用不上。
- 只看 :令 则 由命题( 几乎必然:在第 次抛掷时看,正面频率几乎必然趋于
- 具体数字:取 第 1 步给出 于是(可数次可加性,再用 第 4 页 例 1 的裂项估计
取 右边是 以至少 99% 的概率,从第 次抛掷起,每个平方数时刻的频率都落在 到 之间( 等价于频率与 相差不超过
例子
沿用上面的记号。二阶矩 加起来发散,但四阶矩衰减得更快:
由课件例的命题(取 几乎必然,即正面频率几乎必然趋于 。这就是抛硬币情形的强大数定律。
计算 :
- 每种 组合的概率都是 : 取某一组值 等于规定了 个不同位置上的抛掷结果,概率是 (第 8 页 基础补课)。所以期望就是对 种组合取平均。
- 展开:下标 跑遍 种有序组合。
- 有下标出现奇数次的项,期望为 0:设下标 出现 1 次或 3 次。因为 这一项等于 只含其他下标。把每种组合和「只把第 位变号」的组合配成一对:两者概率相同(都是 不变, 变号,这一项的值正好相反。所有组合两两抵消,平均为 0。
- 剩下的项:每个下标都出现偶数次,只有两种情况。
- 四个下标全相同: 项,每项
- 两个不同的下标 各出现两次:选 有 种,再从 4 个位置里选 2 个放 有 种,共 项,每项
- 合计:检查 以概率 取 一致。
为什么 不行、 行:Markov 不等式给出 (和发散)或 (和有限)。阶数越高,界衰减得越快,越容易满足可求和。
推导:一步一步来
加强版(推论 7′):容忍度可以随 变小。 若存在正数 使
则 几乎必然。
- 令 由第一 Borel–Cantelli 引理,
- 取 (这些 合起来概率为 1)。 只落进有限个 所以存在 使所有 都有
- 由于 且 夹逼得
这里只用了一次第一 Borel–Cantelli 引理,不需要对 取并。第 16 页 的证明正是这样用的:挑子列时让第 项满足
课件例的另一种证明:用 MCT。
- 期望有限的非负随机变量几乎必然有限(第 4 页 证明二第 3 步),所以几乎必然有
- 收敛级数的通项趋于 0,所以 从而
常见疑问与易错点
答:不够。例:(常数随机变量),取 和为 0,条件满足;但 在 之间来回跳,不收敛。只对一个 成立时,能得到的只是「几乎必然地,误差最终不超过 即 而不是收敛。
答:前者弱得多。前者是「依概率收敛」(第 14 页),它只说每一步出错的概率越来越小;后者还要求出错概率小得足够快,快到平均出错次数有限。例 2 满足前者、不满足后者,结果确实不几乎必然收敛。
答:命题对任意 成立,选哪个 都行,只要 例 1 中 不行、 行,因为高阶矩给出衰减更快的界。但 越大,要求 有限就越苛刻:误差的尾巴很重时,高阶矩可能是 这时只能用低阶矩。
小结与自测
1. 已知对所有 和所有 之间的关系未知。能否断定 几乎必然?
点开看答案
能。固定 (指数大于 1 的 -级数收敛),推论 7 的条件对每个 都满足。推论 7 不需要独立性,所以结论成立。
2. 只知道 能否断定 几乎必然?
点开看答案
不能。课件例的命题(用不上,而仅凭这个信息两种情况都可能发生:取独立事件 由第二 Borel–Cantelli 引理不几乎必然收敛;取 (在 上),它处处收敛到 0。两者的 都是
3. 在推论 7 的证明里,第一 Borel–Cantelli 引理用在了哪一列事件上?为什么最后只需要 这些容忍度?
点开看答案
用在 ( 固定,上。最后要把「每个 都只出错有限次」合成「收敛」,需要对 取并再用可数次可加性,这只对可数多个 行得通;而收敛只要对 检查就够了(任给 总有 所以取
| 中文 | English | 白话解释 |
|---|---|---|
| Borel–Cantelli 引理 | Borel–Cantelli lemma | 概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。 |
| 几乎必然收敛 | almost sure convergence | 除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 独立 | independence | 任意有限个事件同时发生的概率等于各自概率的乘积。 |
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 无穷多次 | infinitely often (i.o.) | 「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。 |
| 偏差概率 | deviation probability | Xₙ 和目标 X 相差超过 ε 的概率 P(|Xₙ − X| > ε)。它趋于 0 就是依概率收敛;对每个 ε 它都可求和时,由 Borel–Cantelli 引理可推出几乎必然收敛。 |
| 可求和 | summable | 非负数列的级数和有限:Σ aₙ < ∞。例如 Σ 1/n² 可求和,Σ 1/n 不可求和(和是 +∞)。 |
| Markov 不等式 | Markov's inequality | X ≥ 0 时 P(X ≥ t) ≤ E X / t:期望小,取大值的概率就小。 |
| 依概率收敛 | convergence in probability | 对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。 |
| 子列 | subsequence | 从一个数列里按顺序挑出无穷多项组成的新数列。 |
| 级数 | series | 无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。 |
| 当且仅当 | if and only if (iff) | 「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。 |
| 空集 | empty set | 一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。 |
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| 概率空间 | probability space | 三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。 |
| 上界 | upper bound | 数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| 样本点 | sample point | 一个完整的结局 ω;每次试验恰好实现一个样本点。 |
| 可数 | countable | 元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。 |
| 次可加性 | subadditivity | 并集的测度不超过各部分测度之和:μ(A ∪ B) ≤ μ(A) + μ(B)。 |
| 阶矩 | moment | E[|X|ᵖ] 叫 p 阶(绝对)矩;它有限与否反映尾部有多「重」。 |
| 强大数定律 | strong law of large numbers (SLLN) | 独立同分布且 E|X₁| < ∞ 时,样本均值 Sₙ/n 几乎必然收敛到 E X₁。 |
| 单调收敛定理 | monotone convergence theorem (MCT) | 非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。 |