这一页在讲什么
依概率收敛只要求:对每个容忍度 「第 步误差超过 的概率趋于 0。它比几乎必然收敛弱:几乎必然收敛要求几乎每条路径最终一直待在误差管子里,依概率收敛只要求每个固定时刻「在管子外的路径」越来越少。命题 11 证明强的推出弱的,工具是第 1 讲的「从上连续」。
这是第 2 部分「随机变量的收敛」引入第二种收敛的一页。
- 前面 第 9 页–第 13 页 讲的都是几乎必然收敛:盯住一个 看数列 收不收敛。
- 这一页定义依概率收敛:盯住一个时刻 看「误差大」的概率有多大。
- 命题 11:几乎必然收敛 ⇒ 依概率收敛。下一页 第 15 页 用「打字机序列」说明反过来不成立;第 16 页 的子列判别法说明两者之间的精确关系。
- 依概率收敛在应用里很常见:样本均值用 Chebyshev 不等式就能证明它依概率收敛到期望(第 37 页),而几乎必然收敛往往难证得多。
先补基础
数列 的意思是:对每个 存在 使所有 都有 (第 9 页 基础补课)。例:反例:(常数)。本页的 是概率 总在 里。
课件原文逐句精读
Definition 10 (Convergence in probability)
Proposition 11 (Almost surely implies in probability)
Proof
(标题:几乎必然收敛蕴含依概率收敛)
定义 10(依概率收敛)
命题 11(几乎必然蕴含依概率)
证明
- Almost-sure convergence implies convergence in probability(蓝条标题):implies 是「蕴含、推出」。标题就是命题 11 的内容。
- Definition 10:定义 10,编号接着 第 13 页 的定理 9。convergence in probability:依概率收敛。
- Proposition 11:命题 11。Almost surely implies in probability:几乎必然(收敛)推出依概率(收敛)。
- Proof:命题 11 的证明。
- 三个标签下都是留白。设定仍然沿用 第 9 页: 是同一个概率空间 上的实值随机变量。
补全课件留白
课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。
Definition 10 (Convergence in probability)|定义 10(依概率收敛)
设 是 上的实值随机变量。称 依概率收敛(converges in probability)到 记作 如果对每个
逐个看:
- 「对每个 :和几乎必然收敛一样,容忍度可以任意小。只对一个 成立是不够的。
- :第 步的偏差概率(第 10 页)。依概率收敛只要求它趋于 0;第 10 页 推论 7 要求的「加起来有限」更强。
- 记号 箭头上的 提醒你收敛是「按概率 来衡量的」。换一个概率测度,结论可能不同(第 30 页 讨论过 时能保持)。
- 还是 :写成 是等价的。因为 对每个 都成立,三者同时趋于 0。
- 展开成量词:对每个 和每个 存在 使得 时 管「误差多大算大」, 管「这种大误差的概率能压到多小」。
把 想成一个平行世界, 是这个世界里的一段录像。
- 几乎必然收敛是「看录像」:几乎每一个世界,从某一刻起都永远留在以 为中心、半宽 的管子里。
- 依概率收敛是「拍快照」:在每个固定时刻 拍一张所有世界的合影,数一数有多少(概率意义上的「多少」)世界此刻在管子外面。要求是:这个比例随 趋于 0。
- 快照不关心是哪些世界在管子外。可能每一刻都是不同的一小撮世界出界,每个世界轮流出界无穷多次——这样的快照比例照样趋于 0,录像却没有一个是收敛的。下一页的打字机序列就是这样。
Proposition 11 (Almost surely implies in probability)|命题 11(几乎必然蕴含依概率)
设 是 上的实值随机变量。若 几乎必然,则
- 方向:强 ⇒ 弱。反方向一般不成立(第 15 页)。
- 这里用到了 是有限测度(总质量 1)。在无穷测度空间上,「几乎处处收敛 ⇒ 依测度收敛」可以失败,见下面的易错点。
Proof|证明
固定 把「第 步及以后某一步出错」记为 随 递减,交集是「出错无穷多次」,几乎必然收敛说它的概率是 0;从上连续给出 第 步出错包含在 里,概率更小,也趋于 0。
- 固定 定义尾部并集。令
即「从第 步起,至少有一步误差超过 可数个事件的并仍是事件, 2. 递减。 是对 取并, 是对 取并,后者多并了一个事件,所以 3. 交集是「出错无穷多次」。按定义(第 3 页),
- 单步出错包含在尾部并集里。 是 里 的那一项,所以 由单调性
夹逼得 是任取的,所以 证毕。
这一证明说明的事比命题本身多:第 5 步得到的是 (因为 也就是说,几乎必然收敛控制的是「从 往后所有时刻的最坏误差」,依概率收敛只控制「第 个时刻的误差」。这正是两者强弱不同的地方。
例子
是任意随机变量,令
- 几乎必然:对每个 是一个固定的有限数,所以 ——其实是处处收敛。
- 依概率(直接算): 是标准正态分布函数(第 41 页)。取 时为 时为 确实趋于 0,与命题 11 一致。
在 上,(第 10 页 例 3)。
- 处处收敛(每个 后 由命题 11 依概率收敛;直接算也是 (
- 证明第 5 步的 正好看到从上连续在起作用。
- 偏差概率之和 所以「依概率收敛 + 可求和」比几乎必然收敛强,「依概率收敛」比几乎必然收敛弱,几乎必然收敛夹在中间。
设 是独立的公平抛硬币(取值 0 或 1)。 不依概率收敛到任何随机变量
- 反设 对 (三角不等式),所以
- 右边两个事件的概率在 时都趋于 0,所以
- 但 就是 由独立性它的概率是 不趋于 0。矛盾。
每一次抛掷都和之前的「毫不相关」,序列没有稳定下来的趋势。
推导:一步一步来
依概率收敛的极限几乎必然唯一。 若 且 则
- 三角不等式:所以若 则两项中至少有一项
- 取概率并用次可加性:左边与 无关,右边 时趋于 0,所以
- 可数个零概率事件之并概率为 0。所以
命题 11 的另一种证明:有界收敛定理。
两种证明都用到了「总质量有限」:从上连续需要 有界收敛定理需要常数 1 可积。
常见疑问与易错点
答:不一定对。在 上取 (第 1 讲「滑走的方块」)。每个点 在 之后 处处收敛到 0;但 不趋于 0。证明第 5 步坏在: 递减到空集,可 从上连续用不上。概率空间总质量为 1,不会有这个问题。
答:不是。依概率收敛对任何一个 上的数列 都不作保证。例 2 和下一页的打字机序列都依概率收敛,但几乎所有(打字机序列是所有) 上都不收敛。它只说「每个固定时刻,出错的世界越来越少」。
答:可求和强得多。可求和推出几乎必然收敛(第 10 页 推论 7),再由命题 11 推出依概率收敛;反过来,依概率收敛只说偏差概率趋于 0,可能像 那样慢、加起来发散(例 2、例 3)。三者的强弱:可求和 ⇒ 几乎必然 ⇒ 依概率,两个箭头都不可逆。
小结与自测
- 定义 10: 指对每个 它看的是每个固定时刻的「出错概率」。
- 命题 11:几乎必然收敛 ⇒ 依概率收敛。证明:尾部并集 递减到「出错无穷多次」(概率 0),从上连续给出 而单步出错包含在 里。
- 反方向不成立(例 2,第 15 页);依概率收敛的极限几乎必然唯一。
- 证明依赖总质量有限: 上滑走的方块几乎处处收敛,却不依测度收敛。
1. 设 服从 上的均匀分布(分布函数 证明
点开看答案
任给 当 时 而 所以 的概率是 0。于是 即 (注意题目只给了每个 的分布,没说它们在同一个 上怎样联系,所以谈不上几乎必然收敛;但依概率收敛到常数 0 只用到每个 的分布。)
2. 判断并说明理由:若 对所有 成立,则
点开看答案
正确。对 对 概率不超过 所以对每个 偏差概率都趋于 0。注意 推论 7 用不上,能否几乎必然收敛要看更多信息。
3. 命题 11 的证明里,从上连续用在了哪一列事件上?这列事件的交集是什么?
点开看答案
用在 上。它们随 递减,交集是 即误差超过 发生无穷多次;几乎必然收敛保证这个交集的概率为 0。
| 中文 | English | 白话解释 |
|---|---|---|
| 依概率收敛 | convergence in probability | 对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。 |
| 几乎必然收敛 | almost sure convergence | 除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。 |
| 从上连续 | continuity from above | 集合一层层变小(Eₙ ↓ E)且 μ(E₁) < ∞ 时,μ(Eₙ) → μ(E)。 |
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 打字机序列 | typewriter sequence | 在 [0,1) 上从左到右一遍遍扫过、越来越窄的小区间的示性函数列:依概率收敛到 0,却在每一点都不收敛。 |
| 子列 | subsequence | 从一个数列里按顺序挑出无穷多项组成的新数列。 |
| Chebyshev 不等式 | Chebyshev's inequality | P(|X − μ| ≥ t) ≤ σ² / t²:方差控制偏离均值的概率。 |
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 无穷多次 | infinitely often (i.o.) | 「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。 |
| 测度 | measure | 给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。 |
| 概率测度 | probability measure | 总质量 P(Ω) = 1 的测度。 |
| 空集 | empty set | 一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。 |
| 交集 | intersection | 同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。 |
| 概率空间 | probability space | 三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。 |
| 偏差概率 | deviation probability | Xₙ 和目标 X 相差超过 ε 的概率 P(|Xₙ − X| > ε)。它趋于 0 就是依概率收敛;对每个 ε 它都可求和时,由 Borel–Cantelli 引理可推出几乎必然收敛。 |
| 依测度收敛 | convergence in measure | 对每个 ε > 0,μ(|fₙ − f| > ε) → 0:偏差超过 ε 的区域,测度越来越小。在概率空间上就是依概率收敛。 |
| 测度空间 | measure space | 三元组 (S, 𝓜, μ):空间、σ-代数、测度。 |
| 几乎处处 | almost everywhere (a.e.) | 除了一个测度为 0 的集合之外都成立;零测集上的值不影响积分。 |
| 并集 | union | 至少属于其中一个集合的元素全体,A ∪ B 对应「A 或 B」。 |
| 可数 | countable | 元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。 |
| 标准正态分布 | standard normal distribution | 均值 0、方差 1 的正态分布 N(0, 1),密度 exp(−x²/2)/√(2π),分布函数记作 Φ。 |
| 函数 | function / map | f: A → B 给 A 中每个元素指定 B 中唯一一个元素。 |
| 独立 | independence | 任意有限个事件同时发生的概率等于各自概率的乘积。 |
| Borel–Cantelli 引理 | Borel–Cantelli lemma | 概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。 |
| 可求和 | summable | 非负数列的级数和有限:Σ aₙ < ∞。例如 Σ 1/n² 可求和,Σ 1/n 不可求和(和是 +∞)。 |
| 三角不等式 | triangle inequality | |a + b| ≤ |a| + |b|:分两段走的总路程不会比直接走更短。推广有 |∫f| ≤ ∫|f|、E|X + Y| ≤ E|X| + E|Y|,以及 Lᵖ 范数的 Minkowski 不等式。 |
| 次可加性 | subadditivity | 并集的测度不超过各部分测度之和:μ(A ∪ B) ≤ μ(A) + μ(B)。 |
| 有界收敛定理 | bounded convergence theorem (BCT) | 有限测度上一致有界、几乎处处收敛的函数列,积分收敛;是 DCT 的特例。 |
| 可积 | integrable (L¹) | ∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。 |
| 控制收敛定理 | dominated convergence theorem (DCT) | fₙ → f 几乎处处且 |fₙ| ≤ g、g 可积时,∫fₙ → ∫f。 |
| 累积分布函数 | cumulative distribution function (CDF) | F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |