高等概率论逐页精讲

第 3 讲 Borel–Cantelli、收敛与 Radon–Nikodym›第 2 部分 随机变量的收敛:误差与子列

PDF 第 14 / 47 页幻灯片 14/49定理

依概率收敛的定义,以及「几乎必然收敛 ⇒ 依概率收敛」

Almost-sure convergence implies convergence in probability

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

依概率收敛只要求:对每个容忍度 「第 步误差超过 的概率趋于 0。它比几乎必然收敛弱:几乎必然收敛要求几乎每条路径最终一直待在误差管子里,依概率收敛只要求每个固定时刻「在管子外的路径」越来越少。命题 11 证明强的推出弱的,工具是第 1 讲的「从上连续」。

这是第 2 部分「随机变量的收敛」引入第二种收敛的一页。

  • 前面 第 9 页–第 13 页 讲的都是几乎必然收敛:盯住一个 看数列 收不收敛。
  • 这一页定义依概率收敛:盯住一个时刻 看「误差大」的概率有多大。
  • 命题 11:几乎必然收敛 ⇒ 依概率收敛。下一页 第 15 页 用「打字机序列」说明反过来不成立;第 16 页 的子列判别法说明两者之间的精确关系。
  • 依概率收敛在应用里很常见:样本均值用 Chebyshev 不等式就能证明它依概率收敛到期望(第 37 页),而几乎必然收敛往往难证得多。

先补基础

基础补课数列趋于 0(回顾)

数列 的意思是:对每个 存在 使所有 都有 (第 9 页 基础补课)。例:反例:(常数)。本页的 是概率 总在 里。

基础补课误差事件与「无穷多次」(第 9 页)
  • 误差事件 第 步误差超过 它属于 可以谈概率(第 9 页)。
  • 误差超过 发生无穷多次(第 3 页)。
  • 第 9 页 命题 B: 几乎必然 对每个
基础补课从上连续(第 1 讲 p14)

若事件递减 则

对一般测度这需要 概率测度总质量是 1,自动满足(第 14 页)。

例: 在 上,交集是空集。

课件原文逐句精读

课件原文Almost-sure convergence implies convergence in probability

Definition 10 (Convergence in probability)

Proposition 11 (Almost surely implies in probability)

Proof

中文翻译

(标题:几乎必然收敛蕴含依概率收敛)

定义 10(依概率收敛)

命题 11(几乎必然蕴含依概率)

证明

  • Almost-sure convergence implies convergence in probability(蓝条标题):implies 是「蕴含、推出」。标题就是命题 11 的内容。
  • Definition 10:定义 10,编号接着 第 13 页 的定理 9。convergence in probability:依概率收敛。
  • Proposition 11:命题 11。Almost surely implies in probability:几乎必然(收敛)推出依概率(收敛)。
  • Proof:命题 11 的证明。
  • 三个标签下都是留白。设定仍然沿用 第 9 页: 是同一个概率空间 上的实值随机变量。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

Definition 10 (Convergence in probability)|定义 10(依概率收敛)

定义 10(依概率收敛)

设 是 上的实值随机变量。称 依概率收敛(converges in probability)到 记作 如果对每个

逐个看:

  • 「对每个 :和几乎必然收敛一样,容忍度可以任意小。只对一个 成立是不够的。
  • :第 步的偏差概率(第 10 页)。依概率收敛只要求它趋于 0;第 10 页 推论 7 要求的「加起来有限」更强。
  • 记号 箭头上的 提醒你收敛是「按概率 来衡量的」。换一个概率测度,结论可能不同(第 30 页 讨论过 时能保持)。
  • 还是 :写成 是等价的。因为 对每个 都成立,三者同时趋于 0。
  • 展开成量词:对每个 和每个 存在 使得 时 管「误差多大算大」, 管「这种大误差的概率能压到多小」。
人话版:拍快照 vs 看录像

把 想成一个平行世界, 是这个世界里的一段录像。

  • 几乎必然收敛是「看录像」:几乎每一个世界,从某一刻起都永远留在以 为中心、半宽 的管子里。
  • 依概率收敛是「拍快照」:在每个固定时刻 拍一张所有世界的合影,数一数有多少(概率意义上的「多少」)世界此刻在管子外面。要求是:这个比例随 趋于 0。
  • 快照不关心是哪些世界在管子外。可能每一刻都是不同的一小撮世界出界,每个世界轮流出界无穷多次——这样的快照比例照样趋于 0,录像却没有一个是收敛的。下一页的打字机序列就是这样。

Proposition 11 (Almost surely implies in probability)|命题 11(几乎必然蕴含依概率)

命题 11(几乎必然收敛 ⇒ 依概率收敛)

设 是 上的实值随机变量。若 几乎必然,则

  • 方向:强 ⇒ 弱。反方向一般不成立(第 15 页)。
  • 这里用到了 是有限测度(总质量 1)。在无穷测度空间上,「几乎处处收敛 ⇒ 依测度收敛」可以失败,见下面的易错点。

Proof|证明

推导证明思路

固定 把「第 步及以后某一步出错」记为 随 递减,交集是「出错无穷多次」,几乎必然收敛说它的概率是 0;从上连续给出 第 步出错包含在 里,概率更小,也趋于 0。

  1. 固定 定义尾部并集。令

即「从第 步起,至少有一步误差超过 可数个事件的并仍是事件, 2. 递减。 是对 取并, 是对 取并,后者多并了一个事件,所以 3. 交集是「出错无穷多次」。按定义(第 3 页),

  1. 它的概率是 0。 几乎必然,由 第 9 页 命题 B(「⇒」方向),
  2. 从上连续。第 2 步说 递减,概率测度有限,由从上连续(第 14 页)和第 3、4 步,
  1. 单步出错包含在尾部并集里。 是 里 的那一项,所以 由单调性

夹逼得 是任取的,所以 证毕。

这一证明说明的事比命题本身多:第 5 步得到的是 (因为 也就是说,几乎必然收敛控制的是「从 往后所有时刻的最坏误差」,依概率收敛只控制「第 个时刻的误差」。这正是两者强弱不同的地方。

例子

例 1:两种收敛都成立

是任意随机变量,令

  • 几乎必然:对每个 是一个固定的有限数,所以 ——其实是处处收敛。
  • 依概率(直接算): 是标准正态分布函数(第 41 页)。取 时为 时为 确实趋于 0,与命题 11 一致。
例 2:依概率收敛,但不几乎必然收敛

设 相互独立,(第 9 页 例 2、第 10 页 例 2)。

  • 依概率收敛:对 对 所以
  • 不几乎必然收敛:事件独立,由第二 Borel–Cantelli 引理(第 7 页), 以概率 1 发生无穷多次,即 无穷多次。同时 也独立、所以 也无穷多次。几乎每条路径都在 0 和 1 之间来回跳,不收敛。
  • 用快照的话说:每个时刻出界的世界占比 越来越少;但每个世界都会无穷多次出界。
例 3:几乎必然收敛,但偏差概率不可求和

在 上,(第 10 页 例 3)。

  • 处处收敛(每个 后 由命题 11 依概率收敛;直接算也是 (
  • 证明第 5 步的 正好看到从上连续在起作用。
  • 偏差概率之和 所以「依概率收敛 + 可求和」比几乎必然收敛强,「依概率收敛」比几乎必然收敛弱,几乎必然收敛夹在中间。
例 4(反例):连依概率收敛都没有

设 是独立的公平抛硬币(取值 0 或 1)。 不依概率收敛到任何随机变量

  1. 反设 对 (三角不等式),所以
  2. 右边两个事件的概率在 时都趋于 0,所以
  3. 但 就是 由独立性它的概率是 不趋于 0。矛盾。

每一次抛掷都和之前的「毫不相关」,序列没有稳定下来的趋势。

推导:一步一步来

依概率收敛的极限几乎必然唯一。 若 且 则

  1. 三角不等式:所以若 则两项中至少有一项
  1. 取概率并用次可加性:左边与 无关,右边 时趋于 0,所以
  2. 可数个零概率事件之并概率为 0。所以

命题 11 的另一种证明:有界收敛定理。

  1. 固定 令 在收敛集 上,从某一步起 所以 收敛集概率为 1,故 几乎必然。
  2. 常数 1 在概率空间上可积。由有界收敛定理(第 46 页,或 DCT 第 44 页),
  3. 所以它趋于 0。

两种证明都用到了「总质量有限」:从上连续需要 有界收敛定理需要常数 1 可积。

常见疑问与易错点

易错点问:在无穷测度上,「几乎处处收敛 ⇒ 依测度收敛」还对吗?

答:不一定对。在 上取 (第 1 讲「滑走的方块」)。每个点 在 之后 处处收敛到 0;但 不趋于 0。证明第 5 步坏在: 递减到空集,可 从上连续用不上。概率空间总质量为 1,不会有这个问题。

易错点问:依概率收敛是不是说「大多数 ω 上 Xₙ(ω) 收敛」?

答:不是。依概率收敛对任何一个 上的数列 都不作保证。例 2 和下一页的打字机序列都依概率收敛,但几乎所有(打字机序列是所有) 上都不收敛。它只说「每个固定时刻,出错的世界越来越少」。

易错点问:依概率收敛和 P(|Xₙ − X| > ε) 可求和,哪个强?

答:可求和强得多。可求和推出几乎必然收敛(第 10 页 推论 7),再由命题 11 推出依概率收敛;反过来,依概率收敛只说偏差概率趋于 0,可能像 那样慢、加起来发散(例 2、例 3)。三者的强弱:可求和 ⇒ 几乎必然 ⇒ 依概率,两个箭头都不可逆。

小结与自测

小结本页小结
  • 定义 10: 指对每个 它看的是每个固定时刻的「出错概率」。
  • 命题 11:几乎必然收敛 ⇒ 依概率收敛。证明:尾部并集 递减到「出错无穷多次」(概率 0),从上连续给出 而单步出错包含在 里。
  • 反方向不成立(例 2,第 15 页);依概率收敛的极限几乎必然唯一。
  • 证明依赖总质量有限: 上滑走的方块几乎处处收敛,却不依测度收敛。
自测

1. 设 服从 上的均匀分布(分布函数 证明

点开看答案

任给 当 时 而 所以 的概率是 0。于是 即 (注意题目只给了每个 的分布,没说它们在同一个 上怎样联系,所以谈不上几乎必然收敛;但依概率收敛到常数 0 只用到每个 的分布。)

2. 判断并说明理由:若 对所有 成立,则

点开看答案

正确。对 对 概率不超过 所以对每个 偏差概率都趋于 0。注意 推论 7 用不上,能否几乎必然收敛要看更多信息。

3. 命题 11 的证明里,从上连续用在了哪一列事件上?这列事件的交集是什么?

点开看答案

用在 上。它们随 递减,交集是 即误差超过 发生无穷多次;几乎必然收敛保证这个交集的概率为 0。

本页术语中英对照(按出现顺序)
中文English白话解释
依概率收敛convergence in probability对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
从上连续continuity from above集合一层层变小(Eₙ ↓ E)且 μ(E₁) < ∞ 时,μ(Eₙ) → μ(E)。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
打字机序列typewriter sequence在 [0,1) 上从左到右一遍遍扫过、越来越窄的小区间的示性函数列:依概率收敛到 0,却在每一点都不收敛。
子列subsequence从一个数列里按顺序挑出无穷多项组成的新数列。
Chebyshev 不等式Chebyshev's inequalityP(|X − μ| ≥ t) ≤ σ² / t²:方差控制偏离均值的概率。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
概率测度probability measure总质量 P(Ω) = 1 的测度。
空集empty set一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。
交集intersection同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
偏差概率deviation probabilityXₙ 和目标 X 相差超过 ε 的概率 P(|Xₙ − X| > ε)。它趋于 0 就是依概率收敛;对每个 ε 它都可求和时,由 Borel–Cantelli 引理可推出几乎必然收敛。
依测度收敛convergence in measure对每个 ε > 0,μ(|fₙ − f| > ε) → 0:偏差超过 ε 的区域,测度越来越小。在概率空间上就是依概率收敛。
测度空间measure space三元组 (S, 𝓜, μ):空间、σ-代数、测度。
几乎处处almost everywhere (a.e.)除了一个测度为 0 的集合之外都成立;零测集上的值不影响积分。
并集union至少属于其中一个集合的元素全体,A ∪ B 对应「A 或 B」。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
标准正态分布standard normal distribution均值 0、方差 1 的正态分布 N(0, 1),密度 exp(−x²/2)/√(2π),分布函数记作 Φ。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
独立independence任意有限个事件同时发生的概率等于各自概率的乘积。
Borel–Cantelli 引理Borel–Cantelli lemma概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。
可求和summable非负数列的级数和有限:Σ aₙ < ∞。例如 Σ 1/n² 可求和,Σ 1/n 不可求和(和是 +∞)。
三角不等式triangle inequality|a + b| ≤ |a| + |b|:分两段走的总路程不会比直接走更短。推广有 |∫f| ≤ ∫|f|、E|X + Y| ≤ E|X| + E|Y|,以及 Lᵖ 范数的 Minkowski 不等式。
次可加性subadditivity并集的测度不超过各部分测度之和:μ(A ∪ B) ≤ μ(A) + μ(B)。
有界收敛定理bounded convergence theorem (BCT)有限测度上一致有界、几乎处处收敛的函数列,积分收敛;是 DCT 的特例。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。
控制收敛定理dominated convergence theorem (DCT)fₙ → f 几乎处处且 |fₙ| ≤ g、g 可积时,∫fₙ → ∫f。
累积分布函数cumulative distribution function (CDF)F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。