高等概率论逐页精讲

第 3 讲 Borel–Cantelli、收敛与 Radon–Nikodym›开篇

PDF 第 1 / 47 页幻灯片 1/49封面

封面:Borel–Cantelli、收敛与 Radon–Nikodym

Borel–Cantelli, Sequence Convergence, and Radon–Nikodym

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

第 3 讲研究「无穷多次」:一列事件会不会发生无穷多次?一列随机变量会不会越来越接近某个极限?极限和期望能不能交换?最后再学怎样换一个概率测度来算期望,并用它改进随机抽样。

这是第 3 讲的封面。前两讲一直在「打地基」:

  • 第 1 讲:概率空间 测度、勒贝格积分,以及三大极限定理 MCT、Fatou 引理、DCT(MCT、Fatou、DCT)。
  • 第 2 讲:随机变量、分布、期望,用尾概率算期望,以及 Markov、Chebyshev 这类「用矩控制概率」的不等式(随机变量、期望、广义 Markov 不等式)。

第 3 讲第一次真正开始用这些工具解决概率问题。它的主角不再是「一个」事件或「一个」随机变量,而是一整列: 或

先补基础

基础补课序列(sequence)与下标
  • 序列就是排成一队、永远不结束的一列对象:第 1 个、第 2 个、第 3 个……记作 或简写为
  • 下标 表示「第几个」。例如 这个序列是
  • 概率里常见的序列:抛硬币的第 次结果、第 天的股价、做 次试验后的样本平均值。
基础补课收敛(convergence)的最朴素意思
  • 「 收敛到 记作 意思是: 足够大以后, 和 要多近有多近。
  • 例:你要求误差不超过 那么从第 项起都做到了;要求不超过 从第 项起就做到了。
  • 反例: 在 和 之间来回跳,不靠近任何一个数,所以不收敛。
  • 对随机变量来说,「越来越近」可以有好几种不同的理解,这正是第 2 部分要讲清楚的事。

课件原文逐句精读

课件原文封面

Borel–Cantelli, Sequence Convergence, and Radon–Nikodym

Topic 3

中文翻译

Borel–Cantelli(博雷尔–坎泰利)、序列的收敛,与 Radon–Nikodym(拉东–尼科迪姆)

第 3 讲

标题由三个关键词组成,各对应这一讲的一块内容。

① Borel–Cantelli|事件会不会发生无穷多次

  • 这是两位数学家的姓:法国的 Émile Borel(博雷尔)和意大利的 Francesco Cantelli(坎泰利)。中间的短横「–」表示「两人共同的名字」,不是减号。
  • 以他们命名的是两个引理(lemma,意思是「为后面服务的小定理」):第一 Borel–Cantelli 引理(第 4 页)和第二 Borel–Cantelli 引理(第 7 页)。
  • 它们回答的问题是:一列事件 中,会不会有无穷多个发生? 例如「一直抛硬币,连续 10 次正面这件事会不会反复出现无穷多次」。

② Sequence Convergence|随机变量序列的收敛

  • Sequence 是「序列」,Convergence 是「收敛」。
  • 这里说的是随机变量序列 的收敛。随机变量是函数(第 4 页),「函数越来越接近另一个函数」有好几种说法:几乎必然收敛(第 9 页)、依概率收敛(第 14 页),以及期望意义下的收敛(第 20 页)。
  • 这一讲要搞清楚:它们各是什么意思、谁能推出谁、什么时候期望也跟着收敛。

③ Radon–Nikodym|换一个概率测度

  • 同样是两位数学家的姓:奥地利的 Johann Radon(拉东)和波兰的 Otto Nikodym(尼科迪姆)。
  • Radon–Nikodym 定理(第 27 页)告诉我们:如果一个新的概率测度 和原来的 满足一定的相容条件,那么 可以写成「 乘上一个密度函数」。
  • 用它可以在两个概率测度之间换算期望,这是金融定价和「重要性抽样」(第 38 页)的数学基础。

④ Topic 3|第 3 讲

右下角的 1 / 49 是幻灯片编号,表示这是 49 张幻灯片里的第 1 张;本站收录的 PDF 共 47 页。

这一讲的五个部分

部分 页码 一句话
1. Borel–Cantelli 第 3 页–第 8 页 事件发生无穷多次的概率什么时候是 0、什么时候是 1
2. 随机变量的收敛 第 9 页–第 18 页 把第 1 部分用到「误差事件」上,比较几种收敛
3. 期望与密度的收敛 第 19 页–第 25 页 加什么条件,极限才能搬进期望(积分)里
4. Radon–Nikodym 与换测度 第 26 页–第 35 页 用密度在两个概率之间换算
5. 抽样中的应用 第 36 页–第 45 页 换测度让随机模拟的误差变小

下一页(第 2 页)会把每一部分要回答的问题逐句讲清楚。

例子

例 1:本讲会回答的四个具体问题
  1. 一枚公平硬币一直抛下去,「连续 10 次正面」会不会出现无穷多次?(第 8 页:以概率 1 会。)
  2. 令 (在区间 上随机取点)。每一点上 最终都等于 0,那么期望 也趋于 0 吗?(第 19 页:不会, 始终等于 1。)
  3. 存在一列随机变量,任何一个样本点上它都不收敛,但在「出错的概率越来越小」的意义下它又收敛到 0 吗?(第 15 页:存在,叫「打字机序列」。)
  4. 想估计一个很小的概率(比如 直接模拟几乎永远碰不到这个事件,怎么办?(第 5 部分:换一个概率测度去抽样。)

小结与自测

小结本页小结
  • 第 3 讲的主角是一整列事件或随机变量,核心问题是「无穷多次」和「越来越近」。
  • 三个关键词:Borel–Cantelli(事件重复发生)、Sequence Convergence(随机变量收敛)、Radon–Nikodym(换概率测度)。
  • 需要的工具来自前两讲:MCT、Fatou、DCT(第 1 讲),分布、期望、尾积分、Markov 不等式(第 2 讲)。
自测

1. 标题里 Borel–Cantelli 中间的「–」是什么意思?

点开看答案

表示这是两个人(Borel 和 Cantelli)共同的名字,不是减号。Radon–Nikodym 也一样。

2. 序列 收敛吗?收敛到多少?从第几项起误差不超过

点开看答案

收敛到 1。误差 要 即 所以从第 100 项起误差都不超过

本页术语中英对照(按出现顺序)
中文English白话解释
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
概率测度probability measure总质量 P(Ω) = 1 的测度。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
Fatou 引理Fatou's lemma非负可测函数列满足 ∫ liminf fₙ ≤ liminf ∫ fₙ(只保证这个方向)。
勒贝格积分Lebesgue integral按函数值分块的积分:先定义简单函数的积分,再用下方的简单函数逼近取上确界。
单调收敛定理monotone convergence theorem (MCT)非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。
控制收敛定理dominated convergence theorem (DCT)fₙ → f 几乎处处且 |fₙ| ≤ g、g 可积时,∫fₙ → ∫f。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
尾概率tail probability随机变量取到「很大的值」的概率,例如 P(X > t) 或 P(|X| ≥ t)。它随 t 增大而下降得越慢,分布的尾巴就越「厚」。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
Borel–Cantelli 引理Borel–Cantelli lemma概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
依概率收敛convergence in probability对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。
Radon–Nikodym 导数Radon–Nikodym derivativeQ ≪ P 时存在 L = dQ/dP ≥ 0,使 Q(A) = ∫_A L dP;它是「换测度的密度」。
概率密度density满足 P(X ∈ B) = ∫_B f(x) dx 的函数 f;有密度等价于 CDF 绝对连续。
重要性抽样importance sampling从另一个更合适的分布抽样,再乘以权重纠正,从而减小估计的方差。
换测度change of measure用 E_Q[X] = E_P[X · dQ/dP] 在两个概率之间换算期望。
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
样本点sample point一个完整的结局 ω;每次试验恰好实现一个样本点。
打字机序列typewriter sequence在 [0,1) 上从左到右一遍遍扫过、越来越窄的小区间的示性函数列:依概率收敛到 0,却在每一点都不收敛。
Markov 不等式Markov's inequalityX ≥ 0 时 P(X ≥ t) ≤ E X / t:期望小,取大值的概率就小。