高等概率论逐页精讲

第 3 讲 · 47 页课件

Borel–Cantelli、收敛与 Radon–Nikodym

Borel–Cantelli, Sequence Convergence, and Radon–Nikodym

事件会不会发生无穷多次、随机变量的几种收敛方式、什么条件下期望可以取极限，以及换测度（重要性抽样）怎么做。

从第 1 页开始

精讲已完成 47 / 47 页 · 已看懂 0 / 47 页

开篇

  1. 01 封面：Borel–Cantelli、收敛与 Radon–NikodymBorel–Cantelli, Sequence Convergence, and Radon–Nikodym 幻灯片 1/49 · 封面
  2. 02 目录与每部分要回答的问题Contents and the questions they answer 幻灯片 2/49 · 目录

第 1 部分　Borel–Cantelli：事件的重复发生Borel–Cantelli: recurrence of events

  1. 03 「无穷多次」与「最终总是」：用集合写出长期行为Infinitely often and eventually always 幻灯片 3/49 · 定义
  2. 04 第一 Borel–Cantelli 引理：概率之和有限，就只发生有限次Borel–Cantelli I 幻灯片 4/49 · 定理
  3. 05 每条路径上次数有限，期望却可以无穷：第一引理的逆不成立A finite count on every path can have infinite expectation 幻灯片 5/49 · 例子
  4. 06 相互独立：任意有限个事件的「交」的概率都等于概率的乘积Independence 幻灯片 6/49 · 定义
  5. 07 第二 Borel–Cantelli 引理：独立且概率之和无穷，就发生无穷多次Borel–Cantelli II 幻灯片 7/49 · 定理
  6. 08 抛硬币中某个固定字串会无穷次出现：用「不重叠的块」换来独立性Recurrence of a fixed word in coin tosses 幻灯片 8/49 · 例子

第 2 部分　随机变量的收敛：误差与子列Random-variable convergence: errors and subsequences

  1. 09 几乎必然收敛：把「收敛」翻译成误差事件Almost-sure convergence and error events 幻灯片 9/49 · 定义
  2. 10 偏差概率可求和：几乎必然收敛最常用的判别法Summable deviation probabilities 幻灯片 10/49 · 定理
  3. 11 一阶矩有限时 Xₙ/n → 0 几乎必然：同分布的观测只能次线性增长Finite first moment: Xn/n → 0 almost surely 幻灯片 11/49 · 定理
  4. 12 尾积分给出可求和判别：阶梯面积夹住尾函数下的面积Tail integrals give a summability criterion 幻灯片 12/49 · 定理
  5. 13 一阶矩无穷时 lim sup |Xₙ|/n = ∞：独立同分布的观测会无穷多次越过任何直线Infinite first moment: lim sup |Xn|/n = ∞ 幻灯片 13/49 · 定理
  6. 14 依概率收敛的定义，以及「几乎必然收敛 ⇒ 依概率收敛」Almost-sure convergence implies convergence in probability 幻灯片 14/49 · 定理
  7. 15 打字机序列：依概率收敛到 0，却在每一点都不收敛The typewriter sequence 幻灯片 15/49 · 例子
  8. 16 子列判别法：依概率收敛 ⟺ 每个子列都有几乎必然收敛的子子列The subsequence criterion 幻灯片 16/49 · 定理
  9. 17 连续映射定理：依概率收敛能「穿过」在极限处连续的函数Continuous mappings 幻灯片 17/49 · 定理
  10. 18 阈值概率与间断点：只要 ℙ(X = c) = 0，就有 ℙ(Xₙ > c) → ℙ(X > c)Threshold probabilities and discontinuities 幻灯片 18/49 · 例子

第 3 部分　期望与密度的收敛Convergence of expectations and densities

  1. 19 尖峰反例：几乎处处收敛到 0，期望却始终是 1——缺的是一个可积上界Convergence of expectations: the missing integrable bound 幻灯片 19/49 · 例子
  2. 20 依概率收敛下的控制收敛定理：一个共同的可积上界就够了Dominated convergence in probability 幻灯片 20/49 · 定理
  3. 21 依概率控制收敛的证明（续）：反证、再取子列、用 DCTDominated convergence in probability: proof 幻灯片 21/49 · 证明
  4. 22 Scheffé 引理：逐点收敛再加上总质量收敛，积分误差就趋于 0Scheffé's lemma 幻灯片 22/49 · 定理
  5. 23 Scheffé 引理的证明：对「公共部分」min(fₙ, f) 用控制收敛Scheffé's lemma: proof 幻灯片 23/49 · 证明
  6. 24 密度收敛与事件概率：最大概率误差恰好是 L¹ 误差的一半Density convergence and event probabilities 幻灯片 24/49 · 定理
  7. 25 概率误差的精确计算：L¹ 误差是 2/(n+1)，最大事件误差是 1/(n+1)An exact calculation of the probability error 幻灯片 25/49 · 例子

第 4 部分　Radon–Nikodym 与换测度Radon–Nikodym and change of measure

  1. 26 绝对连续与概率密度：用一个「权重函数」把 ℙ 变成 ℚAbsolute continuity and a probability density 幻灯片 26/49 · 定义
  2. 27 Radon–Nikodym 定理：绝对连续就一定有密度Radon–Nikodym for probability measures 幻灯片 27/49 · 定理
  3. 28 Radon–Nikodym 导数的唯一性：盯住「一个密度更大」的那个事件Uniqueness of the Radon–Nikodym derivative 幻灯片 28/49 · 证明
  4. 29 绝对连续控制小事件：ℙ 概率小，ℚ 概率也小Absolute continuity controls small-event probabilities 幻灯片 29/49 · 定理
  5. 30 固定换测度下的收敛：ℙ 下收敛，ℚ 下也收敛Convergence under a fixed change of measure 幻灯片 30/49 · 定理
  6. 31 两点空间上的换测度：把 Radon–Nikodym 导数直接算出来A change of probability on two outcomes 幻灯片 31/49 · 例子
  7. 32 换测度下的期望换算：𝔼_ℚ X = 𝔼_ℙ[X L]Change of measure in expectations 幻灯片 32/49 · 定理
  8. 33 期望换算的证明（续）：单调收敛推到非负函数，正负部推到可积函数Change of measure in expectations: proof 幻灯片 33/49 · 证明
  9. 34 Radon–Nikodym 导数的链式法则：连换两次测度，密度相乘Chain rule for Radon–Nikodym derivatives 幻灯片 34/49 · 定理
  10. 35 倒数密度与反向期望公式：密度处处为正时，可以从 ℚ 换回 ℙThe reciprocal density and reverse expectation formula 幻灯片 35/49 · 定理

第 5 部分　抽样中的应用Sampling applications

  1. 36 无偏估计量的方差可以无穷：均匀抽样遇上可积的奇点An unbiased estimator can have infinite variance 幻灯片 36/49 · 例子
  2. 37 方差与样本均值的误差：均方误差是 σ²/n，误差按 σ/√n 缩小Variance and the error of a sample average 幻灯片 37/49 · 定理
  3. 38 重要性抽样：选一个「模仿奇点」的抽样密度Importance sampling: choice of the density 幻灯片 38/49 · 例子
  4. 39 重要性抽样：奇点被抵消，估计量变得有界Importance sampling: cancellation of the singularity 幻灯片 39/49 · 例子
  5. 40 用一个均匀随机数抽出所选的密度（逆变换）Sampling the chosen density with a uniform variable 幻灯片 40/49 · 例子
  6. 41 高斯换测度：同一个 X，在 ℚ 下均值从 0 挪到 aGaussian change of measure 幻灯片 41/49 · 定理
  7. 42 高斯平移的复合：先挪到 a、再挪到 b，等于一步挪到 bComposition of Gaussian shifts 幻灯片 42/49 · 定理
  8. 43 高斯稀有事件抽样：把样本挪到门槛附近Gaussian rare-event sampling 幻灯片 43/49 · 例子
  9. 44 稀有事件抽样：配方算出精确的二阶矩Gaussian rare-event sampling: exact second moment 幻灯片 44/49 · 证明
  10. 45 稀有事件抽样：方差到底改进了多少Gaussian rare-event sampling: variance improvement 幻灯片 45/49 · 定理

补充Supplement

  1. 46 补充：Fatou 引理与单调函数的导数Supplement: Fatou and a monotone derivative 幻灯片 46/49 · 例子
  2. 47 补充：差商的积分、Fatou 引理与严格不等号Supplement: the integral bound and strict inequality 幻灯片 47/49 · 证明