高等概率论逐页精讲

第 3 讲 Borel–Cantelli、收敛与 Radon–Nikodym›第 5 部分 抽样中的应用

PDF 第 41 / 47 页幻灯片 41/49定理

高斯换测度:同一个 X,在 ℚ 下均值从 0 挪到 a

Gaussian change of measure

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

在 下是标准正态 取权重 令 那么同一个 在 下就变成 钟形曲线整体向右挪了 权重的样子来自「两个密度相除」(The density ratio),指数里的 来自「总概率必须是 1」(Normalization)。

  • 这一页属于第 5 部分「抽样中的应用」。前面 第 36 页–第 40 页 在区间 上做重要性抽样;从这一页起换到正态分布,这是实际应用里最常见的情形。
  • 用到的理论都在第 4 部分:用密度造概率(第 26 页)、Radon–Nikodym 导数(第 27 页)、期望换算 (第 32 页)、倒数密度(第 35 页)。
  • 后面几页的安排:第 42 页 把两次平移接起来,用来检验链式法则;第 43 页–第 45 页 用这一页的 去估计一个极小的概率

先补基础

基础补课正态分布 N(μ,1)、密度 φ 与分布函数 Φ
  • 是希腊字母 phi(读作「斐」,也常写成 是它的大写。课件规定 这是标准正态密度:一条以 0 为中心、左右对称的钟形曲线,并且对每个 都有
  • 是让曲线下总面积等于 1 的常数:
  • 「 under 读作「在 下 服从标准正态分布」,意思是:对每个博雷尔集
  • 是标准正态的分布函数(CDF)。常用值:
  • 的密度是 把钟形曲线整体向右平移 ( 时向左)。它的分布函数是
基础补课指数的运算与平方展开
  • 例:
  • 例:
  • 配方:把 凑成一个完全平方,验证:右边展开是
基础补课有密度时怎么算期望
  • 若 在 下有密度 则对任何非负可测函数
    这是第 2 讲「期望可以对分布积分」(第 7 页)在有密度时的样子:把 乘上密度,再对 积分。证明走的是和 第 32 页 一样的「示性函数 → 简单函数 → 非负可测函数(用单调收敛定理)」这几步。
  • 特例 就是密度的定义。
  • 平移换元:(令 上限 变成 它成立是因为勒贝格测度的平移不变性(第 23 页):把区间整体挪动,长度不变。特别地,

课件原文逐句精读

课件原文课件印刷文字

Fix and let under . We want this same to have law under . Write .

The density ratio

Normalization

中文翻译

固定 设在 下 我们希望同一个 在 下的分布是 记

密度之比

归一化

逐句看:

  • Fix : 是一个事先定好的实数,可以是正数、负数或 0。 就是我们想让均值挪动的距离。
  • under :原来的概率 下, 是标准正态。
  • this same :这是整页最关键的词。我们不改动随机变量 ( 还是同一个函数 只改动「给每个结局 的权重」,也就是把概率从 换成 这和 第 31 页 里「同一个函数,两个概率下分布不同」是同一件事。
  • to have law under :law(分布)指 把概率「推到」实数轴上得到的那个分布(第 6 页)。目标是:按 看, 的钟形曲线以 为中心。
  • Write :只是给标准正态密度起个名字,后面反复用。
  • 两个加粗小标题是老师板书的两步,下一节补全:先猜出权重 (密度之比),再检查它的期望是 1(归一化)。

为什么要费力换测度?第 43 页会看到:想估计 这样的小概率,在 下抽样几乎抽不到 换到 下(抽样,一半的样本都落在 再用权重纠正回来。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

The density ratio|密度之比

思路:新密度 ÷ 旧密度。 在 第 31 页 的两点空间里, 就是「新概率 ÷ 旧概率」。连续情形完全类似:看 落在一个很短的区间 里的概率,

两者相除, 约掉,得到比值 (这正是 第 27 页「角度二」说的:导数 = 小事件上概率的比值)。于是猜

分母 永远大于 0,所以这个比值对每个 都有定义。下面把它化简,每一步都写出来:

所以 。 是 的连续函数,因而是可测函数(第 29 页),是一个随机变量;它处处为正。

怎么读这个权重(取

  • 随 增大而增大: 越大, 给它的权重比 越多,钟形曲线的质量被往右「搬」。
  • 恰好发生在 即 ——两个均值 和 的正中间,也就是两条钟形曲线的交点。左边 (压低),右边 (抬高)。
人话版画一张图就明白了

在同一个坐标系里画两条钟形曲线:实线 以 0 为中心,虚线 以 为中心(设 两条曲线形状完全一样,只是左右错开,在 处相交。 就是「虚线高度 ÷ 实线高度」:交点左边虚线矮,交点右边虚线高,越往右,实线比虚线掉得快得多,比值 按指数增长。把实线每一点的高度乘以 正好得到虚线——这就是「 下的密度 下的密度」。

Normalization|归一化

光有 还不够:由 第 26 页 的命题,要让 是一个概率,还需要 指数里多出来的常数 就是为这件事准备的。关键是算出

第 1 步:写成积分。 用「有密度时怎么算期望」(

第 2 步:对指数配方。

第一个等号提出 第二个等号用配方 第三个等号把 乘进去。

第 3 步:认出平移后的密度。 由第 2 步,

第 4 步:积分。 常数 提到积分外面,再用平移换元:

第 5 步:归一化成立。 其中 是常数,可以提出期望:

补充为什么「密度之比」自动满足归一化

不用算也能看出来:——分母和密度约掉,剩下新密度的总面积。上面的五步是把这件事用指数形式老老实实算一遍,顺便得到一个以后常用的公式 (标准正态的矩母函数)。

验证:在 ℚ 下 X ∼ N(a,1)

现在按 第 26 页 定义 它是概率,而且 还要检查它确实完成了任务: 在 下的分布函数是 对任意

正是 的分布函数,而分布函数决定整个分布(第 8 页),所以在 下 。

命题(高斯换测度)

设在 上 固定 令

那么:

  1. 所以 是 上的概率测度,
  2. 在 下 对所有 成立;
  3. 因为 反方向 也成立,并且 (第 35 页)。

第 3 条就是后面稀有事件抽样要用的「纠正权重」。

一般做法:任意两个密度之间怎么换

设 在 下有密度 想让它在 下有密度 并且「 的地方一定有 令 (在 这个零概率事件上令 则 并且 本页是 的情形,例 2 是指数分布的情形;第 38 页 挑选抽样密度,本质上也是在挑一个合适的新密度。条件「就是绝对连续,例 3 说明它不能少。

例子

例 1:a = 1 时的权重和概率

几个取值:

的值
  • 在 (0 与 1 的中点)权重恰好是 1;越往右权重越大。
  • 而 换到 后, 取负值变得不太可能。
  • 而 原来六分之一左右的事件,在 下变成了「抛硬币」。
例 2:同样的办法用在指数分布上

设在 下 只取正值,服从参数为 1 的指数分布,密度 (想让 在 下服从参数为 的指数分布,密度

  • 密度之比:
  • 归一化:
  • 验证:正是参数 的指数分布的尾概率。
  • 取 大的 被加权, 在 下的均值从 1 变成 2。
例 3(反例):均匀分布不能这样「平移」

设在 下 服从 上的均匀分布,想让它在 下服从 上的均匀分布。

  • 目标要求 可是 这违反了绝对连续 (第 26 页 定义 17),所以不存在这样的密度
  • 用「密度之比」看:新密度在 上是 1,旧密度是 0,比值是「
  • 高斯情形没有这个问题,因为 对每个 都成立: 给每个区间都留了正的概率,想往哪里挪都可以。

推导:一步一步来

推导证明思路

上面只验证了分布函数。这里用期望换算公式(第 32 页)一次性算出 在 下的所有期望,并算出 的二阶矩——后者预告了「平移太远」的代价。

1. 下任意函数的期望。 对非负可测函数

第一行用的是 第 32 页 的命题 21。所以 在 下的密度就是

2. 均值是 取 (它有正有负,但对 可积,命题 21 第 2 条同样适用):

第二个等号是换元 是因为 是奇函数( 左右对称),正负两半面积相等、互相抵消。

3. 权重的二阶矩。 用「归一化」一节算出的公式 (那里的 可以是任何实数,这里取

于是 在 下的方差是 时约为 1.72, 时约为 8102, 时约为 平移得越远,权重就越不均匀:少数样本权重极大,多数样本权重极小。第 44 页会看到,这正是「平移距离不能随便选」的原因。

常见疑问与易错点

易错点问:换测度之后,X 本身变了吗?

答:没有变。 还是原来那个函数,对同一个 取同一个值。变的是「每个 有多大可能」: 把 取大值的那些 加了权重。所以说「在 下 在 下 并不矛盾,就像 第 31 页 里同一枚硬币在两个假设下正面概率不同。

易错点问:为什么不干脆令 Y = X + a?它也服从 N(a,1)。

答: 是换随机变量、不换概率;这一页是换概率、不换随机变量。两种做法得到的分布一样,但用途不同:重要性抽样需要把「 下的样本」和「 下的期望」联系起来,靠的就是 这样的换算公式(第 35 页),只有换测度才有这个公式。实际抽样时,我们确实用 ( 为标准正态)来生成 下的样本,这一点在 第 43 页 会用到。

易错点问:指数里的 −a²/2 可以省掉吗?

答:不可以。若取 则 ( 时),造出来的 不是概率。 就是归一化常数:把 除以它的期望 得到

易错点问:L 可以大于 1,这合理吗?

答:合理。 不是概率,是「放大倍数」(第 31 页)。它唯一的约束是 下的平均值为 1:一部分地方放大(另一部分地方就得压小(

小结与自测

小结本页小结
  • 目标:不改 只换概率,让 的分布从 变成
  • 密度之比:靠展开 化简。
  • 归一化:配方 给出 所以
  • 验证:并且 所以 相互绝对连续,
  • 平移越远, 越不均匀:
自测

1. 取 写出 并求

点开看答案

由命题第 2 条,在 下 的中心是 所以一半概率落在 左边。

2. 用配方计算 (

点开看答案

所以 积分得 这与公式 (一致。

3. 设 取什么值时 当 时, 在哪一侧

点开看答案

即 0 和 的中点,也是两条钟形曲线 与 的交点。 时 随 增大而增大,所以 时 新曲线在交点右边比旧曲线高。

本页术语中英对照(按出现顺序)
中文English白话解释
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
重要性抽样importance sampling从另一个更合适的分布抽样,再乘以权重纠正,从而减小估计的方差。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
Radon–Nikodym 导数Radon–Nikodym derivativeQ ≪ P 时存在 L = dQ/dP ≥ 0,使 Q(A) = ∫_A L dP;它是「换测度的密度」。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
标准正态分布standard normal distribution均值 0、方差 1 的正态分布 N(0, 1),密度 exp(−x²/2)/√(2π),分布函数记作 Φ。
博雷尔 σ-代数Borel sigma-algebra由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。
累积分布函数cumulative distribution function (CDF)F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
可测函数measurable function对每个 a,集合 {f > a} 都可测;这样的函数才能积分。
单调收敛定理monotone convergence theorem (MCT)非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。
示性函数indicator function𝟏_A(x) 在 x ∈ A 时取 1,否则取 0;它的积分就是 A 的测度。
简单函数simple function只取有限个值的可测函数,是若干示性函数的线性组合,图像像台阶。
平移不变性translation invariance把集合整体平移,测度不变:μ(E + t) = μ(E)。长度就有这个性质。
勒贝格测度Lebesgue measure实数轴上「长度」的严格版本,定义在勒贝格可测集上,m([a,b]) = b − a。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
换测度change of measure用 E_Q[X] = E_P[X · dQ/dP] 在两个概率之间换算期望。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
概率测度probability measure总质量 P(Ω) = 1 的测度。
指数分布exponential distributionP(X > x) = e^(−λx)(x ≥ 0)的分布,均值 1/λ,常用来描述等待时间。
绝对连续absolute continuity函数版:小区间总长很小时增量总和也很小;测度版:Q ≪ P,P 为零的事件 Q 也为零。
尾概率tail probability随机变量取到「很大的值」的概率,例如 P(X > t) 或 P(|X| ≥ t)。它随 t 增大而下降得越慢,分布的尾巴就越「厚」。
阶矩momentE[|X|ᵖ] 叫 p 阶(绝对)矩;它有限与否反映尾部有多「重」。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。
方差varianceVar X = E[(X − E X)²],衡量随机变量围绕均值的波动大小。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。