高等概率论逐页精讲

第 3 讲 Borel–Cantelli、收敛与 Radon–Nikodym›第 4 部分 Radon–Nikodym 与换测度

PDF 第 32 / 47 页幻灯片 32/49定理

换测度下的期望换算:𝔼_ℚ X = 𝔼_ℙ[X L]

Change of measure in expectations

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

在 下求平均,等于在 下对「 乘以权重 求平均:其中 这是换测度最常用的一个公式,第 5 部分的重要性抽样全靠它。

  • 定义里只说了事件的概率怎么换:这一页把它推广到任意随机变量的期望。
  • 证明走的是测度论里的「标准四步」:示性函数 → 简单函数 → 非负可测函数 → 可积函数。这一页完成前两步(课件小标题 Proof: simple functions),下一页 第 33 页 完成后两步。
  • 第 31 页 第 6 步已经在两点空间上验证过这个公式;这一页说明它在任何概率空间上都成立。

先补基础

基础补课𝔼_ℚ 是什么
  • 表示「按概率 求 的期望」,也就是勒贝格积分 (第 5 页)。
  • 同一个随机变量 (同一个函数),在 和 下期望一般不同,因为两个概率给各个结局的权重不同。
  • 例:均匀骰子 下点数的期望是 3.5;在 第 26 页 例 1 的灌铅骰子 下,大点数更容易出现,期望会更大(下面例 1 算出来是
基础补课简单函数与标准表示回顾
  • 非负简单函数(第 30 页):只取有限个值的非负可测函数。若它的不同取值是 令 则 (标准表示), 两两不交、并起来是
  • 它的积分定义为 对任何测度 都适用,所以
  • 特例:(第 30 页 推论 24)。
基础补课可积与约定 0 · ∞ = 0
  • 在 下可积(记作 指 (第 43 页)。可积时 是一个有限的实数。
  • 非负的 可以取值 期望也可以是 乘积 里若出现「按测度论约定算作 0(第 30 页)。

课件原文逐句精读

课件原文课件印刷文字

Proposition 21 (Expectation conversion)

Proof: simple functions

中文翻译

命题 21(期望换算)

证明:简单函数

  • Proposition(命题):一个重要程度介于「定理」和「引理」之间的结论。
  • Expectation conversion:期望的「换算」,像货币换算一样—— 下的期望可以换成 下的期望来算,汇率就是
  • Proof: simple functions:证明先对简单函数做。这是积分理论里的惯例:积分本来就是从简单函数一步步搭起来的(第 30 页–第 33 页),所以关于积分的等式也从简单函数开始证。
  • 蓝条标题 Change of measure in expectations:期望中的换测度。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

Proposition 21 (Expectation conversion)|命题 21(期望换算)

命题 21(期望换算)

设 是 上的概率测度,

  1. 对每个 -可测函数
  2. 对每个 -可测函数 当且仅当 并且此时

逐条理解:

  • 符号记忆:把 写成「那么 就像把 换元一样。这只是助记,严格的理由是下面的证明。
  • 第 1 条不需要任何可积条件:只要 可测,等式就在 里成立。特别地, 当且仅当 。
  • 第 2 条处理有正有负的 :先要保证期望有意义(可积),而「 在 下可积」恰好等价于「 在 下可积」。
  • 取 就回到密度的定义 所以命题 21 是定义的推广。
  • 为什么有用:如果 下的分布难算、 下好算(或者反过来),就可以换过去算。第 5 部分会利用它「从一个概率里抽样,去估计另一个概率下的期望」。

Proof: simple functions|证明:简单函数

推导证明思路

先对示性函数 验证(就是密度的定义);再利用两边对 都是线性的,推广到非负简单函数

第 1 步:示性函数。 设

第一行的依据是第 1 讲 第 30 页 的推论 24,第二行的依据是 第 27 页 的定理 18。

第 2 步:非负简单函数。 设 是标准表示,

逐行的理由:

  1. 第一行: 是简单函数, 下的积分按定义就是「每个值 × 取这个值的集合的 -概率」再求和(第 30 页)。
  2. 第二行:把第 1 步用在每个 上。
  3. 第三行:每个 是非负可测函数(不一定是简单函数,因为 可以取无穷多个值),系数 非负可测函数的积分满足 (第 38 页),反复使用即可把有限和搬进积分里。
  4. 第四行:所以被积函数就是

于是命题 21 第 1 条对所有非负简单函数成立。

接下来:标准四步的后两步

步骤 对象 关键工具 在哪一页
1 示性函数 密度的定义 本页
2 非负简单函数 两边都是线性的 本页
3 非负可测函数 简单函数逼近 + 单调收敛定理 第 33 页
4 可积函数(有正有负) 拆成正部减负部 第 33 页

这套「四步走」在测度论里反复出现,下次见到「对所有可测函数成立」的积分等式,都可以先想想能不能这样证。

例子

例 1:灌铅骰子的期望点数

均匀,于是 (第 26 页 例 1)。取 (点数)。

  • 直接在 下算:
  • 用命题 21 在 下算:
  • 两者相等,而且都大于均匀骰子的 3.5:权重 在大点数上更大,把平均值往上拉。
例 2:一个两级台阶函数(简单函数的情形)

取简单函数

  • 直接:所以
  • 换算:
  • 这正是第 2 步的计算:每一级台阶的 -概率,都等于那一段上 的 -积分。
例 3:换测度可以改变「期望是否有限」

  • 取 但 权重 在 0 附近很小,把 的「爆炸」压住了。
  • 反过来取 但 权重在 0 附近很大,把 放大成了不可积。
  • 所以命题 21 第 2 条的条件要看「 是否 -可积」,而不是「 是否 -可积」。第 36 页开始的例子会反复碰到这件事。

推导:一步一步来

推导证明思路

命题 21 的一个常用推论: 下的方差也能在 下算。

设 (等价地,即

  1. 由命题 21 第 1 条(用于非负函数
  2. 因为 (由 展开得到), 在 下也可积,于是由第 2 条:
  3. 方差的定义 代入得
  4. 例: 时,所以

第 39、44 页计算重要性抽样估计量的方差,用的就是这种「在哪个概率下算更方便就在哪里算」的思路。

常见疑问与易错点

易错点问:𝔼_ℚ X 是不是等于 𝔼_ℙ X 乘以 𝔼_ℙ L?

答:不是。 是「乘积的期望」,一般不等于「期望的乘积」如果真的相等, 就总等于 换测度就没有意义了。例 1 中

易错点问:绝对连续 ℚ ≪ ℙ 在证明里哪里用到了?

答:用在「 存在」这一步。第 1 步写 时,需要定理 18(第 27 页)给出的密度 而定理 18 的条件正是 没有绝对连续,就没有 公式也无从谈起。

易错点问:为什么第 3 行要强调 ind_{A_k} L 不一定是简单函数?

答:因为能用的线性性要选对。简单函数的线性(第 32 页)只对简单函数成立; 一般取无穷多个值,所以要用非负可测函数的线性(第 38 页,它本身是用 MCT 证出来的)。细节上的「用对工具」是严格证明的一部分。

小结与自测

小结本页小结
  • 命题 21: 时,非负可测 满足 (可同为 此时等式同样成立。
  • 助记:
  • 本页证明了前两步:示性函数(密度的定义)→ 非负简单函数(线性);下一页用 MCT 和正负部完成其余两步。
  • 换测度会改变期望是否有限:要看 在 下是否可积。
自测

1. 用命题 21 说明

点开看答案

取 (非负),这与 一致。

2. 在 第 31 页 的两点空间上(取 用 计算 并直接核对。

点开看答案

直接:一致。

3. 设 是不相交的事件,把 写成关于 的积分,并说明用到了哪一步。

点开看答案

是非负简单函数,由第 2 步 用到了第 1 步(示性函数)和非负函数积分的线性。

本页术语中英对照(按出现顺序)
中文English白话解释
重要性抽样importance sampling从另一个更合适的分布抽样,再乘以权重纠正,从而减小估计的方差。
换测度change of measure用 E_Q[X] = E_P[X · dQ/dP] 在两个概率之间换算期望。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
示性函数indicator function𝟏_A(x) 在 x ∈ A 时取 1,否则取 0;它的积分就是 A 的测度。
可测函数measurable function对每个 a,集合 {f > a} 都可测;这样的函数才能积分。
简单函数simple function只取有限个值的可测函数,是若干示性函数的线性组合,图像像台阶。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
勒贝格积分Lebesgue integral按函数值分块的积分:先定义简单函数的积分,再用下方的简单函数逼近取上确界。
标准表示canonical representation把简单函数写成 Σ aₖ 𝟏_{Aₖ},其中 aₖ 各不相同、Aₖ = {s = aₖ}。
两两不交pairwise disjoint一列集合中任意两个都没有公共元素,对应「任意两件事不会同时发生」。
概率测度probability measure总质量 P(Ω) = 1 的测度。
当且仅当if and only if (iff)「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
集合set把一些对象放在一起当成一个整体,例如 {1,2,3}。
单调收敛定理monotone convergence theorem (MCT)非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。
正部positive / negative partf⁺ = max(f, 0),f⁻ = max(−f, 0),f = f⁺ − f⁻,|f| = f⁺ + f⁻。
方差varianceVar X = E[(X − E X)²],衡量随机变量围绕均值的波动大小。
绝对连续absolute continuity函数版:小区间总长很小时增量总和也很小;测度版:Q ≪ P,P 为零的事件 Q 也为零。