这一页在讲什么
在 下求平均,等于在 下对「 乘以权重 求平均:其中 这是换测度最常用的一个公式,第 5 部分的重要性抽样全靠它。
- 定义里只说了事件的概率怎么换:这一页把它推广到任意随机变量的期望。
- 证明走的是测度论里的「标准四步」:示性函数 → 简单函数 → 非负可测函数 → 可积函数。这一页完成前两步(课件小标题 Proof: simple functions),下一页 第 33 页 完成后两步。
- 第 31 页 第 6 步已经在两点空间上验证过这个公式;这一页说明它在任何概率空间上都成立。
先补基础
课件原文逐句精读
Proposition 21 (Expectation conversion)
Proof: simple functions
命题 21(期望换算)
证明:简单函数
- Proposition(命题):一个重要程度介于「定理」和「引理」之间的结论。
- Expectation conversion:期望的「换算」,像货币换算一样—— 下的期望可以换成 下的期望来算,汇率就是
- Proof: simple functions:证明先对简单函数做。这是积分理论里的惯例:积分本来就是从简单函数一步步搭起来的(第 30 页–第 33 页),所以关于积分的等式也从简单函数开始证。
- 蓝条标题 Change of measure in expectations:期望中的换测度。
补全课件留白
课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。
Proposition 21 (Expectation conversion)|命题 21(期望换算)
设 是 上的概率测度,
- 对每个 -可测函数
- 对每个 -可测函数 当且仅当 并且此时
逐条理解:
- 符号记忆:把 写成「那么 就像把 换元一样。这只是助记,严格的理由是下面的证明。
- 第 1 条不需要任何可积条件:只要 可测,等式就在 里成立。特别地, 当且仅当 。
- 第 2 条处理有正有负的 :先要保证期望有意义(可积),而「 在 下可积」恰好等价于「 在 下可积」。
- 取 就回到密度的定义 所以命题 21 是定义的推广。
- 为什么有用:如果 下的分布难算、 下好算(或者反过来),就可以换过去算。第 5 部分会利用它「从一个概率里抽样,去估计另一个概率下的期望」。
Proof: simple functions|证明:简单函数
先对示性函数 验证(就是密度的定义);再利用两边对 都是线性的,推广到非负简单函数
第 1 步:示性函数。 设
第一行的依据是第 1 讲 第 30 页 的推论 24,第二行的依据是 第 27 页 的定理 18。
第 2 步:非负简单函数。 设 是标准表示,
逐行的理由:
- 第一行: 是简单函数, 下的积分按定义就是「每个值 × 取这个值的集合的 -概率」再求和(第 30 页)。
- 第二行:把第 1 步用在每个 上。
- 第三行:每个 是非负可测函数(不一定是简单函数,因为 可以取无穷多个值),系数 非负可测函数的积分满足 (第 38 页),反复使用即可把有限和搬进积分里。
- 第四行:所以被积函数就是
于是命题 21 第 1 条对所有非负简单函数成立。
接下来:标准四步的后两步
| 步骤 | 对象 | 关键工具 | 在哪一页 |
|---|---|---|---|
| 1 | 示性函数 | 密度的定义 | 本页 |
| 2 | 非负简单函数 | 两边都是线性的 | 本页 |
| 3 | 非负可测函数 | 简单函数逼近 + 单调收敛定理 | 第 33 页 |
| 4 | 可积函数(有正有负) | 拆成正部减负部 | 第 33 页 |
这套「四步走」在测度论里反复出现,下次见到「对所有可测函数成立」的积分等式,都可以先想想能不能这样证。
例子
均匀,于是 (第 26 页 例 1)。取 (点数)。
- 直接在 下算:
- 用命题 21 在 下算:
- 两者相等,而且都大于均匀骰子的 3.5:权重 在大点数上更大,把平均值往上拉。
取简单函数
- 直接:所以
- 换算:
- 这正是第 2 步的计算:每一级台阶的 -概率,都等于那一段上 的 -积分。
- 取 但 权重 在 0 附近很小,把 的「爆炸」压住了。
- 反过来取 但 权重在 0 附近很大,把 放大成了不可积。
- 所以命题 21 第 2 条的条件要看「 是否 -可积」,而不是「 是否 -可积」。第 36 页开始的例子会反复碰到这件事。
推导:一步一步来
命题 21 的一个常用推论: 下的方差也能在 下算。
设 (等价地,即
- 由命题 21 第 1 条(用于非负函数
- 因为 (由 展开得到), 在 下也可积,于是由第 2 条:
- 方差的定义 代入得
- 例: 时,所以
第 39、44 页计算重要性抽样估计量的方差,用的就是这种「在哪个概率下算更方便就在哪里算」的思路。
常见疑问与易错点
答:不是。 是「乘积的期望」,一般不等于「期望的乘积」如果真的相等, 就总等于 换测度就没有意义了。例 1 中
答:用在「 存在」这一步。第 1 步写 时,需要定理 18(第 27 页)给出的密度 而定理 18 的条件正是 没有绝对连续,就没有 公式也无从谈起。
小结与自测
- 命题 21: 时,非负可测 满足 (可同为 此时等式同样成立。
- 助记:
- 本页证明了前两步:示性函数(密度的定义)→ 非负简单函数(线性);下一页用 MCT 和正负部完成其余两步。
- 换测度会改变期望是否有限:要看 在 下是否可积。
1. 用命题 21 说明
点开看答案
取 (非负),这与 一致。
2. 在 第 31 页 的两点空间上(取 用 计算 并直接核对。
点开看答案
直接:一致。
3. 设 是不相交的事件,把 写成关于 的积分,并说明用到了哪一步。
点开看答案
是非负简单函数,由第 2 步 用到了第 1 步(示性函数)和非负函数积分的线性。
| 中文 | English | 白话解释 |
|---|---|---|
| 重要性抽样 | importance sampling | 从另一个更合适的分布抽样,再乘以权重纠正,从而减小估计的方差。 |
| 换测度 | change of measure | 用 E_Q[X] = E_P[X · dQ/dP] 在两个概率之间换算期望。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| 测度 | measure | 给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。 |
| 示性函数 | indicator function | 𝟏_A(x) 在 x ∈ A 时取 1,否则取 0;它的积分就是 A 的测度。 |
| 可测函数 | measurable function | 对每个 a,集合 {f > a} 都可测;这样的函数才能积分。 |
| 简单函数 | simple function | 只取有限个值的可测函数,是若干示性函数的线性组合,图像像台阶。 |
| 函数 | function / map | f: A → B 给 A 中每个元素指定 B 中唯一一个元素。 |
| 可积 | integrable (L¹) | ∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。 |
| 概率空间 | probability space | 三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。 |
| 勒贝格积分 | Lebesgue integral | 按函数值分块的积分:先定义简单函数的积分,再用下方的简单函数逼近取上确界。 |
| 标准表示 | canonical representation | 把简单函数写成 Σ aₖ 𝟏_{Aₖ},其中 aₖ 各不相同、Aₖ = {s = aₖ}。 |
| 两两不交 | pairwise disjoint | 一列集合中任意两个都没有公共元素,对应「任意两件事不会同时发生」。 |
| 概率测度 | probability measure | 总质量 P(Ω) = 1 的测度。 |
| 当且仅当 | if and only if (iff) | 「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| 集合 | set | 把一些对象放在一起当成一个整体,例如 {1,2,3}。 |
| 单调收敛定理 | monotone convergence theorem (MCT) | 非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。 |
| 正部 | positive / negative part | f⁺ = max(f, 0),f⁻ = max(−f, 0),f = f⁺ − f⁻,|f| = f⁺ + f⁻。 |
| 方差 | variance | Var X = E[(X − E X)²],衡量随机变量围绕均值的波动大小。 |
| 绝对连续 | absolute continuity | 函数版:小区间总长很小时增量总和也很小;测度版:Q ≪ P,P 为零的事件 Q 也为零。 |