这一页在讲什么
在 下是标准正态 取权重 令 那么同一个 在 下就变成 钟形曲线整体向右挪了 权重的样子来自「两个密度相除」(The density ratio),指数里的 来自「总概率必须是 1」(Normalization)。
- 这一页属于第 5 部分「抽样中的应用」。前面 第 36 页–第 40 页 在区间 上做重要性抽样;从这一页起换到正态分布,这是实际应用里最常见的情形。
- 用到的理论都在第 4 部分:用密度造概率(第 26 页)、Radon–Nikodym 导数(第 27 页)、期望换算 (第 32 页)、倒数密度(第 35 页)。
- 后面几页的安排:第 42 页 把两次平移接起来,用来检验链式法则;第 43 页–第 45 页 用这一页的 去估计一个极小的概率
先补基础
- 是希腊字母 phi(读作「斐」,也常写成 是它的大写。课件规定 这是标准正态密度:一条以 0 为中心、左右对称的钟形曲线,并且对每个 都有
- 是让曲线下总面积等于 1 的常数:
- 「 under 读作「在 下 服从标准正态分布」,意思是:对每个博雷尔集
- 是标准正态的分布函数(CDF)。常用值:
- 的密度是 把钟形曲线整体向右平移 ( 时向左)。它的分布函数是
- 例:
- 例:
- 配方:把 凑成一个完全平方,验证:右边展开是
课件原文逐句精读
Fix and let under . We want this same to have law under . Write .
The density ratio
Normalization
固定 设在 下 我们希望同一个 在 下的分布是 记
密度之比
归一化
逐句看:
- Fix : 是一个事先定好的实数,可以是正数、负数或 0。 就是我们想让均值挪动的距离。
- under :原来的概率 下, 是标准正态。
- this same :这是整页最关键的词。我们不改动随机变量 ( 还是同一个函数 只改动「给每个结局 的权重」,也就是把概率从 换成 这和 第 31 页 里「同一个函数,两个概率下分布不同」是同一件事。
- to have law under :law(分布)指 把概率「推到」实数轴上得到的那个分布(第 6 页)。目标是:按 看, 的钟形曲线以 为中心。
- Write :只是给标准正态密度起个名字,后面反复用。
- 两个加粗小标题是老师板书的两步,下一节补全:先猜出权重 (密度之比),再检查它的期望是 1(归一化)。
为什么要费力换测度?第 43 页会看到:想估计 这样的小概率,在 下抽样几乎抽不到 换到 下(抽样,一半的样本都落在 再用权重纠正回来。
补全课件留白
课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。
The density ratio|密度之比
思路:新密度 ÷ 旧密度。 在 第 31 页 的两点空间里, 就是「新概率 ÷ 旧概率」。连续情形完全类似:看 落在一个很短的区间 里的概率,
两者相除, 约掉,得到比值 (这正是 第 27 页「角度二」说的:导数 = 小事件上概率的比值)。于是猜
分母 永远大于 0,所以这个比值对每个 都有定义。下面把它化简,每一步都写出来:
所以 。 是 的连续函数,因而是可测函数(第 29 页),是一个随机变量;它处处为正。
怎么读这个权重(取
- 随 增大而增大: 越大, 给它的权重比 越多,钟形曲线的质量被往右「搬」。
- 恰好发生在 即 ——两个均值 和 的正中间,也就是两条钟形曲线的交点。左边 (压低),右边 (抬高)。
在同一个坐标系里画两条钟形曲线:实线 以 0 为中心,虚线 以 为中心(设 两条曲线形状完全一样,只是左右错开,在 处相交。 就是「虚线高度 ÷ 实线高度」:交点左边虚线矮,交点右边虚线高,越往右,实线比虚线掉得快得多,比值 按指数增长。把实线每一点的高度乘以 正好得到虚线——这就是「 下的密度 下的密度」。
Normalization|归一化
光有 还不够:由 第 26 页 的命题,要让 是一个概率,还需要 指数里多出来的常数 就是为这件事准备的。关键是算出
第 1 步:写成积分。 用「有密度时怎么算期望」(
第 2 步:对指数配方。
第一个等号提出 第二个等号用配方 第三个等号把 乘进去。
第 3 步:认出平移后的密度。 由第 2 步,
第 4 步:积分。 常数 提到积分外面,再用平移换元:
第 5 步:归一化成立。 其中 是常数,可以提出期望:
不用算也能看出来:——分母和密度约掉,剩下新密度的总面积。上面的五步是把这件事用指数形式老老实实算一遍,顺便得到一个以后常用的公式 (标准正态的矩母函数)。
验证:在 ℚ 下 X ∼ N(a,1)
现在按 第 26 页 定义 它是概率,而且 还要检查它确实完成了任务: 在 下的分布函数是 对任意
正是 的分布函数,而分布函数决定整个分布(第 8 页),所以在 下 。
第 3 条就是后面稀有事件抽样要用的「纠正权重」。
一般做法:任意两个密度之间怎么换
设 在 下有密度 想让它在 下有密度 并且「 的地方一定有 令 (在 这个零概率事件上令 则 并且 本页是 的情形,例 2 是指数分布的情形;第 38 页 挑选抽样密度,本质上也是在挑一个合适的新密度。条件「就是绝对连续,例 3 说明它不能少。
例子
几个取值:
| 的值 | ||||||
|---|---|---|---|---|---|---|
- 在 (0 与 1 的中点)权重恰好是 1;越往右权重越大。
- 而 换到 后, 取负值变得不太可能。
- 而 原来六分之一左右的事件,在 下变成了「抛硬币」。
设在 下 只取正值,服从参数为 1 的指数分布,密度 (想让 在 下服从参数为 的指数分布,密度
- 密度之比:
- 归一化:
- 验证:正是参数 的指数分布的尾概率。
- 取 大的 被加权, 在 下的均值从 1 变成 2。
设在 下 服从 上的均匀分布,想让它在 下服从 上的均匀分布。
- 目标要求 可是 这违反了绝对连续 (第 26 页 定义 17),所以不存在这样的密度
- 用「密度之比」看:新密度在 上是 1,旧密度是 0,比值是「
- 高斯情形没有这个问题,因为 对每个 都成立: 给每个区间都留了正的概率,想往哪里挪都可以。
推导:一步一步来
上面只验证了分布函数。这里用期望换算公式(第 32 页)一次性算出 在 下的所有期望,并算出 的二阶矩——后者预告了「平移太远」的代价。
1. 下任意函数的期望。 对非负可测函数
第一行用的是 第 32 页 的命题 21。所以 在 下的密度就是
2. 均值是 取 (它有正有负,但对 可积,命题 21 第 2 条同样适用):
第二个等号是换元 是因为 是奇函数( 左右对称),正负两半面积相等、互相抵消。
3. 权重的二阶矩。 用「归一化」一节算出的公式 (那里的 可以是任何实数,这里取
于是 在 下的方差是 时约为 1.72, 时约为 8102, 时约为 平移得越远,权重就越不均匀:少数样本权重极大,多数样本权重极小。第 44 页会看到,这正是「平移距离不能随便选」的原因。
常见疑问与易错点
答:没有变。 还是原来那个函数,对同一个 取同一个值。变的是「每个 有多大可能」: 把 取大值的那些 加了权重。所以说「在 下 在 下 并不矛盾,就像 第 31 页 里同一枚硬币在两个假设下正面概率不同。
答:不可以。若取 则 ( 时),造出来的 不是概率。 就是归一化常数:把 除以它的期望 得到
答:合理。 不是概率,是「放大倍数」(第 31 页)。它唯一的约束是 下的平均值为 1:一部分地方放大(另一部分地方就得压小(
小结与自测
- 目标:不改 只换概率,让 的分布从 变成
- 密度之比:靠展开 化简。
- 归一化:配方 给出 所以
- 验证:并且 所以 相互绝对连续,
- 平移越远, 越不均匀:
1. 取 写出 并求
点开看答案
由命题第 2 条,在 下 的中心是 所以一半概率落在 左边。
2. 用配方计算 (
点开看答案
所以 积分得 这与公式 (一致。
3. 设 取什么值时 当 时, 在哪一侧
点开看答案
即 0 和 的中点,也是两条钟形曲线 与 的交点。 时 随 增大而增大,所以 时 新曲线在交点右边比旧曲线高。
| 中文 | English | 白话解释 |
|---|---|---|
| 区间 | interval | 数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。 |
| 重要性抽样 | importance sampling | 从另一个更合适的分布抽样,再乘以权重纠正,从而减小估计的方差。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| Radon–Nikodym 导数 | Radon–Nikodym derivative | Q ≪ P 时存在 L = dQ/dP ≥ 0,使 Q(A) = ∫_A L dP;它是「换测度的密度」。 |
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| 标准正态分布 | standard normal distribution | 均值 0、方差 1 的正态分布 N(0, 1),密度 exp(−x²/2)/√(2π),分布函数记作 Φ。 |
| 博雷尔 σ-代数 | Borel sigma-algebra | 由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。 |
| 累积分布函数 | cumulative distribution function (CDF) | F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。 |
| 函数 | function / map | f: A → B 给 A 中每个元素指定 B 中唯一一个元素。 |
| 可测函数 | measurable function | 对每个 a,集合 {f > a} 都可测;这样的函数才能积分。 |
| 单调收敛定理 | monotone convergence theorem (MCT) | 非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。 |
| 示性函数 | indicator function | 𝟏_A(x) 在 x ∈ A 时取 1,否则取 0;它的积分就是 A 的测度。 |
| 简单函数 | simple function | 只取有限个值的可测函数,是若干示性函数的线性组合,图像像台阶。 |
| 平移不变性 | translation invariance | 把集合整体平移,测度不变:μ(E + t) = μ(E)。长度就有这个性质。 |
| 勒贝格测度 | Lebesgue measure | 实数轴上「长度」的严格版本,定义在勒贝格可测集上,m([a,b]) = b − a。 |
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 换测度 | change of measure | 用 E_Q[X] = E_P[X · dQ/dP] 在两个概率之间换算期望。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 概率测度 | probability measure | 总质量 P(Ω) = 1 的测度。 |
| 指数分布 | exponential distribution | P(X > x) = e^(−λx)(x ≥ 0)的分布,均值 1/λ,常用来描述等待时间。 |
| 绝对连续 | absolute continuity | 函数版:小区间总长很小时增量总和也很小;测度版:Q ≪ P,P 为零的事件 Q 也为零。 |
| 尾概率 | tail probability | 随机变量取到「很大的值」的概率,例如 P(X > t) 或 P(|X| ≥ t)。它随 t 增大而下降得越慢,分布的尾巴就越「厚」。 |
| 阶矩 | moment | E[|X|ᵖ] 叫 p 阶(绝对)矩;它有限与否反映尾部有多「重」。 |
| 可积 | integrable (L¹) | ∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。 |
| 方差 | variance | Var X = E[(X − E X)²],衡量随机变量围绕均值的波动大小。 |
| 测度 | measure | 给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。 |