这一页在讲什么
开区间上的(取实数值的)凸函数,在它图像上的每一个点,都能找到一条过这个点的直线,使整条图像都在这条直线的上方。这条直线叫支撑线。下一页的 Jensen 不等式,就是「对这条直线取期望」。
- 位置:第 4 部分「变换、乘积与和的界」的第一页。这一部分要控制三类期望:变换 乘积 和 本页是控制「变换」的工具。
- 为什么需要:随机变量 代入一个弯曲的函数 后, 很难直接算;但直线好算:支撑线把「弯的」换成「直的」,而且方向是对的(直线在下方),于是得到一个不等式。
- 本页内容:课件印出了引理的完整陈述,留白的是证明。证明的核心是一条几何事实:凸函数的弦的斜率单调递增。
先补基础
- 函数 叫凸函数(convex function),如果对 中任意两点 和任意
- 几何意思: 是 与 之间的一个点( 在 在 在中点)。左边是这一点处图像的高度,右边是连接 和 的弦在这一点的高度。凸 = 弦总在图像上方(或重合),图像像一只碗。
- 例子: 在 上是凸的; 在 上是凸的;直线 也是凸的(弦与图像重合)。
- 反例: 是凹函数(concave,弦在图像下方, 是凸的); 在 上既不凸也不凹。
- 判别法(微积分结论,当作已知):若 在开区间上二阶可导且 则 凸。例:
- 开区间是形如 的区间,不含端点。例:
- 关键性质:对开区间里的任何一点 左右两边都还有 的点(比如 与 的中点、 与 的中点,端点是无穷时取
- 不是开区间:点 左边没有区间里的点。下面会看到,支撑线恰恰可能在这种端点上失败。
- 过 与 的弦,斜率是 与两点的先后顺序无关。
- 右导数 从右边逼近 时弦斜率的极限;左导数 从左边逼近。可导就是左右导数相等。
- 例: 在 处,右边的弦斜率都是 左边都是 所以 不可导(有一个「尖角」)。
- 上确界、下确界(回顾):有上界的非空实数集一定有上确界(实数的确界原理,当作已知),有下界的非空实数集一定有下确界。
课件原文逐句精读
Lemma 23 (Supporting lemma) Let be an open interval and let be convex. For every , there exists such that
蓝条标题:每个取有限值的凸函数都有支撑线。
引理 23(支撑线引理) 设 是开区间, 是凸函数。则对每个 存在 使得
设 是开区间, 是凸函数。则对每个 存在实数 使得对所有 都有
① Let I ⊆ ℝ be an open interval|为什么要「开」区间
- 开区间保证 的左右两边都有定义域里的点,证明第 3 步要用它来保证两个单侧斜率都是有限数。
- 如果 是闭区间的端点,支撑线可能不存在(例 4: 在 处,切线是竖直的,斜率「等于 不是实数)。
② φ : I → ℝ be convex|标题里的 finite 是什么意思
- 的取值在 里,也就是每一点的函数值都是有限实数,不允许取 这就是标题 finite convex function 里 finite(有限)的意思。
- 在更一般的凸分析里,凸函数允许取 那时支撑线可能在「有限与无限的交界处」失败;本课不讨论这种情形。
③ For every m ∈ I, there exists a ∈ ℝ|斜率 a 依赖于 m
- 每个点 都有自己的斜率 (记作 更清楚),不同的点一般斜率不同。
- 必须是实数,所以支撑线不能是竖直线。
- 不一定唯一:在 有尖角的点,一整段斜率都可以(例 2)。
④ φ(x) ≥ φ(m) + a(x − m), x ∈ I|不等式在说什么
- 右边 是一条直线:过点 斜率为
- 不等式说:整条图像(对所有 不只是 附近)都在这条直线上方,并且在 处两者相等。这种「在一点接触、处处在下方」的直线就叫支撑线(supporting line)。
补全课件留白
课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。
凸函数有一条关键性质:从 出发的弦,另一端越往右,斜率越大。于是 左边的所有弦斜率都不超过 右边的所有弦斜率;在两者之间取一个数 (例如右导数),这条斜率为 的直线就在图像下方。
第 1 步:三弦引理(弦的斜率单调)。 设 都在 中,则
(左、中、右分别是弦 的斜率。)
证明:令 则 并且
由凸性,
- 两边减去 再除以 得到左边的不等式。
- 用 减去两边:再除以 得到右边的不等式。
第 2 步:从 出发的弦斜率单调不减。 对 令
(连接 与 的弦的斜率)。断言:(都不等于 时 分三种位置,每种都用一次第 1 步:
- 对三点 「中 右」给出 即
- 对三点 「左 右」给出 即
- 对三点 「左 中」给出 即
第 3 步:左斜率都不超过右斜率,取出两个有限的界。 因为 是开区间, 左边有点 右边有点 令
- 由第 2 步,每个左斜率 都不超过每个右斜率 所以左边的集合非空(含 且以 为上界, 是有限实数;右边的集合非空(含 且以 为下界, 是有限实数。
- 每个右斜率 都是左边集合的上界,所以 这说明 是右边集合的下界,于是
- 由第 2 步的单调性, 时 单调下降到 所以 就是右导数 同样 是左导数。
第 4 步:任取 验证支撑线不等式。 例如取
- 时:即 两边乘以 (不等号方向不变):
- 时:即 两边乘以 (不等号反向):
- 时:两边都等于
三种情况合起来,就是 对所有 成立。证毕。
补充:可用的斜率恰好是 若 由下确界的定义,有某个 使 即 不等式在 处失败;若 同样在某个 处失败。所以: 在 可导时,支撑线唯一,就是切线(在尖角处, 里的每个斜率都行。
顺带得到:开区间上的凸函数一定连续(下一页要用)
取 都在 中。对 由第 2 步的单调性,所以 即
时右边趋于 0,所以 在 连续。 是任意的,所以 在整个 上连续。连续函数是博雷尔可测的(开集的原像是开集),所以对随机变量 也是随机变量(第 4 页 的「复合保持可测」)。注意这里又用到了「开区间」:端点处凸函数可以不连续,例如 上 ( 是凸的,却在 1 处跳跃。
图解
课件这里没有图,可以在纸上画
- 画出抛物线,标出点
- 从 向左连弦:到 斜率是 到 斜率是 向右连弦:到 斜率是 到 斜率是 一般地 另一端越往右,斜率越大(第 2 步)。
- 左边的斜率都小于 2,右边的都大于 2,夹在中间的只有 画出过 斜率为 2 的直线 它在 处与抛物线相切,其余地方都在抛物线下方。
- 再画 在 处:左边的弦斜率都是 右边的都是 中间有一整段 过原点、斜率在 里的每条直线都「撑」在尖角下面,像一把扇子。
一句话:支撑线就是在接触点处「从下面托住」图像的直线;光滑处只有一条(切线),尖角处有一整扇。
例子
第 2 步的 所以 唯一可用的斜率是 支撑线 验证:
时为 时为 所以 每个 都行: 对所有 成立(例如 时 时
超出这个范围就不行:取 在 处要求 不成立。
可导, 处的支撑线斜率 引理 23 给出
这是分析和概率里最常用的不等式之一。在一般的点
在 上是凸的( 是凹的)。在端点 处,若有支撑线,就要求 对所有 成立,也就是 对所有 成立。但 时 没有任何实数 满足。图像在 0 处的切线是竖直的。
引理 23 要求开区间,正好排除了这种情形:在 上,每个 都有支撑线,斜率 验证:
若 对所有 成立: 时取 得 矛盾; 时取 得 矛盾。所以没有支撑线。凹函数反过来有「从上面压住」的直线。
常见疑问与易错点
答:不完全是。在可导的点,支撑线唯一,就是切线(例 1)。在尖角处没有切线,但支撑线仍然存在,而且有很多条(例 2)。所以引理 23 不要求 可导,这是它比「切线」好用的地方: 这类带尖角的函数在概率和金融里很常见。
答:不一定。 在 处的切线是 但 时 图像跑到了切线下面。「切线处处在图像下方」正是凸函数的特征:凸 ⇔ 每一点都有支撑线(反方向的证明:若每点都有支撑线,则 是一族直线的上确界,而直线的上确界是凸的)。
答:因为两边乘了一个负数 例如 (即 两边乘以 得 这一步是整个证明最容易写错的地方:左边的弦斜率「偏小」,乘上负数后恰好变成「函数值偏大」。
答:Jensen 不等式要把 换成随机变量 而 可能取到 里离 很远的值。如果不等式只在 附近成立,就没法对所有 同时使用。凸性保证了「局部托住」自动变成「全局托住」,这正是第 2 步斜率单调的威力。
小结与自测
- 引理 23:开区间 上的实值凸函数 在每个 处都有支撑线: 对所有 成立。
- 证明的核心:三弦引理 ⇒ 从 出发的弦斜率单调不减 ⇒ 左斜率 右斜率;取
- 「开区间」保证两个单侧斜率都有限;端点处可能失败( 在 0)。可导处支撑线唯一(切线),尖角处不唯一( 在 0)。
- 副产品:开区间上的凸函数连续,从而博雷尔可测。
1. 求 在 处所有可用的支撑线斜率。
点开看答案
时 时 所以右边的弦斜率 左边的 可用的斜率恰好是
2. 求 在 上、 处的支撑线,并验证它在图像下方。
点开看答案
支撑线 验证:对 (两边乘以 成立。
3. 判断:「证明第 3 步如果去掉『 是开区间』, 和 仍然都是有限实数。」
点开看答案
错。若 是左端点, 左边没有点, 不是有限数,而且 可能是 例 4 中 找不到实数斜率。
| 中文 | English | 白话解释 |
|---|---|---|
| 凸函数 | convex function | 图像上任意两点连线都在图像上方的函数,例如 x²、eˣ。 |
| 区间 | interval | 数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。 |
| Jensen 不等式 | Jensen's inequality | φ 凸时 φ(E X) ≤ E φ(X),例如 (E X)² ≤ E X²。 |
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 函数 | function / map | f: A → B 给 A 中每个元素指定 B 中唯一一个元素。 |
| 单调递增 | nondecreasing | 后一项不小于前一项;单调有界的数列一定有极限。 |
| 凹函数 | concave function | −φ 是凸函数时,φ 叫凹函数:任意两点间的弦都在图像下方,例如 log x、√x。对凹函数,Jensen 不等式反向:E φ(X) ≤ φ(E X)。 |
| 上确界 | supremum (sup) | 最小的上界。最大值不一定存在,但有上界的实数集一定有上确界。 |
| 下确界 | infimum (inf) | 最大的下界。例如 (0,1] 没有最小值,但下确界是 0。 |
| 上界 | upper bound | 数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。 |
| 下界 | lower bound | 数集 A 的下界是一个数 m,A 里每个数都 ≥ m。例如 0 和 −3 都是 (0,1] 的下界;所有下界中最大的那个叫下确界。 |
| 集合 | set | 把一些对象放在一起当成一个整体,例如 {1,2,3}。 |
| 原像 | preimage | f⁻¹(B) 是「所有被 f 送进 B 的输入」组成的集合,可测性就是用原像定义的。 |