高等概率论逐页精讲

Prerequisites

基础补课:读懂测度论需要的最少数学

不需要一次读完。讲义里遇到不懂的符号或概念时,回到这里查对应的小节。

1. 怎样读数学符号

这一节讲最基本的逻辑符号和字母。概率论专用的记号(各种收敛箭头……)和英文缩写(a.s.、i.i.d.、DCT……)汇总在本页最后的第 11 节「符号与缩写速查表」。

基础补课逻辑符号
符号 读法 意思 例子
对所有、任意 后面的话对每一个对象都成立 每个实数的平方都非负
存在 至少有一个对象让后面的话成立 有一个实数的平方是 2
推出、蕴含 左边成立,右边一定成立
当且仅当(iff) 两边同真同假 或
定义为 左边是新起的名字
s.t. such that,使得 引出条件 s.t. 时 ……
恒等于 对所有输入都相等 处处等于 1
易错点读「∀ ∃」句子的诀窍

顺序很重要。「是「先给你任意一个 你再去找 —— 可以依赖 反过来「是「一个 对所有 都管用」,要求强得多。读的时候从左往右,把它想成一场游戏: 是对手出招, 是你应招。

基础补课本课常见的希腊字母
大写 小写 读法 本课里通常表示
omega(欧米伽) 样本空间 / 样本点
sigma(西格玛) 求和号 / σ-代数
mu(缪) 测度
lambda(兰布达) 勒贝格测度、参数
epsilon(艾普西隆) 任意小的正数
delta(德尔塔) 小正数、点质量
phi(斐) 正态分布函数 / 函数
xi(克西) 随机变量
alpha、beta 常数

还有几种字体:(黑板粗体 R,实数全体)、(自然数 (有理数)、(整数);花体 通常表示「集合族」(例如 σ-代数)。

2. 集合

基础补课元素与子集
  • 属于 不属于。
  • 的每个元素都在 里。要证明 就任取 证明
  • 的意思是 且 这是证明两个集合相等的标准办法(「双向包含」)。
  • 空集 没有元素。它是任何集合的子集。
基础补课集合的写法
  • 列举法:元素没有顺序、不重复:
  • 描述法:冒号读作「使得」。
  • 区间:(含端点), 不含端点, 含左不含右。 是全体正实数。
基础补课并、交、补、差

设

无穷多个集合也一样:

例:无穷并与无穷交

令 越来越大。

  • 任何 迟早落进某个 (取 但 永远进不去。
  • 令 越来越小。任何 只要 就有
基础补课德摩根律

人话:「不是(至少一个发生)」=「一个都不发生」;「不是(全都发生)」=「至少一个不发生」。它让我们可以在「并」和「交」之间来回转换,σ-代数的定义里只要求对并封闭,就是靠它推出对交也封闭。

基础补课集合族与幂集
  • 集合族:元素是集合的集合,例如
  • 幂集 的全部子集。 时,共 个。
  • 三层要分清:(点属于集合),(集合属于集合族),(集合包含于集合)。

3. 函数与原像

基础补课函数

给 中每个元素指定 中唯一一个元素 叫定义域, 叫陪域。

  • 像:把 里的点都送过去得到的集合。
  • 原像:「所有被送进 的输入」。注意:原像不需要 有反函数, 只是一个集合的名字。
例:原像

  • (没有实数的平方是负数)。

概率里最常见的写法 就是原像:

基础补课原像保持所有集合运算(测度论最常用的性质)

理由(以并为例): 存在 使 存在 使 正因为这个性质,「可测函数」和「分布」的定义才顺理成章。

基础补课示性函数

它把「集合」变成「函数」: 不相交时 在概率里,

4. 数列与极限

基础补课极限的定义(慢慢读)

(读作「 收敛到 的意思是:

逐字翻译:不管你要求多近(任意 总能找到一个位置 ,从这以后所有项都离 不超过

例:证明 1/n → 0

给定 要让 只要 所以取 为大于 的整数, 时就有 比如 时取

基础补课单调数列与无穷
  • 递增(不减):记作 递减记作
  • 单调收敛原理:递增的数列要么有上界并收敛到它的上确界,要么趋于 所以递增数列总有极限(可能是 测度的连续性、MCT 都建立在这一点上。
  • 扩展实数 允许取值 约定 ((以及测度论专用的 但 没有定义。

5. 上确界与下确界

基础补课sup 和 inf
  • 集合 的上界:大于等于 中所有元素的数。上确界 最小的上界。
  • 下确界 最大的下界。
  • 和最大值 的区别:最大值必须属于集合,上确界不必。
例:sup 不一定取得到
  • 没有最大值(任何 都还有更大的 但 也没有最小值,
  • (不属于
  • 约定:没有上界时
基础补课最常用的两个性质
  1. 若 有限,则对任意 存在 使 (「上确界可以被无限逼近」)。
  2. 若 则 (集合越大,上确界越大、下确界越小)。外测度、勒贝格积分的定义都用到这两点。

6. 求和与级数

基础补课求和号

无穷级数 定义为部分和 的极限。

例:三个必须记住的级数
  • 几何级数:它给出测度论里常用的「 技巧」:想让可数个量的总和不超过 就让第 个不超过
  • 调和级数:(发散),尽管每一项都趋于 0。
  • (收敛)。
基础补课非负项级数:可以随便重排

每一项都 时,部分和递增,所以级数总有值(可能是 而且任意重新排列、分组都不改变这个值。可数可加性里的 都是非负项级数,所以不用担心求和顺序。

7. 可数与不可数

基础补课定义

集合是可数的,如果它的元素能排成一列 (有限集合也算可数)。排不成一列的无穷集合叫不可数。

例:有理数可数,实数不可数
  • 整数可数:
  • 有理数可数:把分数 按 分组,每组只有有限个,一组一组往下排,就把所有有理数排成了一列。
  • 不可数(康托尔对角线法):假设能排成一列 写出它们的小数展开,构造一个数,让它第 位小数和 的第 位不同,那么它和列表里每一个数都不同,矛盾。
人话版为什么测度论这么在乎「可数」

测度只要求可数可加:可数个不相交集合,测度可以相加。对不可数多个集合不要求(也做不到: 是不可数个单点的并,每个单点长度 0,总长却是 1)。所以「可数」是测度论里「能相加」和「不能相加」的分界线。

8. 上极限与下极限

基础补课数列的 lim sup 与 lim inf

先看「从第 项往后的尾巴」的最大可能值 它随 增大而减小;它的极限就是上极限。下极限同理。数列收敛当且仅当上下极限相等。

例:a_n = (−1)^n

尾巴里永远既有 1 也有 所以每个 每个 于是 不相等,数列不收敛。

基础补课集合的 lim sup 与 lim inf

读法: 是「对每个 都存在 ——不管从多靠后开始数,后面总还会再发生,也就是发生无穷多次。 是「存在 对所有 ——从某一刻起一直发生。详见第 1 讲 第 7 页、第 40 页。

9. 积分回顾

基础补课定积分的直观

函数图像与 轴之间的(带符号)面积。黎曼的做法:把 切成小段,每段用「长度 × 函数值」近似,再让小段越来越细取极限。

基础补课本课常用的积分

最后一个说明:函数在 0 附近无界,积分也可能有限( 时),这在第 3 讲的重要性抽样里会用到。

10. 怎样读定义和定理

人话版三个习惯
  1. 先分清假设和结论。「若 A,则 B」中,A 是假设,B 是结论。把假设逐条列出来。
  2. 问每个假设为什么在那里。试着去掉它,找一个反例看结论怎样失败。课件里的反例(尖峰、狄利克雷函数……)就是在做这件事。
  3. 定理是充分条件,不是必要条件。假设不满足时,结论可能仍然成立,只是这个定理不能保证。
例:读「从上连续」

「若 且 则

  • 假设 1:集合一层层变小;假设 2:第一个集合的测度有限。
  • 去掉假设 2:每个测度都是 交集是空集,测度为 0,结论失败。
  • 所以假设 2 不是多余的——这正是第 1 讲 第 14 页 标题里「necessary hypothesis(必要的假设)」的意思。

11. 符号与缩写速查表

读讲义时遇到不认识的记号,先在这里查。每行最后一列是正式讲它的地方,点进去有完整的解释和例子;写「基础补课第 N 节」的,就在本页上面。

在任何一页点顶栏的「符号」按钮,也能不离开当前页查这张表,还可以输入关键词筛选。中文术语(例如「可测函数」「一致可积」)请查术语表。

基础补课概率、期望与分布
记号 读法 意思 在哪里讲
概率空间 样本空间 事件全体 (一个 σ-代数)、概率 三样东西放在一起 第 1 讲 第 12 页
A 的概率 事件 发生的可能性, 第 1 讲 第 12 页
给定 B 时 A 的条件概率 已知 发生, 发生的概率:(要求 —
X 的期望 的加权平均 掷一颗骰子的点数,期望是 第 2 讲 第 5 页
X 的方差 偏离均值的平方的平均,衡量波动大小;它的平方根叫标准差 第 2 讲 第 29 页
X 与 Y 的协方差 两个量是否倾向于「同时偏大、同时偏小」 第 4 讲 第 4 页
A 的示性函数 在 上取 1,其余地方取 0;所以 第 1 讲 第 30 页
X 的分布 落进各个集合的概率: 第 2 讲 第 6 页
X 服从标准正态分布 「读作「服从」,后面写分布的名字,例如 是指数分布 第 2 讲 第 6 页
X 与 Y 同分布 分布相同; 和 本身可以不相等(例如 与 第 2 讲 第 6 页
分布函数(CDF) 不超过 的概率;单调不减、右连续 第 2 讲 第 8 页
F 在 x 处的左极限 从左边逼近 时 的极限;跳跃 第 2 讲 第 8 页
a 处的点质量 把全部质量放在一个点 上: 时 否则为 0 第 1 讲 第 10 页
基础补课测度、积分与 σ-代数
记号 读法 意思 在哪里讲
花体 F、M、B 集合族,通常是 σ-代数; 常指博雷尔 σ-代数 第 1 讲 第 9 页
由 𝒜 生成的 σ-代数 包含 的最小 σ-代数 第 1 讲 第 11 页
X 生成的 σ-代数 所有形如 的事件,也就是「知道 的值就能判断是否发生」的事件 第 4 讲 第 16 页
A 的测度 集合 的「大小」:长度、面积、个数或概率 第 1 讲 第 12 页
勒贝格测度 实数轴上的「长度」: 第 1 讲 第 23 页
f 对 μ 的积分 把 的值按 加权求和; 时就是期望 第 1 讲 第 33 页
f 的正部、负部 于是 第 1 讲 第 33 页
L1 空间、Lp 空间 满足 的函数(随机变量)全体 第 2 讲 第 22 页
X 的 Lp 范数 衡量 有多「大」 第 2 讲 第 22 页
ν 关于 μ 绝对连续 凡是 的集合,都有 第 3 讲 第 26 页
Radon–Nikodym 导数 相对于 的「密度」: 第 3 讲 第 27 页
乘积 σ-代数、乘积测度 两个空间拼成一个联合空间;矩形 的测度是 第 4 讲 第 7 页
二重积分 对两个变量一起积分;Fubini 定理说明何时可以拆成两次单重积分 第 4 讲 第 10 页
基础补课收敛的几种写法
记号 读法 意思 在哪里讲
a_n 趋于 a 数列的极限,和 是一个意思 基础补课第 4 节
递增地趋于 且 集合版: 第 1 讲 第 13 页
递减地趋于 方向反过来;集合版: 第 1 讲 第 14 页
a.s. 几乎必然收敛 除了一个概率为 0 的事件,每个结局上都有 第 3 讲 第 9 页
a.e. 几乎处处收敛 除了一个测度为 0 的集合,每个点上都有 第 1 讲 第 43 页
依概率收敛 对每个 原解答里也写成 第 3 讲 第 14 页
在 中 Lp 收敛 即 作业 2 第 1 题
依分布收敛 分布函数在极限分布的每个连续点上收敛。只在作业 2 里这样用;其他地方的 都是「推出」 作业 2 第 4 题
i.o. A_n 发生无穷多次 有无穷多个 使 发生,也就是集合 第 3 讲 第 3 页
上极限、下极限 数列「尾部」最终能达到的最大值、最小值 基础补课第 8 节、第 1 讲 第 40 页
基础补课运算与常用小记号
记号 读法 意思 在哪里讲
上确界、下确界 最小的上界、最大的下界 基础补课第 5 节、第 1 讲 第 16 页
x 与 y 取小、取大 例如 把 超过 的部分削成 第 1 讲 第 33 页
向下取整、向上取整 不超过 的最大整数、不小于 的最小整数: 第 1 讲 第 34 页
连乘 和 一样,只是把「加」换成「乘」 —
n 选 k(组合数) 从 个东西里选 个的方法数 例如 —
e 的 x 次方 指数函数,两种写法是一个意思; —
自然对数 以 为底,是 的反函数;本课的 也是自然对数,写成 才是以 2 为底 —
x 映射到 f(x) 描述函数的规则: 就是「把 变成 的那个函数 基础补课第 3 节
转置 把行和列互换;列向量 的 是一个数 第 4 讲 第 19 页
行列式 2×2 矩阵时 第 4 讲 第 19 页
约等于 数值上近似相等,例如 —
正比于 存在常数 使 —
小 o、大 O 比 小得多; 有界,至多和 同一量级 —
证毕 证明到此结束 —
定义为、恒等于 是给 起名叫 是说 处处等于 1 基础补课第 1 节
基础补课常见英文缩写
缩写 英文全称 中文意思 在哪里讲
a.s. almost surely 几乎必然:除了概率为 0 的情形,都成立 第 3 讲 第 9 页
a.e. almost everywhere 几乎处处:除了测度为 0 的集合,都成立 第 1 讲 第 43 页
i.i.d. independent and identically distributed 独立同分布 第 4 讲 第 16 页
i.o. infinitely often 无穷多次 第 3 讲 第 3 页
iff if and only if 当且仅当 基础补课第 1 节
s.t. such that 使得 基础补课第 1 节
CDF cumulative distribution function 累积分布函数 第 2 讲 第 8 页
LOTUS law of the unconscious statistician 无意识统计学家定律: 可以直接对 的分布积分 第 2 讲 第 7 页
MCT monotone convergence theorem 单调收敛定理 第 1 讲 第 36 页
DCT dominated convergence theorem 控制收敛定理 第 1 讲 第 44 页
BCT bounded convergence theorem 有界收敛定理 第 1 讲 第 46 页
WLLN weak law of large numbers 弱大数定律 第 2 讲 第 29 页
SLLN strong law of large numbers 强大数定律 作业 1 第 3 题
CLT central limit theorem 中心极限定理 作业 2 第 4 题
UI uniformly integrable 一致可积 小测 2 第 2 题