高等概率论逐页精讲

Glossary

术语表

每个术语:中文 · 英文原词 · 一句白话解释 · 第一次出现的页面。讲义正文里带虚线的词,就是这里的术语。

  1. 集合set

    把一些对象放在一起当成一个整体,例如 {1,2,3}。

    第 1 讲 p05

  2. 元素element

    集合里的对象。ω ∈ Ω 读作「ω 属于 Ω」。

    第 1 讲 p05

  3. 子集subset

    A 的每个元素都在 B 里,就说 A 是 B 的子集,记作 A ⊆ B。

    第 1 讲 p06

  4. 空集empty set

    一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。

    第 1 讲 p06

  5. 并集union

    至少属于其中一个集合的元素全体,A ∪ B 对应「A 或 B」。

    第 1 讲 p06

  6. 交集intersection

    同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。

    第 1 讲 p06

  7. 补集complement

    样本空间里不属于 A 的元素全体,记作 Aᶜ,对应「A 不发生」。

    第 1 讲 p06

  8. 差集set difference

    在 A 里但不在 B 里的元素,记作 A \ B,等于 A ∩ Bᶜ。

    第 1 讲 p06

  9. 幂集power set

    一个集合的所有子集组成的集合族,记作 2^Ω;n 个元素的集合有 2ⁿ 个子集。

    第 1 讲 p06

  10. 集合族family of sets

    元素本身都是集合的集合,例如事件族 𝓕。

    第 1 讲 p06

  11. 德摩根律De Morgan's laws

    「并的补 = 补的交」「交的补 = 补的并」,把「非(A 或 B)」变成「非 A 且非 B」。

    第 1 讲 p06

  12. 两两不交pairwise disjoint

    一列集合中任意两个都没有公共元素,对应「任意两件事不会同时发生」。

    第 1 讲 p08

  13. 笛卡尔积Cartesian product

    A × B 是所有有序对 (a, b) 组成的集合;Aⁿ 是所有长度为 n 的数组。

    第 1 讲 p05

  14. 可数countable

    元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。

    第 1 讲 p07

  15. 不可数uncountable

    无论怎么排都排不成一列,例如区间 [0,1] 里的全体实数。

    第 1 讲 p07

  16. 有理数rational number

    能写成分数 p/q 的数,全体有理数记作 ℚ;它们可数,却在数轴上处处稠密。

    第 1 讲 p17

  17. 稠密dense

    任何一小段区间里都能找到它的点,例如有理数在实数轴上稠密。

    第 1 讲 p17

  18. 区间interval

    数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。

    第 1 讲 p05

  19. 等价关系equivalence relation

    满足自反、对称、传递的「相似」关系,能把集合分成互不重叠的等价类。

    第 1 讲 p21

  20. 等价类equivalence class

    在等价关系下彼此「相似」的元素组成的一组。

    第 1 讲 p21

  21. 选择公理axiom of choice

    允许从无穷多个非空集合里各挑一个元素,组成一个新集合;维塔利集就是这样造的。

    第 1 讲 p21

  22. 当且仅当if and only if (iff)

    「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。

    第 1 讲 p06

  23. 函数function / map

    f: A → B 给 A 中每个元素指定 B 中唯一一个元素。

    第 1 讲 p05

  24. 原像preimage

    f⁻¹(B) 是「所有被 f 送进 B 的输入」组成的集合,可测性就是用原像定义的。

    第 1 讲 p29

  25. 示性函数indicator function

    𝟏_A(x) 在 x ∈ A 时取 1,否则取 0;它的积分就是 A 的测度。

    第 1 讲 p30

  26. 上确界supremum (sup)

    最小的上界。最大值不一定存在,但有上界的实数集一定有上确界。

    第 1 讲 p16

  27. 下确界infimum (inf)

    最大的下界。例如 (0,1] 没有最小值,但下确界是 0。

    第 1 讲 p16

  28. 上极限limit superior (lim sup)

    数列「尾部的最大可能值」的极限;对集合则表示「发生无穷多次」。

    第 1 讲 p07

  29. 下极限limit inferior (lim inf)

    数列「尾部的最小可能值」的极限;对集合则表示「从某一项起一直发生」。

    第 1 讲 p07

  30. 级数series

    无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。

    第 1 讲 p08

  31. 单调递增nondecreasing

    后一项不小于前一项;单调有界的数列一定有极限。

    第 1 讲 p13

  32. 逐点收敛pointwise convergence

    对定义域里的每一个点 x,数列 fₙ(x) 都收敛到 f(x);这样得到的函数 f 叫逐点极限。

    第 1 讲 p36

  33. 上界upper bound

    数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。

    第 1 讲 p16

  34. 下界lower bound

    数集 A 的下界是一个数 m,A 里每个数都 ≥ m。例如 0 和 −3 都是 (0,1] 的下界;所有下界中最大的那个叫下确界。

    第 1 讲 p16

  35. 部分和partial sum

    级数 a₁ + a₂ + … 的前 n 项之和 Sₙ = a₁ + … + aₙ;级数的值就是 Sₙ 在 n → ∞ 时的极限。

    第 1 讲 p08

  36. 左极限left limit

    自变量从左边(比 x 小的一侧)靠近 x 时,函数值趋向的数,记作 f(x−)。分布函数在 x 处的跳跃 F(x) − F(x−) 就是 P(X = x)。

    第 1 讲 p13

  37. 右极限right limit

    自变量从右边(比 x 大的一侧)靠近 x 时,函数值趋向的数,记作 f(x+)。分布函数总是右连续的:F(x+) = F(x)。

    第 2 讲 p08

  38. 一致收敛uniform convergence

    所有点上的最大差距 supₓ |fₙ(x) − f(x)| → 0。比逐点收敛强:不允许某些点收敛得特别慢。

    第 1 讲 p34

  39. 一致有界uniformly bounded

    存在同一个常数 M,使所有 n、所有点 x 都有 |fₙ(x)| ≤ M。「一致」是指一个 M 管住整列函数。

    第 1 讲 p46

  40. 三角不等式triangle inequality

    |a + b| ≤ |a| + |b|:分两段走的总路程不会比直接走更短。推广有 |∫f| ≤ ∫|f|、E|X + Y| ≤ E|X| + E|Y|,以及 Lᵖ 范数的 Minkowski 不等式。

    第 1 讲 p43

  41. 反向三角不等式reverse triangle inequality

    | |a| − |b| | ≤ |a − b|:两个数的绝对值之差不超过它们的距离。常用来从「fₙ 接近 f」推出「|fₙ| 接近 |f|」。

    第 2 讲 p27

  42. 可求和summable

    非负数列的级数和有限:Σ aₙ < ∞。例如 Σ 1/n² 可求和,Σ 1/n 不可求和(和是 +∞)。

    第 3 讲 p10

  43. 样本空间sample space

    一次试验所有可能的完整结局组成的集合,记作 Ω。

    第 1 讲 p05

  44. 样本点sample point

    一个完整的结局 ω;每次试验恰好实现一个样本点。

    第 1 讲 p05

  45. 事件event

    样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。

    第 1 讲 p06

  46. 随机变量random variable

    从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。

    第 1 讲 p05

  47. 随机过程stochastic process

    一族随时间变化的随机变量 {Sₜ};固定 ω 得到一条路径。

    第 1 讲 p05

  48. σ-代数sigma-algebra

    允许谈概率的「事件清单」:含 Ω,对补集和可数并封闭。

    第 1 讲 p09

  49. 生成的 σ-代数generated sigma-algebra

    包含给定集合族的最小 σ-代数 σ(𝒞):只加入「被逼着加入」的集合。

    第 1 讲 p11

  50. 博雷尔 σ-代数Borel sigma-algebra

    由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。

    第 1 讲 p11

  51. 可测空间measurable space

    一个集合加上它上面的一个 σ-代数,例如 (Ω, 𝓕);还没有给出测度。

    第 1 讲 p12

  52. 可测集measurable set

    σ-代数里的集合,也就是可以谈「测度多大」的集合;在概率空间里,可测集就叫事件。

    第 1 讲 p12

  53. 测度measure

    给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。

    第 1 讲 p12

  54. 测度空间measure space

    三元组 (S, 𝓜, μ):空间、σ-代数、测度。

    第 1 讲 p12

  55. 概率测度probability measure

    总质量 P(Ω) = 1 的测度。

    第 1 讲 p03

  56. 概率空间probability space

    三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。

    第 1 讲 p03

  57. 可数可加性countable additivity

    两两不交的可数个集合,并集的测度等于各自测度之和。

    第 1 讲 p08

  58. 有限可加性finite additivity

    两两不交的有限个集合,并集的测度等于各自测度之和。可数可加性是它的加强版:可数无穷多个集合也成立。

    第 1 讲 p08

  59. 次可加性subadditivity

    并集的测度不超过各部分测度之和:μ(A ∪ B) ≤ μ(A) + μ(B)。

    第 1 讲 p18

  60. 从下连续continuity from below

    集合一层层变大(Eₙ ↑ E)时,测度也跟着收敛:μ(Eₙ) → μ(E)。

    第 1 讲 p13

  61. 从上连续continuity from above

    集合一层层变小(Eₙ ↓ E)且 μ(E₁) < ∞ 时,μ(Eₙ) → μ(E)。

    第 1 讲 p14

  62. 点质量point mass (Dirac measure)

    把全部质量 1 放在一个点上:δ₀(E) = 1 当且仅当 0 ∈ E。

    第 1 讲 p10

  63. 初等集elementary set

    有限个有界区间的不交并;它的「长度」就是各区间长度之和。

    第 1 讲 p16

  64. 乔丹容量Jordan content

    用有限个区间从里、从外逼近一个集合;两边逼近值相等时才有定义。

    第 1 讲 p16

  65. 外测度outer measure

    用可数个区间覆盖集合,所有覆盖总长度的下确界 m*(E);对每个子集都有定义。

    第 1 讲 p18

  66. 卡拉泰奥多里Carathéodory

    卡拉泰奥多里判别:用 E 去切任何集合 A,两块外测度之和都等于 m*(A)。

    第 1 讲 p20

  67. 维塔利集Vitali set

    用选择公理造出的「坏」集合,证明了不可能给 ℝ 的所有子集定义长度。

    第 1 讲 p21

  68. 平移不变性translation invariance

    把集合整体平移,测度不变:μ(E + t) = μ(E)。长度就有这个性质。

    第 1 讲 p21

  69. 勒贝格测度Lebesgue measure

    实数轴上「长度」的严格版本,定义在勒贝格可测集上,m([a,b]) = b − a。

    第 1 讲 p23

  70. 勒贝格可测Lebesgue measurable

    能被勒贝格测度称重量的集合(通过卡拉泰奥多里判别)。

    第 1 讲 p23

  71. 零测集null set

    测度为 0 的集合,例如单点、有理数全体、康托尔集。

    第 1 讲 p23

  72. 完备测度complete measure

    零测集的任何子集也都可测(并且测度为 0)。

    第 1 讲 p23

  73. 分割partition

    把区间 [a,b] 用分点 a = x₀ < x₁ < … < xₙ = b 切成小段。

    第 1 讲 p25

  74. 达布和Darboux sums

    每小段取函数的下确界(或上确界)乘以长度再求和;上下和夹住黎曼积分。

    第 1 讲 p25

  75. 振幅oscillation

    函数在一小段上的「最高值减最低值」M − m,衡量函数在那里抖动得多厉害。

    第 1 讲 p25

  76. 黎曼积分Riemann integral

    大一学的定积分:按 x 轴切竖条求和取极限。

    第 1 讲 p25

  77. 狄利克雷函数Dirichlet function

    在有理点取 1、无理点取 0 的函数;黎曼不可积,勒贝格积分为 0。

    第 1 讲 p28

  78. 可测函数measurable function

    对每个 a,集合 {f > a} 都可测;这样的函数才能积分。

    第 1 讲 p29

  79. 简单函数simple function

    只取有限个值的可测函数,是若干示性函数的线性组合,图像像台阶。

    第 1 讲 p30

  80. 标准表示canonical representation

    把简单函数写成 Σ aₖ 𝟏_{Aₖ},其中 aₖ 各不相同、Aₖ = {s = aₖ}。

    第 1 讲 p30

  81. 勒贝格积分Lebesgue integral

    按函数值分块的积分:先定义简单函数的积分,再用下方的简单函数逼近取上确界。

    第 1 讲 p33

  82. 正部positive / negative part

    f⁺ = max(f, 0),f⁻ = max(−f, 0),f = f⁺ − f⁻,|f| = f⁺ + f⁻。

    第 1 讲 p33

  83. 几乎处处almost everywhere (a.e.)

    除了一个测度为 0 的集合之外都成立;零测集上的值不影响积分。

    第 1 讲 p43

  84. 可积integrable (L¹)

    ∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。

    第 1 讲 p29

  85. 单调收敛定理monotone convergence theorem (MCT)

    非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。

    第 1 讲 p36

  86. Fatou 引理Fatou's lemma

    非负可测函数列满足 ∫ liminf fₙ ≤ liminf ∫ fₙ(只保证这个方向)。

    第 1 讲 p41

  87. 控制收敛定理dominated convergence theorem (DCT)

    fₙ → f 几乎处处且 |fₙ| ≤ g、g 可积时,∫fₙ → ∫f。

    第 1 讲 p44

  88. 有界收敛定理bounded convergence theorem (BCT)

    有限测度上一致有界、几乎处处收敛的函数列,积分收敛;是 DCT 的特例。

    第 1 讲 p46

  89. 期望expectation

    随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。

    第 2 讲 p05

  90. 分布law / distribution

    X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。

    第 2 讲 p06

  91. 无意识统计学家定律law of the unconscious statistician (LOTUS)

    求 g(X) 的期望,不必先求出 g(X) 的分布,直接把 g 对 X 的分布 𝓛(X) 积分;X 有密度 f 时就是 E g(X) = ∫ g(x) f(x) dx。

    第 2 讲 p07

  92. 尾概率tail probability

    随机变量取到「很大的值」的概率,例如 P(X > t) 或 P(|X| ≥ t)。它随 t 增大而下降得越慢,分布的尾巴就越「厚」。

    第 2 讲 p10

  93. 二重积分double integral

    对两个变量一起积分:∬ f(x, y) dx dy。Fubini–Tonelli 定理说明什么时候可以拆成先对一个变量、再对另一个变量的两次积分。

    第 2 讲 p21

  94. 累积分布函数cumulative distribution function (CDF)

    F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。

    第 2 讲 p08

  95. 反函数inverse function

    f 把不同的输入送到不同的输出时,反函数 f⁻¹ 把输出送回原来的输入:f⁻¹(f(x)) = x。例:ln 是 eˣ 的反函数。注意:集合的原像 f⁻¹(D) 不需要反函数存在。

    第 2 讲 p14

  96. 分位数quantile

    Q(u) = inf{x : F(x) ≥ u},是 CDF 的「广义反函数」。

    第 2 讲 p14

  97. 逆变换法inverse transform method

    U 服从 (0,1) 上的均匀分布时,Q(U) 的分布函数恰好是 F,用来生成任意分布。

    第 2 讲 p14

  98. 概率密度density

    满足 P(X ∈ B) = ∫_B f(x) dx 的函数 f;有密度等价于 CDF 绝对连续。

    第 2 讲 p17

  99. 绝对连续absolute continuity

    函数版:小区间总长很小时增量总和也很小;测度版:Q ≪ P,P 为零的事件 Q 也为零。

    第 2 讲 p17

  100. 康托尔集Cantor set

    反复挖掉中间三分之一得到的集合:不可数,但长度为 0。

    第 2 讲 p18

  101. 阶矩moment

    E[|X|ᵖ] 叫 p 阶(绝对)矩;它有限与否反映尾部有多「重」。

    第 2 讲 p21

  102. 凸函数convex function

    图像上任意两点连线都在图像上方的函数,例如 x²、eˣ。

    第 2 讲 p23

  103. Jensen 不等式Jensen's inequality

    φ 凸时 φ(E X) ≤ E φ(X),例如 (E X)² ≤ E X²。

    第 2 讲 p24

  104. Hölder 不等式Hölder's inequality

    E|XY| ≤ ‖X‖_p ‖Y‖_q(1/p + 1/q = 1);p = q = 2 就是柯西–施瓦茨不等式。

    第 2 讲 p26

  105. Markov 不等式Markov's inequality

    X ≥ 0 时 P(X ≥ t) ≤ E X / t:期望小,取大值的概率就小。

    第 2 讲 p29

  106. Chebyshev 不等式Chebyshev's inequality

    P(|X − μ| ≥ t) ≤ σ² / t²:方差控制偏离均值的概率。

    第 2 讲 p29

  107. 方差variance

    Var X = E[(X − E X)²],衡量随机变量围绕均值的波动大小。

    第 2 讲 p32

  108. π-λ 定理Dynkin's π-λ theorem

    两个概率测度如果在一个「对交集封闭」的集合族(π-系)上相等,就在这个族生成的整个 σ-代数上相等。所以验证两个测度相同,只需检查生成元。

    第 2 讲 p08

  109. 中值定理mean value theorem

    f 在 [a,b] 上连续、在 (a,b) 内可导,则存在某个 ξ ∈ (a,b) 使 f(b) − f(a) = f′(ξ)(b − a):总增量等于某一点的斜率乘以区间长度。

    第 2 讲 p09

  110. 分部积分integration by parts

    ∫ₐᵇ u v′ dx = [u v]ₐᵇ − ∫ₐᵇ u′ v dx:把求导从一个函数挪到另一个函数上。由乘积求导法则 (uv)′ = u′v + uv′ 两边积分得到。

    第 2 讲 p10

  111. 奇异连续分布singular continuous distribution

    没有原子(每一点的概率都是 0),却没有密度的分布:全部质量集中在一个长度为 0 的集合上,例如康托尔分布。

    第 2 讲 p20

  112. 凹函数concave function

    −φ 是凸函数时,φ 叫凹函数:任意两点间的弦都在图像下方,例如 log x、√x。对凹函数,Jensen 不等式反向:E φ(X) ≤ φ(E X)。

    第 2 讲 p24

  113. 柯西–施瓦茨不等式Cauchy–Schwarz inequality

    E|XY| ≤ √(E X²) · √(E Y²):Hölder 不等式取 p = q = 2 的特例。

    第 2 讲 p26

  114. 无穷多次infinitely often (i.o.)

    「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。

    第 3 讲 p03

  115. Borel–Cantelli 引理Borel–Cantelli lemma

    概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。

    第 3 讲 p04

  116. 独立independence

    任意有限个事件同时发生的概率等于各自概率的乘积。

    第 3 讲 p06

  117. 几乎必然收敛almost sure convergence

    除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。

    第 3 讲 p09

  118. 依概率收敛convergence in probability

    对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。

    第 3 讲 p14

  119. 偏差概率deviation probability

    Xₙ 和目标 X 相差超过 ε 的概率 P(|Xₙ − X| > ε)。它趋于 0 就是依概率收敛;对每个 ε 它都可求和时,由 Borel–Cantelli 引理可推出几乎必然收敛。

    第 3 讲 p10

  120. 打字机序列typewriter sequence

    在 [0,1) 上从左到右一遍遍扫过、越来越窄的小区间的示性函数列:依概率收敛到 0,却在每一点都不收敛。

    第 3 讲 p15

  121. 子列subsequence

    从一个数列里按顺序挑出无穷多项组成的新数列。

    第 3 讲 p16

  122. Radon–Nikodym 导数Radon–Nikodym derivative

    Q ≪ P 时存在 L = dQ/dP ≥ 0,使 Q(A) = ∫_A L dP;它是「换测度的密度」。

    第 3 讲 p27

  123. 换测度change of measure

    用 E_Q[X] = E_P[X · dQ/dP] 在两个概率之间换算期望。

    第 3 讲 p32

  124. 重要性抽样importance sampling

    从另一个更合适的分布抽样,再乘以权重纠正,从而减小估计的方差。

    第 3 讲 p38

  125. 联合分布joint law (joint distribution)

    随机向量 (X, Y) 在平面上的分布:对每个平面博雷尔集 B 给出 P((X, Y) ∈ B)。只知道边缘分布不能确定它。

    第 4 讲 p04

  126. 边缘分布marginal law

    随机向量中单个坐标的分布,例如 P(X ∈ A) = P((X, Y) ∈ A × ℝ)。

    第 4 讲 p04

  127. 协方差covariance

    Cov(X, Y) = E[(X − EX)(Y − EY)],衡量两个变量一起变大或变小的倾向。独立 ⇒ 协方差为 0,反之一般不成立。

    第 4 讲 p04

  128. 独立同分布independent and identically distributed (i.i.d.)

    一列随机变量相互独立,并且分布都相同,例如反复独立地掷同一颗骰子。

    第 4 讲 p05

  129. 乘积空间product space

    笛卡尔积 Ω₁ × Ω₂,配上乘积 σ-代数(以及乘积测度)。

    第 4 讲 p05

  130. σ-有限σ-finite

    整个空间能切成可数多块测度有限的部分。概率测度、长度都满足;不可数集上的计数测度不满足。

    第 4 讲 p02

  131. 可测矩形measurable rectangle

    形如 A₁ × A₂ 的集合,A₁、A₂ 分别是两个空间里的可测集。

    第 4 讲 p06

  132. 乘积 σ-代数product σ-algebra

    由所有可测矩形生成的 σ-代数,记作 F₁ ⊗ F₂;它也是让两个坐标映射都可测的最小 σ-代数。

    第 4 讲 p06

  133. 乘积测度product measure

    在每个可测矩形上取 μ₁(A₁)μ₂(A₂) 的唯一测度(σ-有限时)。平面面积就是长度 × 长度的乘积测度。

    第 4 讲 p07

  134. π-λ 定理Dynkin's π-λ theorem

    π-系(对有限交封闭)包含于 λ-系时,它生成的 σ-代数也包含于该 λ-系。常用来证明「两个测度在生成元上相等就处处相等」。

    第 4 讲 p07

  135. 截口slice (section)

    固定一个坐标、把二维集合或函数「切一刀」:A_ω₁ = {ω₂ : (ω₁, ω₂) ∈ A},f_ω₁(ω₂) = f(ω₁, ω₂)。

    第 4 讲 p07

  136. 累次积分iterated integral

    一层一层地积分:先固定一个变量、对另一个变量积分,再对剩下的变量积分。

    第 4 讲 p10

  137. Fubini 定理Fubini's theorem

    f 关于乘积测度绝对可积(∬|f| < ∞)时,二重积分等于两种顺序的累次积分。

    第 4 讲 p10

  138. Tonelli 定理Tonelli's theorem

    f 非负可测、两个测度 σ-有限时,二重积分等于两种顺序的累次积分,三者可以同时为 ∞。

    第 4 讲 p12

  139. 计数测度counting measure

    μ(A) = A 中元素的个数(无限集记为 ∞)。在 ℕ 上对它积分就是求和。

    第 4 讲 p13

  140. 柱集cylinder set

    只对有限个坐标提条件的集合,如 {ω₁ ∈ B₁, …, ωₙ ∈ Bₙ},其余坐标任取。

    第 4 讲 p16

  141. 尾事件tail event

    改动任意有限个坐标都不影响是否发生的事件,例如「序列 ω₁, ω₂, … 收敛」。

    第 4 讲 p17

  142. 两两独立pairwise independence

    任意两个都独立。比相互独立弱:三个事件可以两两独立却不相互独立。

    第 4 讲 p18

  143. 多元正态分布multivariate normal distribution

    由均值向量 μ 和正定协方差矩阵 Σ 决定的高维钟形分布。对它而言,不相关等价于独立。

    第 4 讲 p19

  144. 协方差矩阵covariance matrix

    第 (i, j) 个元素是 Cov(Xᵢ, Xⱼ) 的矩阵,对角线上是各分量的方差。

    第 4 讲 p19

  145. 相关系数correlation coefficient

    ρ = Cov(X, Y) / √(Var X · Var Y),在 −1 到 1 之间,衡量线性相关的强弱。

    第 4 讲 p19

  146. 正定positive definite

    对称矩阵 Σ 满足:对所有非零向量 x,xᵀΣx > 0。多元正态要求协方差矩阵正定。

    第 4 讲 p19

  147. 极坐标polar coordinates

    用到原点的距离 r 和角度 θ 表示平面上的点:x = r cos θ,y = r sin θ。在极坐标下做二重积分时 dx dy = r dr dθ。

    第 4 讲 p15

  148. 依测度收敛convergence in measure

    对每个 ε > 0,μ(|fₙ − f| > ε) → 0:偏差超过 ε 的区域,测度越来越小。在概率空间上就是依概率收敛。

    作业 1 第 6 题

  149. 依概率有界bounded in probability (tight)

    一列随机变量不会以不可忽略的概率跑到无穷远:sup_n P(|Xₙ| > λ) → 0(λ → ∞)。依概率收敛的序列一定依概率有界。

    作业 2 第 3 题

  150. 强大数定律strong law of large numbers (SLLN)

    独立同分布且 E|X₁| < ∞ 时,样本均值 Sₙ/n 几乎必然收敛到 E X₁。

    作业 1 第 3 题

  151. 特征函数characteristic function

    φ_X(t) = E e^{itX}(i 是虚数单位),把一个分布编码成一个函数:两个随机变量同分布 ⟺ 特征函数相同。本课没有讲它,作业里只当作已知工具提到。

    作业 1 第 3 题

  152. 弱大数定律weak law of large numbers (WLLN)

    样本均值依概率收敛到真实均值:对每个 ε > 0,P(|Sₙ/n − μ| > ε) → 0。方差有限时可由 Chebyshev 不等式直接推出。

    第 2 讲 p29

  153. 推广的控制收敛定理generalized dominated convergence theorem

    |fₙ| ≤ gₙ,fₙ → f,gₙ → g,且 ∫gₙ → ∫g < ∞,则 ∫fₙ → ∫f:控制函数也可以随 n 变化。

    作业 1 第 10 题

  154. Scheffé 引理Scheffé's lemma

    非负可积的 fₙ → f 几乎处处,且 ∫fₙ → ∫f < ∞,则 ∫|fₙ − f| → 0。概率密度逐点收敛,分布就在全变差意义下收敛。

    第 3 讲 p22

  155. 指数分布exponential distribution

    P(X > x) = e^(−λx)(x ≥ 0)的分布,均值 1/λ,常用来描述等待时间。

    第 2 讲 p08

  156. 标准正态分布standard normal distribution

    均值 0、方差 1 的正态分布 N(0, 1),密度 exp(−x²/2)/√(2π),分布函数记作 Φ。

    作业 2 第 4 题

  157. 依分布收敛convergence in distribution

    在极限分布函数 F 的每个连续点 x 上,P(Xₙ ≤ x) → F(x)。它只比较分布,不要求 Xₙ 本身靠近 X。

    作业 2 第 4 题

  158. 中心极限定理central limit theorem (CLT)

    独立同分布、方差 σ² 有限时,(Sₙ − nμ)/(σ√n) 依分布收敛到标准正态分布:大量独立小误差之和近似正态。

    作业 2 第 4 题

  159. Kolmogorov 极大不等式Kolmogorov's maximal inequality

    独立、均值 0、方差有限时,P(max(|S₁|, …, |Sₙ|) ≥ λ) ≤ Var(Sₙ)/λ²:控制的是整条路径的最大值,而不只是终点。

    作业 2 第 5 题

  160. Kronecker 引理Kronecker's lemma

    若 0 < aₙ ↑ ∞ 且级数 ∑ xₙ/aₙ 收敛,则 (x₁ + ⋯ + xₙ)/aₙ → 0:把「级数收敛」翻译成「平均趋于 0」。

    作业 2 第 5 题

  161. 经验分布函数empirical distribution function

    Fₙ(x) = 样本 X₁, …, Xₙ 中不超过 x 的个数 ÷ n,即样本里 ≤ x 的比例;它是真实分布函数 F 的估计。

    作业 2 第 6 题

  162. Glivenko–Cantelli 定理Glivenko–Cantelli theorem

    独立同分布样本的经验分布函数几乎必然一致收敛到真实分布函数:supₓ |Fₙ(x) − F(x)| → 0。

    作业 2 第 6 题

  163. Slutsky 定理Slutsky's theorem

    Xₙ 依分布收敛到 X,Yₙ 依概率收敛到常数 c,则 Xₙ + Yₙ 依分布收敛到 X + c,XₙYₙ 依分布收敛到 cX。

    作业 2 第 7 题

  164. 条件期望conditional expectation

    E[X | 𝓕] 是已知 σ-代数 𝓕 中的信息时对 X 的最佳猜测;它本身是一个 𝓕-可测的随机变量。

    作业 2 第 12 题

  165. 鞅martingale

    适应、可积且 E[Xₙ₊₁ | 𝓕ₙ] = Xₙ 的随机过程:公平游戏,已知过去时对下一步的最佳猜测就是现在的值。

    作业 2 第 12 题

  166. 停时stopping time

    取值为 0, 1, 2, …(或 ∞)的随机时刻 T,「是否在第 n 步停下」只依赖前 n 步的信息:{T = n} ∈ 𝓕ₙ。

    作业 2 第 12 题

  167. 可选停止定理optional stopping theorem

    在适当条件下(如 T 有界,或 E T < ∞ 且每步增量有界),鞅在停时处的期望等于初值:E M_T = E M₀。

    作业 2 第 12 题

  168. 赌徒破产gambler's ruin

    资本从 b 出发,每局公平地赢 1 或输 1,直到输光(0)或达到目标 a 为止;破产概率是 1 − b/a,平均局数是 b(a − b)。

    作业 2 第 12 题

  169. 分支过程branching process (Galton–Watson process)

    每个个体独立地产生随机个后代,Zₙ 是第 n 代的个体数;若平均后代数是 μ,则 Zₙ/μⁿ 是鞅。

    作业 2 第 11 题

  170. Riesz 子列定理Riesz's subsequence theorem

    依测度(依概率)收敛的序列,一定有一个子列几乎处处收敛到同一个极限。

    小测 1 第 4 题

  171. 一致可积uniformly integrable (UI)

    一族随机变量的尾部期望一致地变小:supₜ E[|Xₜ|; |Xₜ| > λ] → 0(λ → ∞)。它是「依概率收敛 ⇒ 期望收敛」的关键条件。

    小测 2 第 2 题

  172. Kolmogorov 0-1 律Kolmogorov's zero–one law

    独立随机变量序列的尾事件(改动前面有限项不受影响的事件)概率只能是 0 或 1。

    小测 2 第 4 题