概率论
离散概率空间
基础部分
定义1 离散概率空间
离散概率空间(diskreter Wahrscheinlichkeitsraum)是单位元事件(Elementarereignis)的所有结果集合(Ergebnismenge) \(\Omega = \{w_{1},w_{2},\dots\}\) 。
定义2 单位元事件
每个事件元素 \(w_{i}\) 都对应一个可能性 \(\text{Pr}[w_{i}]\) ,其中\(0 \leq \text{Pr}[w_{i}] \le 1\), 并且 \[ \sum_{\omega \in \Omega} \operatorname{Pr}[\omega]=1 \] #### 定义3 事件
集合 \(E \subseteq \Omega\) 是事件，该事件的概率是 \[ \operatorname{Pr}[E]:=\sum_{\omega \in E} \operatorname{Pr}[\omega] \] 事件 \(\bar{E}\) 是事件 \(E\) 的对立事件(komplementäres Ereignis)。两个事件\(A,B\)是分离的(disjunkt/unvereinbar)若 \(A \cap B=\emptyset\) .
定义4 相对频繁度(relative Häufigkeit)
\(\begin{aligned} \text { 事件E相对频繁度} &:=\frac{\text {E的绝对频繁度}}{\text { 所有观测次数}} \\ &=\frac{\text { E的所有出现次数 } }{\text { 所有观测次数 }} \end{aligned}\)
定义5 无限概率空间
概率空间 \(\Omega=\left\{\omega_{1}, \ldots, \omega_{n}\right\}\) 是有限概率空间。关于无限概率空间，我们只考虑 \(\Omega= N _{0}\) ，也就是离散的情况
例子
假设我们扔一个硬币，直到正面出现。\(p\) 是反面出现的概率，正面出现的概率是 \(q:=1-p\) .那么概率空间我们可以表示为丢硬币的次数直到正面出现。 \[ \Omega= N =\{1,2,3, \ldots\} \] 设 \(\omega_{i}\widehat{=}\) 仍硬币 \(i\) 次的事件元素。那么 \(\operatorname{Pr}\left[\omega_{i}\right]=p^{i-1} q\) . 并且： \[ \sum_{\omega \in \Omega} \operatorname{Pr}[\omega]=\sum_{i=1}^{\infty} p^{i-1} q=q \cdot \sum_{i=0}^{\infty} p^{i}=\frac{q}{1-p}=1 \] #### 数学公式补充
\[ \sum_{k=0}^{n} \frac{(-1)^{k}}{k !} = \frac{1}{e} \]
\[ \sum_{n=0}^{\infty} \frac{1}{n !} = e \]
定理8 性质
对于事件 \(A, B, A_{1}, A_{2}, \dots\) 有：
\(\operatorname{Pr}[\emptyset]=0, \operatorname{Pr}[\Omega]=1\)
\(0 \leq \operatorname{Pr}[A] \leq 1\)
\(\operatorname{Pr}[\bar{A}]=1-\operatorname{Pr}[A]\)
若 \(A \subseteq B\) ，那么 \(\operatorname{Pr}[A] \leq \operatorname{Pr}[B]\)
加法原理：若事件 \(A_{1}, \ldots, A_{n}\) 两两互斥，那么有 \[ \operatorname{Pr}\left[\bigcup_{i=1}^{n} A_{i}\right]=\sum_{i=1}^{n} \operatorname{Pr}\left[A_{i}\right] \]
定理9 容斥原理(Siebformel)
容斥原理：对于事件\(A_{1}, \ldots, A_{n}\) 有 \[ \begin{aligned} \operatorname{Pr}\left[\bigcup_{i=1}^{n} A_{i}\right] &=\sum_{i=1}^{n} \operatorname{Pr}\left[A_{i}\right]-\sum_{1 \leq i_{1}<i_{2} \leq n} \operatorname{Pr}\left[A_{i_{1}} \cap A_{i_{2}}\right]+-\ldots \\ &+(-1)^{l-1} \sum_{1 \leq i_{1}<\ldots<i_{l} \leq n} \operatorname{Pr}\left[A_{i_{1}} \cap \ldots \cap A_{i_{l}}\right]+-\ldots \\ &+(-1)^{n-1} \cdot \operatorname{Pr}\left[A_{1} \cap \ldots \cap A_{n}\right] \end{aligned} \] 容斥原理 \[ \operatorname{Pr}[A]=\operatorname{Pr}\left[\bigcup_{i=1}^{n} A_{i}\right]=\sum_{\emptyset \subset I \subseteq[n]}(-1)^{|I|+1} \cdot \operatorname{Pr}\left[\bigcap_{i \in I} A_{i}\right] \] 推论 \[ \operatorname{Pr}\left[\bigcup_{i=1}^{n} A_{i}\right] \leq \sum_{i=1}^{n} \operatorname{Pr}\left[A_{i}\right] \] Prinzip von Laplace: \[ \operatorname{Pr}[E]=\frac{|E|}{|\Omega|} \]
条件概率
对于条件概率 \(\operatorname{Pr}[A | B]\) 有如下的性质
- \(\operatorname{Pr}[B | B]=1\)
- \(\operatorname{Pr}[A | \Omega]=\operatorname{Pr}[A]\)
- 对于给定的 \(B\) ，\(\operatorname{Pr}[A | B]\) 正比于 \(\operatorname{Pr}[A \cap B]\)
定义12 条件概率
\(A\) 和 \(B\) 是事件且 \(Pr[B] > 0\). 那么条件概率 \(Pr[A|B]\) 是如下定义的： \[ \operatorname{Pr}[A | B]:=\frac{\operatorname{Pr}[A \cap B]}{\operatorname{Pr}[B]} \] 在事件 \(B\) 基础下的概率空间： \[ \sum_{\omega \in \Omega} \operatorname{Pr}[\omega | B]=\sum_{\omega \in \Omega} \frac{\operatorname{Pr}[\omega \cap B]}{\operatorname{Pr}[B]}=\sum_{\omega \in B} \frac{\operatorname{Pr}[\omega]}{\operatorname{Pr}[B]}=\frac{\operatorname{Pr}[B]}{\operatorname{Pr}[B]}=1 \\ \operatorname{Pr}[\emptyset | B]=0 \text { sowie } \operatorname{Pr}[\bar{A} | B]=1-\operatorname{Pr}[A | B] \]
定理16 乘法原理
若事件 \(A_{1}, \cdots, A_{n}\) ，且 \(\operatorname{Pr}\left[A_{1} \cap \ldots \cap A_{n}\right]>0\) ,那么 \[ \begin{aligned} \operatorname{Pr}\left[A_{1} \cap \ldots \cap A_{n}\right]= \\ & \operatorname{Pr}\left[A_{1}\right] \cdot \operatorname{Pr}\left[A_{2} | A_{1}\right] \cdot \operatorname{Pr}\left[A_{3} | A_{1} \cap\right.\left.A_{2}\right] \cdot \ldots \\ & & \cdots \operatorname{Pr}\left[A_{n} | A_{1} \cap \ldots \cap A_{n-1}\right] \end{aligned} \]
定理18 全概率公式
若事件 \(A_{1}, \cdots, A_{n}\) ，两两互斥，且 \(B \subseteq A_{1} \cup \ldots \cup A_{n}\) 那么 \[ \operatorname{Pr}[B]=\sum_{i=1}^{n} \operatorname{Pr}\left[B | A_{i}\right] \cdot \operatorname{Pr}\left[A_{i}\right] \] 如果事件有无穷多个，那么： \[ \operatorname{Pr}[B]=\sum_{i=1}^{\infty} \operatorname{Pr}\left[B | A_{i}\right] \cdot \operatorname{Pr}\left[A_{i}\right] \]
定理19 贝叶斯公式
事件 \(A_{1}, \cdots, A_{n}\) 两两分离，且 \(Pr[A_{j}]>0\) 对于所有事件。 \(B \subseteq A_{1} \cup \ldots \cup A_{n}\) ，且 \(Pr[B]>0\) ，那么 \[ \operatorname{Pr}\left[A_{i} | B\right]=\frac{\operatorname{Pr}\left[A_{i} \cap B\right]}{\operatorname{Pr}[B]}=\frac{\operatorname{Pr}\left[B | A_{i}\right] \cdot \operatorname{Pr}\left[A_{i}\right]}{\sum_{j=1}^{n} \operatorname{Pr}\left[B | A_{j}\right] \cdot \operatorname{Pr}\left[A_{j}\right]} \] 若事件有无穷多个，那么 \[ \operatorname{Pr}\left[A_{i} | B\right]=\frac{\operatorname{Pr}\left[A_{i} \cap B\right]}{\operatorname{Pr}[B]}=\frac{\operatorname{Pr}\left[B | A_{i}\right] \cdot \operatorname{Pr}\left[A_{i}\right]}{\sum_{j=1}^{\infty} \operatorname{Pr}\left[B | A_{j}\right] \cdot \operatorname{Pr}\left[A_{j}\right]} \]
独立性(独立性)
若\(\operatorname{Pr}[A \cap B]=\operatorname{Pr}[A] \cdot \operatorname{Pr}[B]\) 也就是 若 \(\operatorname{Pr}[A | B]=\operatorname{Pr}[A]\) 那么，这两个事件是独立的(unabhängig)
对于两两不同的事件 \(A_{1}, \ldots, A_{n}\) 独立，若对于所有的子集
\(I=\left\{i_{1}, \ldots, i_{k}\right\} \subseteq\{1, \ldots, n\}\) ，\(i_{1}<i_{2}<\ldots<i_{k}\) 有 \[ \operatorname{Pr}\left[A_{i_{1}} \cap \ldots \cap A_{i_{k}}\right]=\operatorname{Pr}\left[A_{i_{1}}\right] \cdots \cdot \operatorname{Pr}\left[A_{i_{k}}\right] \]
定理 23
对于两两不同的事件 \(A_{1}, \ldots, A_{n}\) 独立，若对于所有
\(\left(s_{1}, \ldots, s_{n}\right) \in\{0,1\}^{n}\) 有 \[ \operatorname{Pr}\left[A_{1}^{s_{1}} \cap \ldots \cap A_{n}^{s_{n}}\right]=\operatorname{Pr}\left[A_{1}^{s_{1}}\right] \cdot \ldots \cdot \operatorname{Pr}\left[A_{n}^{s_{n}}\right] \] 其中 \(A_{i}^{0}=\bar{A}_{i}\) 且 \(A_{i}^{1}=A_{i}\)
定理24
若 \(A, B, C\) 是独立事件，那么\(A \cap B\) 与 \(C\) 且 \(A \cup B\) 与 \(C\) 也独立
随机变量
定义25 随机变量
给定一个离散概率空间 \(\Omega\) 一个映射 \[ X: \Omega \rightarrow R \] 是随机变量 (Zufallsvariable)
值域(Wertebereich)是 \[ W_{X}:=X(\Omega)=\{x \in R ; \exists \omega \in \Omega \operatorname{mit} X(\omega)=x\} \]
扔硬币3次，结果集合是 \(\Omega:=\{H, T\}^{3}\) 也就是正反的三元组。随机变量\(Y\)描述了出现正面的总数。 比如 \(Y(H T H)=2\) 出现正面2次, \(Y(H H H)=3\) 出现正面3次,值域 \(W_{Y}=\{0,1,2,3\}\)
\[ A_{i}:=\left\{\omega \in \Omega ; X(\omega)=x_{i}\right\}=X^{-1}\left(x_{i}\right) \]
是逆映射，通常我们把 \(\operatorname{Pr}\left[X^{-1}\left(x_{i}\right)\right]\) 写作 \(\operatorname{Pr}\left[X=x_{i}\right]\)
定义27 概率密度函数和分布函数
- 函数
\[ f_{X}: R \ni x \mapsto \operatorname{Pr}[X=x] \in[0,1] \]
称作随机变量 \(X\) 的概率密度函数(Dichte)
- 函数
\[ F_{X}: R \ni x \mapsto \operatorname{Pr}[X \leq x]=\sum_{x^{\prime} \in W_{X}: x^{\prime} \leq x} \operatorname{Pr}\left[X=x^{\prime}\right] \in[0,1] \]
称作随机变量 \(X\) 的分布函数
求密度函数：从值域入手，把每个值都对应写出来。
求分布函数：先求密度函数，然后把密度函数累加
定义 29 期望
对于一个随机变量 \(X\) ,我们定义期望值(Erwartungswert) \(E [X]\) 为： \[ E [X]:=\sum_{x \in W_{X}} x \cdot \operatorname{Pr}[X=x]=\sum_{x \in W_{X}} x \cdot f_{X}(x) \] 若 \(\sum_{x \in W_{X}}|x| \cdot \operatorname{Pr}[X=x]\) 收敛
计算期望
判断期望是否存在，要加绝对值算。
定理 32 期望的单调性
若 \(X, Y\) 是在离散概率空间 \(\Omega\) 的随机变量，且满足 \(X(\omega) \leq Y(\omega)\) 对于所有\(\omega \in \Omega\)， 那么 \(E [X] \leq E [Y]\)
定理 33 期望的线性性
对于任意随机变量 \(X\) , \(a,b \in R\) 有 \[ E [a \cdot X+b]=a \cdot E [X]+b \]
定理 34 期望计算公式
若 \(X\) 是随机变量且 \(W_{X} \subseteq N _{0}\) ,有 \[ E [X]=\sum_{i=1}^{\infty} \operatorname{Pr}[X \geq i] \]
定义 35 条件期望
若 \(X\) 是随机变量，且 \(A\) 是事件，且 \(Pr[A]>0\) 那么条件随机变量(bedingte Zufallsvariable)的密度是 \[ f_{X | A}(x):=\operatorname{Pr}[X=x | A]=\frac{\operatorname{Pr}\left[“X=x^” \cap A\right]}{\operatorname{Pr}[A]} \] 期望值是 \[ E [X | A]=\sum_{x \in W_{X}} x \cdot f_{X | A}(x) \]
定理 36 条件期望计算期望
若 \(X\) 是随机变量，对于两两独立事件 \(A_{1}, \ldots, A_{n}\), 且 \(A_{1} \cup \ldots\cup A_{n}=\Omega \text { 且 } \operatorname{Pr}\left[A_{1}\right], \ldots, \operatorname{Pr}\left[A_{n}\right]>0\) ，有 \[ E [X]=\sum_{i=1}^{n} E \left[X | A_{i}\right] \cdot \operatorname{Pr}\left[A_{i}\right] \]
定义 38 方差和标准差
对于随机变量 \(X\) 且 \(\mu= E [X]\) ，我们定义(Varianz)方差 \(\text{Var}[X]\) 为 \[ \operatorname{Var}[X]:= E \left[(X-\mu)^{2}\right]=\sum_{x \in W_{X}}(x-\mu)^{2} \cdot \operatorname{Pr}[X=x] \] 大小(Größe) \(\sigma:=\sqrt{\operatorname{Var}[X]}\) 是\(X\) 的标准差
定理 39 方差和期望
对于任意随机变量 \(X\) 有： \[ \operatorname{Var}[X]= E \left[X^{2}\right]- E [X]^{2} \]
定理 41 方差公式
对于任意随机变量 \(X\) 和 \(a,b \in R\) 有 \[ \operatorname{Var}[a \cdot X+b]=a^{2} \cdot \operatorname{Var}[X] \]
定义 42 矩
对于一个随机变量\(X\) 我们说 \(E \left[X^{k}\right]\) 是k-te Moment(k阶4矩) 且
\(E \left[(X- E [X])^{k}\right]\) 是 k-te zentrale Moment(k阶中心矩)
多变量
函数 \[ f_{X, Y}(x, y):=\operatorname{Pr}[X=x, Y=y] \] 是随机变量 \(X, Y\) 的总密度(gemeinsame Dichte) ，其中 \[ f_{X}(x)=\sum_{y \in W_{Y}} f_{X, Y}(x, y) \quad \text { bzw. } \quad f_{Y}(y)=\sum_{x \in W_{X}} f_{X, Y}(x, y) \] 函数 \(f_{X}\) 和 \(f_{Y}\) 是Randdichten
把其他变量的所有情况带入式子求和即可
随机变量的独立性
定义45 独立性
对随机变量 \(X_{1}, \ldots, X_{n}\) 是相互独立的(unabhängig)，若对于所有 \(\left(x_{1}, \ldots, x_{n}\right) \in W_{X_{1}} \times \ldots \times W_{X_{n}}\) 满足： \[ \operatorname{Pr}\left[X_{1}=x_{1}, \ldots, X_{n}=x_{n}\right]=\operatorname{Pr}\left[X_{1}=x_{1}\right] \cdot \ldots \cdot \operatorname{Pr}\left[X_{n}=x_{n}\right] \] 或者 \[ f_{X_{1}, \ldots, X_{n}}\left(x_{1}, \ldots, x_{n}\right)=f_{X_{1}}\left(x_{1}\right) \cdots \cdot f_{X_{n}}\left(x_{n}\right) \]
定理46 独立性扩展1
若 \(X_{1}, \ldots, X_{n}\) 是相互独立随机变量，且 \(S_{1}, \ldots, S_{n}\) 是任意的集合 \(S_{i} \subseteq W_{X_{i}}\)，那么 ,,\(X_{1} ∈ S_{1}\)“, ...,,\(X_{n} ∈ S_{n}\)“ 都是独立的
定理47 独立性扩展2
若 \(f_{1}, \ldots, f_{n}\) 是实数函数 \(\left(f_{i}: R \rightarrow R \text { ,} i=1, \ldots, n\right)\) . 当随机变量 \(X_{1}, \ldots, X_{n}\) 相互独立，那么对于所有 \(f_{1}\left(X_{1}\right), \ldots, f_{n}\left(X_{n}\right)\) 也相互独立。
组合随机变量
定理49 独立的随机变量加和
对于2个相互独立的随机变量 \(X, Y\) 若 \(Z:=X+Y\) ，那么满足 \[ f_{Z}(z)=\sum_{x \in W_{X}} f_{X}(x) \cdot f_{Y}(z-x) \]
组合随机变量的矩
定理50 期望的线性性
对于随机变量 \(X_{1}, \ldots, X_{n}\) 和 \(X:=a_{1} X_{1}+\cdots+a_{n} X_{n}\) , \(a_{1}, \ldots, a_{n} \in R\) 满足 \[ \mathbb{E}[X]=a_{1} \mathbb{E}\left[X_{1}\right]+\cdots+a_{n} \mathbb{E}\left[X_{n}\right] \]
Beispiel 51:
\(n\)个人随机到\(n\) 个床位，期望有多少个人在自己的床位上？
先拆解： \(X_{i}:=\left\{\begin{array}{ll}1 & \text { 若第 } i \text { 个人正确 } \\ 0 & \text { 否则 }\end{array}\right.\)
\(X:=X_{1}+\cdots+X_{n}\)
因为 \(\mathbb{E}\left[X_{i}\right]=0 \cdot \operatorname{Pr}\left[X_{i}=0\right]+1 \cdot \operatorname{Pr}\left[X_{i}=1\right]=\frac{1}{n}\)
所以 \(\mathbb{E}[X]=\sum_{i=1}^{n} \mathbb{E}\left[X_{i}\right]=\sum_{i=1}^{n} \frac{1}{n}=1\)
定理52 期望的乘积性
对于相互独立的随机变量 \(X_{1}, \ldots, X_{n}\) ，满足 \[ \mathbb{E}\left[X_{1} \cdots \cdots X_{n}\right]=\mathbb{E}\left[X_{1}\right] \cdots \cdots \mathbb{E}\left[X_{n}\right] \]
定义53 指示函数
对于一个事件 \(A\) ，随机变量 \[ I_{A}:=\left\{\begin{array}{ll}1 & \text { falls } A \text { eintritt } \\ 0 & \text { sonst }\end{array}\right. \] 是事件 \(A\) 的指示变量 Indikatorvariable
定理54 方差加和
对于相互独立的随机变量 \(X_{1}, \ldots, X_{n}\) 且 \(X:=X_{1}+\ldots+X_{n}\) 满足： \[ \operatorname{Var}[X]=\operatorname{Var}\left[X_{1}\right]+\ldots+\operatorname{Var}\left[X_{n}\right] \]
重要分布
伯努利分布
一个随机变量 \(X\) ， \(W_{X}=\{0,1\}\) 并且密度是 \[ f_{X}(x)=\left\{\begin{array}{ll} p & \text { für } x=1 \\ 1-p & \text { für } x=0 \end{array}\right. \] 是伯努利分布(Bernoulli-Verteilung)。参数 \(p\) 是成功概率(Erfolgswahrscheinlichkeit).
比如扔硬币是只有正或反，满足伯努利分布
二项分布
定义 55 二项分布
若 \(X:=X_{1}+\ldots+X_{n}\) 是 \(n\) 个独立的伯努利分布随机变量的加和，并且他们有相同的成功概率 \(p\). 那么\(X\) 就是二项分布，参数是 \(n\) 和 \(p\). 符号是 \[ X \sim \operatorname{Bin}(n, p) \]
\[ f_{X}(x):=b(x ; n, p)=\left(\begin{array}{l} n \\ x \end{array}\right) p^{x} (1-p)^{n-x} \]
\(\mathbb{E}[X]=n p \quad\) ,\(\quad \operatorname{Var}[X]=n p q\)
比如连续扔硬币n次，满足二项分布
定理 56 二项分布加和
若 \(X \sim \operatorname{Bin}\left(n_{x}, p\right)\) 和 \(Y \sim \operatorname{Bin}\left(n_{y}, p\right)\) 独立，那么满足 \(Z:=X+Y\), 且 \(Z \sim \operatorname{Bin}\left(n_{x}+n_{y}, p\right)\).
几何分布
定义57 几何分布
一个几何分布的(geometrisch verteilte) 随机变量 \(X\) ，参数 \(p \in (0,1]\) 且 \(q:=1-p\) 有密度函数 \[ f_{X}(i)=p q^{i-1} \quad \text { für } i \in \mathbb{N} \] 对于它的期望和方差： \[ \mathbb{E}[X]=\frac{1}{p} \quad \text { und } \quad \operatorname{Var}[X]=\frac{q}{p^{2}} \]
一个性质
成功概率和已经尝试的此数无关： \[ \operatorname{Pr}[X>y+x \mid X>x]=\operatorname{Pr}\left[X>y]\right. \]
比如一直扔硬币，知道正面出现。满足几何分布
求大于某个值的概率 \[ \begin{aligned} \operatorname{Pr}[X>x] &=\sum_{i=x+1}^{\infty}(1-p)^{i-1} p=(1-p)^{x} p \cdot \sum_{i=0}^{\infty}(1-p)^{i} \\ &=(1-p)^{x} p \cdot \frac{1}{1-(1-p)}=(1-p)^{x} \end{aligned} \]
泊松分布
泊松分布(Poisson-Verteilung) 可以用于建模在给定时间段有固定变化率且独立的固定事件的个数。
一个泊松分布变量 \(X\) ，参数 \(\lambda \geq 0\) 有值域 \(W_{X}=\mathbb{N}_{0}\) 并且有密度函数： \[ f_{X}(i)=\frac{e^{-\lambda} \lambda^{i}}{i !} \quad \text { für } i \in \mathbb{N}_{0} \] 写作 \[ X \sim \operatorname{Po}(\lambda) \]
而且方差和期望满足 \[ \mathbb{E}[X]= \text{Var}[X] = \lambda \]
定理59 泊松分布随机变量加和
若 \(X\) 和 \(Y\) 是独立的随机变量满足 \(X \sim \operatorname{Po}(\lambda)\) 和 \(Y \sim \operatorname{Po}(\mu)\)， 那么满足 \[ Z:=X+Y \sim \operatorname{Po}(\lambda+\mu) \]
求解泊松分布常用到 \(e^{x}\) 的幂级数展开式 \[ e^{x}=\sum_{n=0}^{\infty} \frac{1}{n !} x^{n}=1+x+\frac{1}{2 !} x^{2}+\ldots+\frac{1}{n !} x^{n}+\ldots, x \in(-\infty,+\infty) \]
泊松分布与二项分布
当 \(n \rightarrow \infin\) 时，且 \(n\) 相对于 \(\lambda\) 足够大，二项分布与泊松分布近似 \[ Po(\lambda) \sim Bin(n,\lambda / n) \]
概率的估计
不等式
定理60 马尔可夫不等式
若 \(X\) 是随机变量，它只有非负值。那么对于所有 \(t \in \mathbb{R}\) 且 \(t>0\) 满足 \[ \operatorname{Pr}[X \geq t] \leq \frac{\mathbb{E}[X]}{t} \] 或者： \[ \operatorname{Pr}[X \geq t \cdot \mathbb{E}[X]] \leq 1 / t \]
用于估计概率的上界 (Blatt6 H01)
定理 61 切比雪夫不等式
若 \(X\) 是随机变量, \(t \in \mathbb{R}\) 且 \(t>0\) ,满足 \[ \operatorname{Pr}[|X-\mathbb{E}[X]| \geq t] \leq \frac{\operatorname{Var}[X]}{t^{2}} \] 或者： \[ \operatorname{Pr}[|X-\mathbb{E}[X]| \geq t \sqrt{\operatorname{Var}[X]}] \leq 1 / t^{2} \]
用的时候可以用绝对值的性质拆开绝对值(Blatt6 H01), \(t=n / 2-1\) \[ \operatorname{Pr}[X \geq n / 2]=\operatorname{Pr}[X-\mathbb{E}[X] \geq t] \leq \operatorname{Pr}[|X-\mathbb{E}[X]| \geq t] \]
大数定律
定理 63 大数定律
给定一个随机变量， 若 \(\varepsilon, \delta>0\) 是任意且固定的。那么对于所有 \(n \geq \frac{\operatorname{Var}[X]}{\varepsilon \delta^{2}}\) ：
若 \(X_{1}, \ldots, X_{n}\) 独立随机变量且拥有和 \(X\) 相同的分布,且设 \[ Z:=\frac{X_{1}+\ldots+X_{n}}{n} \] 那么满足 \[ \operatorname{Pr}[|Z-\mathbb{E}[X]| \geq \delta] \leq \varepsilon \]
切诺夫界
定理 64 切诺夫界 1
若 \(X_{1}, \ldots, X_{n}\) 是独立的伯努利分布的随机变量，且\(\operatorname{Pr}\left[X_{i}=1\right]=p_{i}\)，\(\operatorname{Pr}\left[X_{i}=0\right]=1-p_{i}\) . 那么对于 \(X:=\sum_{i=1}^{n} X_{i}\) und \(\mu:=\mathbb{E}[X]=\sum_{i=1}^{n} p_{i}\) ，\(\delta>0\) 满足 \[ \operatorname{Pr}[X \geq(1+\delta) \mu] \leq\left(\frac{e^{\delta}}{(1+\delta)^{1+\delta}}\right)^{\mu} \]
定理 66 切诺夫界 2
若 \(X_{1}, \ldots, X_{n}\) 是独立的伯努利分布的随机变量，且\(\operatorname{Pr}\left[X_{i}=1\right]=p_{i}\)，\(\operatorname{Pr}\left[X_{i}=0\right]=1-p_{i}\) . 那么对于 \(X:=\sum_{i=1}^{n} X_{i}\) und \(\mu:=\mathbb{E}[X]=\sum_{i=1}^{n} p_{i}\) ，\(0<\delta<1\) 满足： \[ \operatorname{Pr}[X \leq(1-\delta) \mu] \leq\left(\frac{e^{-\delta}}{(1-\delta)^{1-\delta}}\right)^{\mu} \]
引理 67 切诺夫界扩展
对于 \(0<\delta<1\) 满足 \[ (1-\delta)^{1-\delta} \geq e^{-\delta+\delta^{2} / 2} \quad \text { und } \quad(1+\delta)^{1+\delta} \geq e^{\delta+\delta^{2} / 3} \]
推论 68 推论公式
若 \(X_{1}, \ldots, X_{n}\) 是独立的伯努利分布的随机变量，且\(\operatorname{Pr}\left[X_{i}=1\right]=p_{i}\)，\(\operatorname{Pr}\left[X_{i}=0\right]=1-p_{i}\) . 那么对于 \(X:=\sum_{i=1}^{n} X_{i}\) und \(\mu:=\mathbb{E}[X]=\sum_{i=1}^{n} p_{i}\)
- \(\operatorname{Pr}[X \geq(1+\delta) \mu] \leq e^{-\mu \delta^{2} / 3 \quad \text { für alle } 0<\delta \leq 1}\)
- \(\operatorname{Pr}[X \leq(1-\delta) \mu] \leq e^{-\mu \delta^{2} / 2} \quad\) für alle \(0<\delta \leq 1\)
- \(\operatorname{Pr}[|X-\mu| \geq \delta \mu] \leq 2 e^{-\mu \delta^{2} / 3} \quad\) für alle \(0<\delta \leq 1\)
- \(\operatorname{Pr}[X \geq(1+\delta) \mu] \leq\left(\frac{e}{1+\delta}\right)^{(1+\delta) \mu}\)
- \(\operatorname{Pr}[X \geq t] \leq 2^{-t} \quad\) für \(t \geq 2 e \mu\)
概率生成函数
定义70 概率生成函数
对于一个随机变量 \(X\) , \(W_{X} \subseteq \mathbb{N}_{0}\) 那么概率生产函数 (wahrscheinlichkeits-)erzeugende Funktion为 \[ G_{X}(s):=\sum_{k=0}^{\infty} \operatorname{Pr}[X=k] \cdot s^{k}=\mathbb{E}\left[s^{X}\right] \]
定理71 函数的唯一性
一个随机变量$X $ , \(W_{X} \subseteq \mathbb{N}_{0}\) 的密度和分布是通过它的生产函数唯一确定的.
伯努利分布
\[ G_{X}(s)=\mathbb{E}\left[s^{X}\right]=(1-p) \cdot s^{0}+p \cdot s^{1}=1-p+p s \]
均匀分布 \(\{0,...,n\}\)
若 \(X\) 在 \(\{0,..,n\}\) 均匀分布，也就是对于 \(0 \leq k \leq n\) ，\(\operatorname{Pr}[X=k]=1 /(n+1)\) \[ G_{X}(s)=\mathbb{E}\left[s^{X}\right]=\sum_{k=0}^{n} \frac{1}{n+1} \cdot s^{k}=\frac{s^{n+1}-1}{(n+1)(s-1)} \]
二项分布
\[ G_{X}(s)=\mathbb{E}\left[s^{X}\right]=\sum_{k=0}^{n}\left(\begin{array}{l} n \\ k \end{array}\right) p^{k}(1-p)^{n-k} \cdot s^{k}=(1-p+p s)^{n} \]
几何分布
\[ \begin{aligned} G_{X}(s)=\mathbb{E}\left[s^{X}\right] &=\sum_{k=1}^{\infty} p(1-p)^{k-1} \cdot s^{k} \\ &=p s \cdot \sum_{k=1}^{\infty}((1-p) s)^{k-1}=\frac{p s}{1-(1-p) s} \end{aligned} \]
泊松分布
\[ G_{X}(s)=\mathbb{E}\left[s^{X}\right]=\sum_{k=0}^{\infty} e^{-\lambda} \frac{\lambda^{k}}{k !} \cdot s^{k}=e^{-\lambda+\lambda s}=e^{\lambda(s-1)} \]
计算期望方差
\[ G_{X}^{\prime}(1)=\sum_{k=1}^{\infty} k \cdot \operatorname{Pr}[X=k]=\mathbb{E}[X] \]
\[ \operatorname{Var}[X]=\mathbb{E}\left[X^{2}\right]-\mathbb{E}[X]^{2}=\mathbb{E}[X \cdot(X-1)+X]-\mathbb{E}[X]^{2}=G_{X}^{\prime \prime}(1)+G_{X}^{\prime}(1)-\left(G_{X}^{\prime}(1)\right)^{2} \]
定义74 秩生成函数
对于一个随机变量 \(X\) ，秩生成函数 momenterzeugende Funktion 是 \[ M_{X}(s):=\mathbb{E}\left[e^{X s}\right] \]
\[ M_{X}(s)=G_{X}\left(e^{s}\right) \]
随机变量加和
定理75 和的生成函数
对于独立随机变量 \(X_{1}, \ldots, X_{n}\) 且 \(Z:=X_{1}+\ldots+X_{n}\)，那么满足 \[ G_{Z}(s)=G_{X_{1}}(s) \cdot \ldots \cdot G_{X_{n}}(s) \] 而且 \[ M_{Z}(s)=M_{X_{1}}(s) \cdot \ldots \cdot M_{X_{n}}(s) \]
随机和
我们考虑这样的情况： \(Z:=X_{1}+\ldots+X_{N}\)，\(N\) 是一个随机变量.
定理77 和的生成函数
若 \(X_{1}, X_{2}, \ldots\) 是独立，而且具有相同分布随机变量，生成函数是 \(G_{X}(s)\) . \(N\) 是一个独立随机变量且有生成函数 \(G_{N}(s)\). 那么随机变量 \(Z:=X_{1}+\ldots+X_{N}\)有随机生成函数 \(G_{Z}(s)=G_{N}\left(G_{X}(s)\right)\).
连续概率空间
连续随机变量
定义79 连续随机变量
一个连续的随机变量 \(X\) (kontinuierliche oder auch stetige Zufallsvariable )和它在的连续概率空间(kontinuierlicher (reeller) Wahrscheinlichkeitsraum)是由一个积分函数定义的 \(f_{X}: \mathbb{R} \rightarrow \mathbb{R}_{0}^{+}\) : \[ \int_{-\infty}^{+\infty} f_{X}(x) \mathrm{d} x=1 \] 可以通过对可数且分离的区间并集 \(A=\bigcup_{k} I_{k}\) 构造出的集合 \(A \subseteq \mathbb{R}\) 叫事件(Ereignis). \(A\) 的概率是这样算的： \[ \operatorname{Pr}[A]=\int_{A} f_{X}(x) \mathrm{d} x=\sum_{k} \int_{I_{k}} f_{X}(x) \mathrm{d} x \]
根据性质计算参数 (Blatt7 T02)
Kolmogorov-Axiome和σ-代数
定义82 σ-代数
若 \(\Omega\) 是个集合。\(\mathcal{A} \subseteq \mathcal{P}(\Omega)\) 是在集合\(\Omega\) 上的 \(\sigma\) -代数(Algebra), 若下面的性质满足：
- \(\Omega \in \mathcal{A}\)
- 若 \(A \in \mathcal{A},\) 那么 \(\bar{A} \in \mathcal{A}\)
- 对于 \(n \in \mathbb{N}\) 设 \(A_{n} \in \mathcal{A} .\) 那么 \(\bigcup_{n=1}^{\infty} A_{n} \in \mathcal{A}\)
对于所有 \(A \subseteq \mathbb{R}\) 是一种 Borel集合.
判断集合是否是 σ-代数 (Blatt7 T01)
定义83 柯尔莫哥洛夫公理Kolmogorov-Axiome
若 \(\Omega\) 是个集合。\(\mathcal{A}\) 是是在集合\(\Omega\) 上的 \(\sigma\) -代数. 映射 \[ \operatorname{Pr}[.]: \mathcal{A} \rightarrow[0,1] \] 是\(\mathcal{A}\) 上的概率测度(Wahrscheinlichkeitsmaß) ，若满足：
\(\operatorname{Pr}[\Omega]=1\)
\(A_{1}, A_{2}, \ldots\) 是两两互斥的事件. 那么满足： \[ \operatorname{Pr}\left[\bigcup_{i=1}^{\infty} A_{i}\right]=\sum_{i=1}^{\infty} \operatorname{Pr}\left[A_{i}\right] \]
对于一个事件 \(A \in \mathcal{A}\), \(\operatorname{Pr}[A]\) 是\(A\) 的概率(Wahrscheinlichkeit). 一个概率空间是由元组 \((\Omega, \mathcal{A}, \operatorname{Pr})\) 定义的.
引理84
若 \((\Omega, \mathcal{A}, \operatorname{Pr})\) 是一个概率空间。对于事件 \(A, B, A_{1}, A_{2}, \ldots\) 满足：
\(\operatorname{Pr}[\emptyset]=0, \operatorname{Pr}[\Omega]=1\)
\(0 \leq \operatorname{Pr}[A] \leq 1\)
\(\operatorname{Pr}[\bar{A}]=1-\operatorname{Pr}[A]\)
若 \(A \subseteq B,\) 则 \(\operatorname{Pr}[A] \leq \operatorname{Pr}[B]\)
(加法原理) 当事件 \(A_{1}, \ldots, A_{n}\) 两两互斥，那么 \[ \operatorname{Pr}\left[\bigcup_{i=1}^{n} A_{i}\right]=\sum_{i=1}^{n} \operatorname{Pr}\left[A_{i}\right] \]
勒贝格积分
一个函数 \(f: \mathbb{R} \rightarrow \mathbb{R}\) 是可测量的(messbar). 若每个Borel波莱尔集合的原像(Urbild)还是一个Borel集合，
每个可测量的函数都可以积分，叫做勒贝格积分(Lebesgue-Integral).
- 连续函数都是Borel波莱尔可测的(Borel-messbar)
- 指示函数 \(I_{A}: x \mapsto\left\{\begin{array}{ll}1 & \text { falls } x \in A \\ 0 & \text { sonst }\end{array}\right.\) 是Borel可测的
- Borel可测的函数与Borel可测函数的和和积也是Borel可测的
判断一个函数是否是Borel可测 (Blatt7 T02)
计算连续随机变量
连续随机变量函数
若 \(Y:=g(X)\)， \(g: \mathbb{R} \rightarrow \mathbb{R}\) . 那么 \(Y\) 的分布是 \[ F_{Y}(y)=\operatorname{Pr}[Y \leq y]=\operatorname{Pr}[g(X) \leq y]=\int_{C} f_{X}(t) \mathrm{d} t \] 这里 \(C:=\{t \in \mathbb{R} \mid g(t) \leq y\}\) 是所有实数满足 "\(Y \leq y\)" 的.
求密度函数：先求分布再求导
求一个函数是否是分布函数：
- 非严格单调增
- 连续
- 在负无穷的极限是0，正无穷的极限是1
连续随机变量极限
若 \(X\) 是一个连续随机变量，我们可以从 \(X\) 里构造一个离散的随机变量。设 \(\delta>0\) ，那么 \[ X_{\delta}=n \delta \Longleftrightarrow X \in[n \delta,(n+1) \delta[\text { für } n \in \mathbb{Z} \] 对于 $X_{} $ 满足 \[ \operatorname{Pr}\left[X_{\delta}=n \delta\right]=F_{X}((n+1) \delta)-F_{X}(n \delta) \]
期望和方差
定义88 期望和方差
对于一个连续随机变量 \(X\) ，方差如下定义： \[ \mathbb{E}[X]=\int_{-\infty}^{\infty} t \cdot f_{X}(t) \mathrm{d} t \] 只要 \(\int_{-\infty}^{\infty}|t| \cdot f_{X}(t) \mathrm{d} t\) 是有限的.
对于方差是 \[ \operatorname{Var}[X]=\mathbb{E}\left[(X-\mathbb{E}[X])^{2}\right]=\int_{-\infty}^{\infty}(t-\mathbb{E}[X])^{2} \cdot f_{X}(t) \mathrm{d} t \] 当 \(\mathbb{E}\left[(X-\mathbb{E}[X])^{2}\right]\) 存在.
引理89 计算期望
若 \(X\) 是连续随机变量, 令 \[ Y:=g(X) \] 那么 \[ \mathbb{E}[Y]=\int_{-\infty}^{\infty} g(t) \cdot f_{X}(t) \mathrm{d} t \]
使用公式计算期望和方差 (Blatt07 T02)
重要连续分布
均匀分布
\[ \begin{array}{l} f(x)=\left\{\begin{array}{ll} \frac{1}{b-a} & \text { für } x \in[a, b] \\ 0 & \text { sonst. } \end{array}\right. \\ F(x)=\int_{-\infty}^{x} f(t) d t=\left\{\begin{array}{ll} 0 & \text { für } x<a \\ \frac{x-a}{b-a} & \text { für } a \leq x \leq b \\ 1 & \text { für } x>b \end{array}\right. \\ \mathbb{E}[X]=\frac{a+b}{2} \text { und } \operatorname{Var}[X]=\frac{(a-b)^{2}}{12} \end{array} \]
正态分布
定义 91 正态分布
\[ f(x)=\frac{1}{\sqrt{2 \pi} \sigma} \cdot \exp \left(-\frac{(x-\mu)^{2}}{2 \sigma^{2}}\right)=: \varphi(x ; \mu, \sigma) \]
记为 \(X \sim \mathcal{N}\left(\mu, \sigma^{2}\right)\)
分布函数 \[ F(x)=\frac{1}{\sqrt{2 \pi} \sigma} \cdot \int_{-\infty}^{x} \exp \left(-\frac{(t-\mu)^{2}}{2 \sigma^{2}}\right) \mathrm{d} t=: \Phi(x ; \mu, \sigma) \] 若 \(\mu=0,\sigma=1\) 也叫标准正态分布，标准正态分布的分布函数也叫高斯\(\Phi\)-函数。(一般可以查表看值)
高斯函数的性质
对于 \(x\in \R\) 满足 \[ \Phi(-x)=1-\Phi(x) \]
引理 92 定义
\[ I:=\int_{-\infty}^{\infty} e^{-x^{2} / 2} d x=\sqrt{2 \pi} \]
定理 93 正态分布的线性变换
若 \(X\) 是一个正态分布的随机变量\(X \sim \mathcal{N}\left(\mu, \sigma^{2}\right)\). 那么对于任意的 \(a \in \mathbb{R} \backslash\{0\}\) 和 \(b \in \mathbb{R}\). \(Y=a X+b\) 也是正态分布\(Y \sim \mathcal{N}\left(a \mu+b, a^{2} \sigma^{2}\right)\)
定理 94 N(0,1) 期望方差
若 \(X\) 是 \(\mathcal{N}(0,1)\) 分布，那么 \[ \mathbb{E}[X]=0 \text { und } \operatorname{Var}[X]=1 \]
定理 95 N 期望方差
\(X\) 满足 \(\mathcal{N}\left(\mu, \sigma^{2}\right)\) 分布, 那么 \[ \mathbb{E}[X]=\mu \text { und } \operatorname{Var}[X]=\sigma^{2} \]
秩生成函数
若 \(Y \sim \mathcal{N}\left(\mu, \sigma^{2}\right)\) 是正态分布 \[ M_{Y}(t) = e^{t \mu+(t \sigma)^{2} / 2} \]
指数分布
定义 96
一个随机变量 \(X\) 是以 \(\lambda > 0\) 的指数分布. 若满足密度函数 \[ f(x)=\left\{\begin{array}{ll} \lambda \cdot e^{-\lambda x} & \text { falls } x \geq 0 \\ 0 & \text { sonst } \end{array}\right. \] 分布函数为 \[ F(x)=\int_{0}^{x} \lambda \cdot e^{-\lambda t} \mathrm{d} t=\left[-e^{-\lambda t}\right]_{0}^{x}=1-e^{-\lambda x} \]
$[X]= $, $ [X]=$
定理 97 指数随机变量的缩放
一个随机变量 \(X\) 是以 \(\lambda > 0\) 的指数分布. 对于 \(a>0\) 的随机变量 \(Y:=a X\) 也是一个指数分布的随机变量, 参数 \(\lambda / a\).
定理 98 无思想性
一个连续随机变量 \(X\) 是指数的，当且仅当对于所有 \(x, y>0\) 满足 \[ \operatorname{Pr}[X>x+y \mid X>y]=\operatorname{Pr}[X>x] \]
指数分布与几何分布的极限
设一个几何分布的序列 \(X_n\) , 参数为 \(p_n=\lambda / n\) . 当 \(n \rightarrow \infin\) 时， 可以用 \(Y_n=\frac{1}{n} X_n\) , 是参数为 \(\lambda\) 的指数分布来逼近。
多个连续随机变量
多元密度函数
两个连续随机变量 \(X, Y\) 可以这样表示 \(f_{X, Y}: \mathbb{R}^{2} \rightarrow \mathbb{R}_{0}^{+}\) ： \[ \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} f_{X, Y}(x, y) d x d y=1 \] 对于事件 \(A\) : \[ \operatorname{Pr}[A]=\int_{A} f_{X, Y}(x, y) \mathrm{d} x \mathrm{d} y \]
定义 100 边缘分布Randverteilung
若 \(f_{X, Y}\) 是随机变量\(X, Y\) 的密度函数. 那么 边缘分布Randverteilung 是 \[ F_{X}(x)=\operatorname{Pr}[X \leq x]=\int_{-\infty}^{x}\left[\int_{-\infty}^{\infty} f_{X, Y}(u, v) \mathrm{d} v\right] \mathrm{d} u \] 类似的 \[ f_{X}(x)=\int_{-\infty}^{\infty} f_{X, Y}(x, v) d v \] 是 \(X\) 的边缘密度函数Randdichte
定义 101 独立性
两个连续随机变量 \(X, Y\) 是独立的，若对于所有 \(x, y \in \mathbb{R}\) 满足 \[ \operatorname{Pr}[X \leq x, Y \leq y]=\operatorname{Pr}[X \leq x] \cdot \operatorname{Pr}[Y \leq y] \] 类似的也有 \[ F_{X, Y}(x, y)=F_{X}(x) \cdot F_{Y}(y) \]
\[ f_{X, Y}(x, y)=f_{X}(x) \cdot f_{Y}(y) \]
多个事件的等待问题
定理 102 指数分布最小值
随机变量 \(X_{1}, \ldots, X_{n}\) 是独立的且是以参数 \(\lambda_{1}, \ldots, \lambda_{n}\) 指数分布. 那么 \(X:=\min \left\{X_{1}, \ldots, X_{n}\right\}\) 也是指数分布，以参数 \(\lambda_{1}+\ldots+\lambda_{n}\).
泊松过程
对于给定 \(t>0\), \(T_i\) 是独立的相同的指数分布的随机变量,每个参数为 \(\lambda\) \[ X(t):=\max \left\{n \in \mathbb{N} \mid T_{1}+\ldots+T_{n} \leq t\right\} \] \(X(t)\) 是泊松分布的随机变量，参数为 \(t\lambda\)
定理 105 随机变量加和
若 \(X, Y\) 是独立的连续随机变量，对于 \(Z:=X+Y\) 满足 \[ f_{Z}(z)=\int_{-\infty}^{\infty} f_{X}(x) \cdot f_{Y}(z-x) \mathrm{d} x \]
定理 106 正太分布的加和
随机变量 \(X_{1}, \ldots, X_{n}\) 是独立的且是以参数 \(\mu_{i}, \sigma_{i}(1 \leq i \leq n)\) 正态分布. 那么 \[ Z:=a_{1} X_{1}+\ldots+a_{n} X_{n} \] 也是正态分布，期望值为 \(\mu=a_{1} \mu_{1}+\ldots+a_{n} \mu_{n}\) 方差为 \(\sigma^{2}=a_{1}^{2} \sigma_{1}^{2}+\ldots+a_{n}^{2} \sigma_{n}^{2}\)
连续变量秩生成函数
连续随机变量和离散随机变量有相同的秩生成函数 \[ M_{X}(s)=\mathbb{E}\left[e^{X s}\right] \]
中心极限定理
定理108 中心极限值定理
随机变量 \(X_{1}, \ldots, X_{n}\) 有相同的分布且都互独立. 且期望和方差都存在并且记为 \(\mu\) 和 \(\sigma^{2}\).
随机变量 \(Y_{n}\) 定义为 \(Y_{n}:=X_{1}+\ldots+X_{n}\) . 那么 \[ Z_{n}:=\frac{Y_{n}-n \mu}{\sigma \sqrt{n}} \] 是渐进的标准正太分布，也即是 \(Z_{n} \sim \mathcal{N}(0,1)\) 对于 \(n \rightarrow \infty\)
定理 109 de Moivre 棣莫弗—拉普拉斯定理
随机变量 \(X_{1}, \ldots, X_{n}\) 是伯努利分布且都互独立，有相同的成功概率 \(p\) .那么 \[ H_{n}:=X_{1}+\ldots+X_{n} \]
对于 \(n \ge 1\) , 分布函数为 \[ H_{n}^{*}:=\frac{H_{n}-n p}{\sqrt{n p(1-p)}} \]
当 \(n \rightarrow \infin\) 时, \(H_n^*\) 是渐进标准正态分布
定理 110 正太分布对于二项分布的极值
若 $H_{n} (n, p) \(是一个二项分布的随机变量. 分布\)H_{n} / n$ 趋近于 \(\mathcal{N}(p, p(1-p) / n)\) 对于 \(n \rightarrow \infty\).
数理统计
定义 112 估计量
给定一个随机变量 \(X\) 密度函数 \(f(x ; \theta)\). 一个估计量(Schätzvariable,Schätzer)是参数 \(\theta\) . 一个估计量\(U\) 是一个无偏估计(erwartungstreu)若 \[ \mathbb{E}[U]=\theta \] \(\mathbb{E}[U-\theta]\) 称作估计变量 \(U\) 的偏差(Bias).
定义 113 均方误差MSE
若估计变量 \(A\) 比 \(B\) 有一个小MSE. 那么 \(A\) 就是比\(B\) 有效率 effizienter. \[ M S E:=\mathbb{E}\left[(U-\theta)^{2}\right] \]
一个估计变量是在平方中部常数的. 若当\(n \rightarrow \infty\) 时 \(MSE \rightarrow 0\) . \[ \begin{aligned} M S E=\operatorname{Var}[\bar{X}] &=\operatorname{Var}\left[\frac{1}{n} \sum_{i=1}^{n} X_{i}\right] \\ &=\frac{1}{n^{2}} \sum_{i=1}^{n} \operatorname{Var}\left[X_{i}\right]=\frac{1}{n} \operatorname{Var}[X] \end{aligned} \]
定义 114 Stichprobenmittel 和 Stichprobenvarianz
样本均值和样本方差 \[ \bar{X}:=\frac{1}{n} \sum_{i=1}^{n} X_{i} \text { und } S^{2}:=\frac{1}{n-1} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2} \]
最大似然估计
似然估计函数 \[ L(\vec{x} ; \theta):=\prod_{i=1}^{n} f\left(x_{i} ; \theta\right) \]
定义 115 最大似然估计值
估计值 \(\widehat{\theta}\) 是对于分布 \(f(x ; \theta)\) 的参数的最大似然估计值 \[ L(\vec{x} ; \theta) \leq L(\vec{x} ; \widehat{\theta}) \]
置信区间(Kondenzintervall)
我们要找2个估计量 \(U_{1},U_{2}\)，使得. \[ \operatorname{Pr}\left[U_{1} \leq \theta \leq U_{2}\right] \geq 1-\alpha \] 其中 \(1-\alpha\) 是Kondenzniveau置信水平.
由 \(\bar{X} \sim \mathcal{N}\left(\mu, \frac{\sigma^{2}}{n}\right)\) 得出 \[ Z:=\sqrt{n} \cdot \frac{\bar{X}-\mu}{\sigma} \] 是标准正态分布. 然后变换成下面的式子 \[ \operatorname{Pr}[-c \leq Z \leq c]=\Phi(c)-\Phi(-c) \stackrel{!}{=} 1-\alpha \] 再根据查表和题目条件即可解题
定义 118 分位数
\(X\) 是随机变量，分布为 \(F_{X}\) . 数 \(x_{\gamma}\) 使得 \[ F_{X}\left(x_{\gamma}\right)=\gamma \] 是\(X\) 的 \(\gamma\) -Quantil
定义 119 正态分布的分位数
对于正态分布 \(z_{\gamma}\) 是它的 \(\gamma\) -Quantil . 我们可以用这个来求置信区间 \[ K=\left[\bar{X}-\frac{z\left(1-\frac{\alpha}{2}\right)^{\sigma}}{\sqrt{n}}, \bar{X}+\frac{z_{\left(1-\frac{\alpha}{2}\right)} \sigma}{\sqrt{n}}\right] \]
假设检验
检验的定义
\[ K:=\left\{\vec{x} \in \mathbb{R}^{n} ; \vec{x} \text { führt zur Ablehnung der Hypothese }\right\} \]
\(K\) 是拒绝域.
\(\widetilde{K} \subseteq \mathbb{R}\) 是检验集合 \(T\) 中拒绝域中的检验,
\(H_{0}\) 是我们要检验的假设Nullhypothese. \(H_{1}\) 是另一个假设 Alternative.
检验的错误
1类错误
\(H_{0}\) 满足却被拒绝了 \[ \begin{aligned} \text { Fehlerwahrscheinlichkeit } 1 . \text { Art } &=\max _{p \in H_{0}} \operatorname{Pr}_{p}[T \in K] \\ &=\max _{p \in H_{0}} \operatorname{Pr}_{p}[T \leq k] \end{aligned} \] 计算是在\(H_{0}\) 的概率里把所有在拒绝域的数量加起来
2类错误
\(H_{0}\) 不满足却被接受了 \[ \begin{aligned} \text { Fehlerwahrscheinlichkeit } 2 . \text { Art } &=\sup _{p \in H_{1}} \operatorname{Pr}_{p}[T \notin K] \\ &=\sup _{p \in H_{1}} \operatorname{Pr}_{p}[T>k] \end{aligned} \] 计算就是把在接受区间里的 \(H_{1}\) 的概率加起来
1类错误的数量用 \(\alpha\) 来表示. 也叫显著性差异Signifikanzniveau.
二项检验
若是伯努利分布的随机变量，测试某个概率的大小 \[ H_{0}: p \geq p_{0}, \quad H_{1}: p<p_{0} \] 然后构造测试量, 用正态分布逼近 \[ T:=X_{1}+\ldots+X_{n} , \tilde{T}:=\frac{T-n p}{\sqrt{n p(1-p)}} \]
\[ Z<z_{\alpha} ， Z \ge z_{1-\alpha} \]
根据具体情况选择拒绝域的公式
高斯检验
若 \(X_i\) 服从正态分布
假设
- \(H_{0}: \mu=\mu_{0} \quad\) gegen \(\quad H_{1}: \mu \neq \mu_{0}\),
- \(H_{0}: \mu \geq \mu_{0} \quad\) gegen \(\quad H_{1}: \mu<\mu_{0}\),
- \(H_{0}: \mu \leq \mu_{0} \quad\) gegen \(\quad H_{1}: \mu>\mu_{0}\).
检验量 \[ Z:=\frac{\bar{X}-\mu_{0}}{\sigma} \sqrt{n} \] 判断拒绝
- \(|Z|>z_{1-\alpha / 2}\),
- \(\quad Z<z_{\alpha}\)
- \(Z>z_{1-\alpha}\).
2次t-检验
若 \(X_i\) 和 \(Y_i\) 是独立且服从正态分布的随机变量
假设:
- \(H_{0}: \mu_{X}=\mu_{Y} \quad\) ，\(\quad H_{1}: \mu_{X} \neq \mu_{Y}\),
- \(H_{0}: \mu_{X} \geq \mu_{Y} \quad\) ，\(\quad H_{1}: \mu_{X}<\mu_{Y}\)
- \(H_{0}: \mu_{X} \leq \mu_{Y} \quad\) ，\(\quad H_{1}: \mu_{X}>\mu_{Y} .\)
检验量 \[ T:=\sqrt{\frac{n+m-2}{\frac{1}{m}+\frac{1}{n}}} \cdot \frac{\bar{X}-\bar{Y}}{\sqrt{(m-1) \cdot S_{X}^{2}+(n-1) \cdot S_{Y}^{2}}} \] 判断拒绝
- \(|T|>t_{m+n-2,1-\alpha / 2}\),
- \(T<t_{m+n-2, \alpha}\),
- \(T>t_{m+n-2,1-\alpha}\).
卡方检验
\(\chi^2\) -Anpassungstest是卡方检验
若: \(X_1,...X_n\) 是独立且相同的随机变量 \(W_{X_i}={1,..,k}\) 时可以使用
假设： \[ \begin{aligned} &H_{0}: \operatorname{Pr}[X=i]=p_{i} \quad \text { } i=1, \ldots, k, \\ &H_{1}: \operatorname{Pr}[X=i] \neq p_{i} \quad \text { 至少存在 } i \in\{1, \ldots, k\}, \end{aligned} \] 检验量： \[ T=\sum_{i=1}^{k} \frac{\left(h_{i}-n p_{i}\right)^{2}}{n p_{i}} \] 判断拒绝 \[ T>\chi_{k-1,1-\alpha}^{2} \]
随机过程
离散时间处理
定义 123
一个在状态集合 \(S=\{0, \ldots, n-1\}\) 有限的马尔科夫链(Markov-Kette) 由一个无限的随机变量序列 \(\left(X_{t}\right)_{t \in \mathbb{N}_{0}}\) 组成. 它的值域是 \(S\), 开始分布Startverteilung 是 \(q_{0} \operatorname{mit} q_{0}^{T} \in \mathbb{R}^{n}\) . \(q_{0}\) 的元素都是非负的且加和为1. 对于下标集合 \(I \subseteq\{0, \ldots, t-1\}\) 和任意状态 \(i, j, s_{k}(k \in I)\) . 满足： \[ \begin{aligned} \operatorname{Pr}\left[X_{t+1}=j \mid X_{t}=i, \forall k \in I\right.&\left.: X_{k}=s_{k}\right]=\\ & \operatorname{Pr}\left[X_{t+1}=j \mid X_{t}=i\right] \end{aligned} \] 并且 \[ p_{i j}:=\operatorname{Pr}\left[X_{t+1}=j \mid X_{t}=i\right] \]
\(P=\left(p_{i j}\right)_{0 \leq i, j<n}\) 是转移矩阵,例子
\(p_{i,j}^{(n)}\) 是从\(i\) 到 \(j\) 走 \(n\) 步走到的概率
定义 126 步数
随机变量 \[ T_{i j}:=\min \left\{n \geq 0 \mid X_{n}=j, \text { wenn } X_{0}=i\right\} \] 从 \(i\) 走到 \(j\) 的步数. \(h_{i j}:=\mathbb{E}\left[T_{i j}\right]\) 是期望. \[ f_{i j}:=\operatorname{Pr} \left[T_{i j}<\infty \right.] \] 是从 \(i\) 走到 \(j\) 的概率.
定义 127 到自己的步数
\[ T_{i}:=\min \left\{n \geq 1 \mid X_{n}=i, \text { wenn } X_{0}=i\right\} \]
是从 \(i\) 开始又走回来的步数. 同理 \[ f_{i}:=\operatorname{Pr}\left[T_{i}<\infty\right] \] 是走回来的概率
定理 129 状态转移方程
\[ \begin{array}{l} h_{i j}=1+\sum_{k \neq j} p_{i k} h_{k j} \text { für alle } i, j \in S, i \neq j \\ h_{j}=1+\sum_{k \neq j} p_{j k} h_{k j} \end{array} \]
\[ \begin{array}{l} f_{i j}=p_{i j}+\sum_{k \neq j} p_{i k} f_{k j} \text { für alle } i, j \in S, i \neq j \\ f_{j}=p_{j j}+\sum_{k \neq j} p_{j k} f_{k j} \end{array} \]
定义 132 stationäre Verteilung稳定分布
这个分布满足 \[ \pi=\pi \cdot P \] 同时 \(\pi\) 中加和是\(1\) .
定理 134 irreduzibel不可简化的
一个马尔科夫链是不可简化的，若对于所有状态对 \(i, j \in S\) 存在 \(n \in \mathbb{N}\) 使得 \(p_{i j}^{(n)}>0\).
也就是走几步一定可以到
定理 136 irreduzibel定理
一个不可简化的有限马尔科夫链只有1个稳定分布stationäre Verteilung, 并且满足 \(\pi_{j}=1 / h_{j j}\) für alle \(j \in S\)
定义 137 Periode周期
一个状态 \(j\) 的 Periode 是最大的数 \(\xi \in \mathbb{N}\) , 使得 \[ \left\{n \in \mathbb{N}_{0} \mid p_{j j}^{(n)}>0\right\} \subseteq\left\{i \cdot \xi \mid i \in \mathbb{N}_{0}\right\} \] 一个状态的 \(\xi = 1\) 就是非周期性aperiodisch的. 若所有状态是非周期性的aperiodisch，那么这个马尔科夫链是非周期性aperiodisch的
定理138 aperiodisch非周期性
一个状态 \(i \in S\) 是非周期性的aperiodisch, 当且仅当存在 \(n_{0} \in \mathbb{N}\) 使得对于所有 \(n \in \mathbb{N}, n \geq n_{0}\)， \(p_{i i}^{(n)}>0\) 成立
定义 140 ergodisch可遍历的
不可简化的Irreduzibel 和非周期性 aperiodisch 的马尔科夫链是可遍历的ergodisch
定理 141 Fundamentalsatz für ergodische Markov-Ketten可遍历的马尔可夫链基本定理
对于所有有限的可遍历的ergodisch的马尔科夫链 \(\left(X_{t}\right)_{t \in \mathbb{N}_{0}}\) 满足 \[ \lim _{n \rightarrow \infty} q_{n}=\pi \] 其中 \(\pi\) 是唯一的stationäre Verteilung.
wechat
alipay