概统复习整理

古典概率

$A-B=\{x:x\in A~ \&~ x\notin B\}$ $A\cap B=\rm\not O$ $\bar A=B$ $\Pr(A\cap B)=\Pr(A)\Pr(B)$

$\Pr(A|B)={\Pr(B|A)\Pr(A)\over\Pr(B)}$ $\Pr(A|B)\Pr(B)=\Pr(B|A)\Pr(A)=\Pr(AB)$

一维随机分布

基本离散分布

	说明	概率	期望	方差
伯努利分布	0-1分布	Pr(0)=1-p,Pr(1)=p	p	p(1-p)
二项分布 B(n,p)	n个0-1分布	$\Pr(k)={\rm C}_n^kp^k(1-p)^{n-k}$	np	np(1-p)
几何分布	伯努利实验几次成功	Pr(k)=(1-p)^k-1p	p^-1	p^-2(1-p)
泊松分布 P(λ)^♤	连续化的二项分布	Pr(k)=λ^ke^-λ/k!	λ	λ

说明： ♤ 当n很大p很小时，二项分布能够有泊松分布近似。 X~P(λ), Y~P(μ), X+Y~P(λ+μ)

分布函数(CDF)：F(x)=Pr(X≤x) 性质：单调、右连续 随机变量X有分布函数F(x)，则导出的随机变量F(X)~U(0,1) 概率密度函数(PDF)：f(x)=F'(x)

基本连续分布

	说明	CDF	PDF	期望	方差
均匀分布 U[a,b]	a,b为两个边界	(x-a)/(b-a)	(b-a)^-1	(a+b)/2	(b-a)/12
指数分布	泊松事件时间差, λ概率时间比	1-e^-λt	λe^-λt	λ^-1	λ^-2
高斯分布 N[μ,σ]		${1\over 2}\left( 1+{\rm erf} \left( {x-\mu\over\sigma\sqrt 2} \right) \right)$	${1\over\sigma\sqrt{2\pi}}{\rm exp}\left( -{(x-\mu)^2\over 2\sigma^2} \right)$	μ	σ²

多维随机分布

$F_{X,Y}(x,y)=\Pr(X\le x~\cap~Y\le y)$ $\Pr(\underline x<X\le \overline x~\cap~\underline y<Y\le \overline y)=F(\overline x,\overline y)+F(\underline x,\underline y)-F(\underline x,\overline y)-F(\overline x,\underline y)$ 。概率密度函数(PDF)：f(x,y)=F_xy(x,y)

边缘分布：多维随机分布中单个变量的分布有关系：

F_{X} (x) = F_{X, Y} (x, + \infty), f_{X} (x) = \int_{- \infty}^{\infty} f_{X, Y} (x, y) d y

条件分布：【离散】当 Y=y 时X的分布（就是条件概率）【连续】当 y-dy<Y<y+dy 时X的分布有关系：

f_{Y | X} (y | x_{0}) = \frac{f_{X, Y} (x_{0}, y)}{f_{X} (x_{0})}

$F_{X|Y}(x|y)=F_X(x),~~f_{X|Y}(x|y)=f_X(x),~~f_{X,Y}(x,y)=f_X(x)f_Y(y)$ 注意x,y的取值范围。

随机变量的变换：

\begin{matrix} f_{X + Y} (z) = \int_{R} f (z - y, y) d y, f_{\frac{Y}{X}} (z) = \int_{R} | x | f (x, x z) d x, f_{X Y} (z) = \int_{R} f (x, \frac{z}{x}) d x \\ x \sim N (μ_{1}, σ_{1}^{2}), y \sim N (μ_{2}, σ_{2}^{2}) \Rightarrow x + y \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2}) \end{matrix}

数字特征

$\newcommand{\E}{{\rm E}}\newcommand{\D}{{\rm D}}\E(Cx+y)=C\E x+\E y$ $\E(xy)=\E x~ \E y$

$\D x =\E\left((x-\E x)^2\right)$ $\D x=\E(x^2)-(\E x)^2$ $\D(x+C)=\D x,~~~\D(Cx)=C^2\D x~~~$ $\D(x+y)=\D x+\D y$ $\D f(x)\approx \D(f(\E x)+f'(\E x)(x-\E x))=[f'(\E x)]^2\D x$

$x^*={x-\E x\over \sqrt{\D x}},~~\E x^*=0,~~\D x^*=1$

$\Pr(|x-\E x|\ge\epsilon)\le\D x/\epsilon^2$

$\newcommand{\Cov}{{\rm Cov}}\Cov(x,y)=\E[(x-\E x)(y-\E y)]$ $\Cov(x,y)=\E(xy)-\E x~\E y$ $\Cov(x,y)=\Cov(y,x),~~\Cov(x,x)=\D x,~~\Cov(ax,by)=ab\Cov(x,y)$ $\Cov(x+a,y)=\Cov(x,y),~~\Cov(x+y,z)=\Cov(x,z)+\Cov(y,z)$ $\Cov(x,y)=0$ $\D(x\pm y)=\D x+\D y\pm 2\Cov(x,y)$

$\D f(x,y)=[f_x(\E x,\E y)]^2\D x+[f_y(\E x,\E y)]^2\D y$

$\rho_{x,y}={\Cov(x,y)\over \sqrt{\D x~\D y}}$ $\rho_{x,y}=\pm 1$ 只反映两个变量的线性关系

$\E(x^k)$ $\E[(x-\E x)^k]$ $\E(x^ky^m)$ $\E[(x-\E x)^k(y-\E y)^m]$

$\vec x=(x_1,...,x_n)^T~~~\Cov \vec x=\{\Cov(x_i,x_j)\}_{n\times n}$ $\Cov\vec x=\E[(\vec x-\E\vec x)(\vec x-\E\vec x)^T]$ $\E(A\vec x)=A~\E \vec x,~~~\E(\vec xB)=\E\vec x~B$ $\D(\vec a^T\vec x)=\vec a^T\Cov\vec x~\vec a$ $\Cov\vec x=E,~\vec y=L\vec x,~\Cov\vec y=C~\Rarr~LL^T=C$

大数定律与中心极限定理

$n$ $x_i$ $\E x_i=\mu,~\D x_i=\sigma^2$ $\bar x={1\over n}\sum x_i$ $\epsilon>0$ 有：

lim_{n \to + \infty} Pr (| \bar{x} - μ | < ϵ) = 1

$n$ $x_i$ $\E x_i=\mu,~\D x_i=\sigma^2$ $\bar x={1\over n}\sum x_i$ $n$ 有：

\bar{x} \dot{\sim} N (μ, \frac{σ}{\sqrt{n}}), i . e . \frac{\sum x_{i} - n μ}{\sqrt{n} σ} \dot{\sim} N (0, 1)

抽样分布

统计量：基于样本，不含任何未知参数的函数

$\bar X={\sum X_i\over n}$ $S^2={\sum(X_i-\bar X)\over \textcolor{green}{ n-1}}$

$x_1,x_2,...\sim N(0,1)~\Rarr~\chi^2=x_1^2+x_2^2+...+x_n^2\sim\chi^2(n)$ $\E\chi^2=n,~\D\chi^2=2n$ $x\sim N(0,1),y\sim\chi^2(n),~T={x\over\sqrt{y/n}}\sim t(n)$ $\E T=0~~(n>1),~\D T={n\over n-2}~~(n>2)$ $x\sim\chi^2(m),y\sim\chi^2(n)~\Rarr~F={x/m\over y/n}\sim F(m,n)$ $\E F={m\over m-2}~~(m>2)$

${(n-1)S^2\over\sigma^2}\sim\chi^2(n-1),~{\bar X-\mu\over S/\sqrt n}\sim t(n-1),~{S_1^2/S_2^2\over \sigma_1^2/\sigma_2^2}\sim F(n-1,m-1)$

参数估计

$L(\theta)\dot \propto{1\over \sqrt{2n}\sigma}{\rm e}^{-{1\over 2}\left({\theta-\hat \theta\over \sigma}\right)^2}~~\Rarr~~\ln L(\theta)\dot =\ln L(\hat \theta)-{(\theta-\hat \theta)^2\over 2\sigma^2}$

$\ln L(\hat\theta)-0.5$ $\theta=\hat\theta\pm\sigma$ $\ln L(\hat \theta)-2.0$ $\theta=\hat\theta\pm2\sigma$ $\ln L(\hat \theta)-4,5$ $\theta=\hat\theta\pm3\sigma$ 对应 99.7%

$X\sim N(\mu,\sigma^2),\sigma$ $\mu:~~{\bar X-\mu\over \sigma/\sqrt n}\sim N(0,1)$ $X\sim N(\mu,\sigma^2),\sigma$ $\mu:~~{\bar X-\mu\over S/\sqrt n}\sim t(n-1)$ $X\sim N(\mu,\sigma^2),\mu$ $\sigma:~~{\sum (X_i-\mu)^2\over \sigma^2}\sim\chi^2(n)$ $X\sim N(\mu,\sigma^2),\mu$ $\sigma:~~{(n-1)S^2\over \sigma^2}\sim\chi^2(n-1)$ $X\sim N(\mu_1,\sigma_1),~Y\sim N(\mu_2,\sigma_2),~\sigma_1,\sigma_2$ $\mu_1-\mu_2:~~{\bar X-\bar Y-(\mu_1-\mu_2)\over \sqrt{\sigma_1^2/n+\sigma_2^2/m}}\sim N(0,1)$ $X\sim N(\mu_1,\sigma_1),~Y\sim N(\mu_2,\sigma_2),~\sigma_1=\sigma_2$ $\mu_1-\mu_2:~~{\bar X-\bar Y-(\mu_1-\mu_2)\over S_w \sqrt{1/n+1/m}}\sim t(m+n-2)$ $S_w^2={(n-1)S^2_1+(m-1)S^2_2\over n+m-2}$ $X\sim N(\mu_1,\sigma_1),~Y\sim N(\mu_2,\sigma_2),~\mu_1,\mu_2$ ${\sigma_1\over \sigma_2}:~~{S_1^2/S_2^2\over \sigma_1^2/\sigma_2^2}\sim F(n-1,m-1)$

假设检验

$\Pr(\overline{H_0}|H_0)=1-{\rm CL}=\alpha$ $\Pr(H_0|\overline{H_0})=\beta$ $H_1$ $\Pr(\overline{H_0}|H_1)$ $\overline{H_0}$ $1-\beta$

${L(X|H_0)\over L(X|H_1)}<k$

$\chi^2=\sum_{i=1}^{n}{(O_i-E_i)^2\over E_i}\sim \chi^2(n-1)$ $\chi$ 过大时的情况

$s$ $\chi^2=\sum_{i=1}^{n}{(O_i-E_i)^2\over E_i}\sim \chi^2(n-1-s)$