贝叶斯定理：$Pr(A|B)=\frac{Pr(B|A)Pr(A)}{Pr(B)}$$\Pr(A|B)={\Pr(B|A)\Pr(A)\over\Pr(B)}$ 有关系：$Pr(A|B)Pr(B)=Pr(B|A)Pr(A)=Pr(AB)$$\Pr(A|B)\Pr(B)=\Pr(B|A)\Pr(A)=\Pr(AB)$

说明： ♤ 当n很大p很小时，二项分布能够有泊松分布近似。 X~P(λ), Y~P(μ), X+Y~P(λ+μ)

分布函数(CDF)：F(x)=Pr(X≤x) 性质：单调、右连续 随机变量X有分布函数F(x)，则导出的随机变量F(X)~U(0,1) 概率密度函数(PDF)：f(x)=F'(x)

分布函数(CDF)：$F_{X,Y}(x,y)=Pr(X\le x\cap Y\le y)$$F_{X,Y}(x,y)=\Pr(X\le x~\cap~Y\le y)$ 有关系：$Pr(\underset{―}{x}<X\le \bar{x}\cap \underset{―}{y}<Y\le \bar{y})=F(\bar{x},\bar{y})+F(\underset{―}{x},\underset{―}{y})-F(\underset{―}{x},\bar{y})-F(\bar{x},\underset{―}{y})$$\Pr(\underline x<X\le \overline x~\cap~\underline y<Y\le \overline y)=F(\overline x,\overline y)+F(\underline x,\underline y)-F(\underline x,\overline y)-F(\overline x,\underline y)$。 概率密度函数(PDF)：f(x,y)=F_xy(x,y)

边缘分布：多维随机分布中单个变量的分布 有关系：

条件分布：【离散】 当 Y=y 时X的分布（就是条件概率） 【连续】 当 y-dy<Y<y+dy 时X的分布 有关系：

变量的独立性：$F_{X|Y}(x|y)=F_X(x),f_{X|Y}(x|y)=f_X(x),f_{X,Y}(x,y)=f_X(x)f_Y(y)$$F_{X|Y}(x|y)=F_X(x),~~f_{X|Y}(x|y)=f_X(x),~~f_{X,Y}(x,y)=f_X(x)f_Y(y)$ 注意x,y的取值范围。

随机变量的变换：

期望：$\mathrm{E}(Cx+y)=C\mathrm{E}x+\mathrm{E}y$$\newcommand{\E}{{\rm E}}\newcommand{\D}{{\rm D}}\E(Cx+y)=C\E x+\E y$ x,y 独立时：$\mathrm{E}(xy)=\mathrm{E}x\mathrm{E}y$$\E(xy)=\E x~ \E y$

方差：$\mathrm{D}x=\mathrm{E}((x-\mathrm{E}x{)}^2)$$\D x =\E\left((x-\E x)^2\right)$ 有关系：$\mathrm{D}x=\mathrm{E}(x^2)-(\mathrm{E}x{)}^2$$\D x=\E(x^2)-(\E x)^2$ $\mathrm{D}(x+C)=\mathrm{D}x,\mathrm{D}(Cx)=C^2\mathrm{D}x$$\D(x+C)=\D x,~~~\D(Cx)=C^2\D x~~~$ 当x,y相互独立时 $\mathrm{D}(x+y)=\mathrm{D}x+\mathrm{D}y$$\D(x+y)=\D x+\D y$ 误差（方差）传递：$\mathrm{D}f(x)\approx \mathrm{D}(f(\mathrm{E}x)+f^{\prime }(\mathrm{E}x)(x-\mathrm{E}x))=[f^{\prime }(\mathrm{E}x){]}^2\mathrm{D}x$$\D f(x)\approx \D(f(\E x)+f'(\E x)(x-\E x))=[f'(\E x)]^2\D x$

标准化变量 $x^{\ast }=\frac{x-\mathrm{E}x}{\sqrt{\mathrm{D}x}},\mathrm{E}{x}^{\ast }=0,\mathrm{D}{x}^{\ast }=1$$x^*={x-\E x\over \sqrt{\D x}},~~\E x^*=0,~~\D x^*=1$

切比雪夫不等式：$Pr(|x-\mathrm{E}x|\ge ϵ)\le \mathrm{D}x/{ϵ}^2$$\Pr(|x-\E x|\ge\epsilon)\le\D x/\epsilon^2$

协方差：$\mathrm{C}\mathrm{o}\mathrm{v}(x,y)=\mathrm{E}[(x-\mathrm{E}x)(y-\mathrm{E}y)]$$\newcommand{\Cov}{{\rm Cov}}\Cov(x,y)=\E[(x-\E x)(y-\E y)]$ 有关系：$\mathrm{C}\mathrm{o}\mathrm{v}(x,y)=\mathrm{E}(xy)-\mathrm{E}x\mathrm{E}y$$\Cov(x,y)=\E(xy)-\E x~\E y$ $\mathrm{C}\mathrm{o}\mathrm{v}(x,y)=\mathrm{C}\mathrm{o}\mathrm{v}(y,x),\mathrm{C}\mathrm{o}\mathrm{v}(x,x)=\mathrm{D}x,\mathrm{C}\mathrm{o}\mathrm{v}(ax,by)=ab\mathrm{C}\mathrm{o}\mathrm{v}(x,y)$$\Cov(x,y)=\Cov(y,x),~~\Cov(x,x)=\D x,~~\Cov(ax,by)=ab\Cov(x,y)$ $\mathrm{C}\mathrm{o}\mathrm{v}(x+a,y)=\mathrm{C}\mathrm{o}\mathrm{v}(x,y),\mathrm{C}\mathrm{o}\mathrm{v}(x+y,z)=\mathrm{C}\mathrm{o}\mathrm{v}(x,z)+\mathrm{C}\mathrm{o}\mathrm{v}(y,z)$$\Cov(x+a,y)=\Cov(x,y),~~\Cov(x+y,z)=\Cov(x,z)+\Cov(y,z)$ 当x,y相互独立时 $\mathrm{C}\mathrm{o}\mathrm{v}(x,y)=0$$\Cov(x,y)=0$ $\mathrm{D}(x\pm y)=\mathrm{D}x+\mathrm{D}y\pm 2\mathrm{C}\mathrm{o}\mathrm{v}(x,y)$$\D(x\pm y)=\D x+\D y\pm 2\Cov(x,y)$

独立多变量误差（方差）传递：$\mathrm{D}f(x,y)=[f_x(\mathrm{E}x,\mathrm{E}y){]}^2\mathrm{D}x+[f_y(\mathrm{E}x,\mathrm{E}y){]}^2\mathrm{D}y$$\D f(x,y)=[f_x(\E x,\E y)]^2\D x+[f_y(\E x,\E y)]^2\D y$

相关系数：${\rho }_{x,y}=\frac{\mathrm{C}\mathrm{o}\mathrm{v}(x,y)}{\sqrt{\mathrm{D}x\mathrm{D}y}}$$\rho_{x,y}={\Cov(x,y)\over \sqrt{\D x~\D y}}$ 当(x,y)分布再一条线上时 ${\rho }_{x,y}=\pm 1$$\rho_{x,y}=\pm 1$ 只反映两个变量的线性关系

矩：单变量：k阶原点矩 $\mathrm{E}(x^k)$$\E(x^k)$ k阶中心矩 $\mathrm{E}[(x-\mathrm{E}x{)}^k]$$\E[(x-\E x)^k]$ 双变量：k+m阶混合矩 $\mathrm{E}(x^k{y}^m)$$\E(x^ky^m)$ k+m阶混合中心矩 $\mathrm{E}[(x-\mathrm{E}x{)}^k(y-\mathrm{E}y{)}^m]$$\E[(x-\E x)^k(y-\E y)^m]$

协方差矩阵：对随机变量 $\overrightarrow{x}=(x_1,...,x_n{)}^T\mathrm{C}\mathrm{o}\mathrm{v}\overrightarrow{x}=\{\mathrm{C}\mathrm{o}\mathrm{v}(x_i,x_j){\}}_{n\times n}$$\vec x=(x_1,...,x_n)^T~~~\Cov \vec x=\{\Cov(x_i,x_j)\}_{n\times n}$ 有关系：$\mathrm{C}\mathrm{o}\mathrm{v}\overrightarrow{x}=\mathrm{E}[(\overrightarrow{x}-\mathrm{E}\overrightarrow{x})(\overrightarrow{x}-\mathrm{E}\overrightarrow{x}{)}^T]$$\Cov\vec x=\E[(\vec x-\E\vec x)(\vec x-\E\vec x)^T]$ $\mathrm{E}(A\overrightarrow{x})=A\mathrm{E}\overrightarrow{x},\mathrm{E}(\overrightarrow{x}B)=\mathrm{E}\overrightarrow{x}B$$\E(A\vec x)=A~\E \vec x,~~~\E(\vec xB)=\E\vec x~B$ $\mathrm{D}({\overrightarrow{a}}^T\overrightarrow{x})={\overrightarrow{a}}^T\mathrm{C}\mathrm{o}\mathrm{v}\overrightarrow{x}\overrightarrow{a}$$\D(\vec a^T\vec x)=\vec a^T\Cov\vec x~\vec a$ 利用独立变量构造相关变量：$\mathrm{C}\mathrm{o}\mathrm{v}\overrightarrow{x}=E,\overrightarrow{y}=L\overrightarrow{x},\mathrm{C}\mathrm{o}\mathrm{v}\overrightarrow{y}=C\Rightarrow L{L}^T=C$$\Cov\vec x=E,~\vec y=L\vec x,~\Cov\vec y=C~\Rarr~LL^T=C$

弱大数定律：$n$$n$ 个独立同分布随机变量 $x_i$$x_i$ 满足 $\mathrm{E}{x}_i=\mu ,\mathrm{D}{x}_i={\sigma }^2$$\E x_i=\mu,~\D x_i=\sigma^2$，记它们的平均为 $\overline{x}=\frac{1}{n}\sum x_i$$\bar x={1\over n}\sum x_i$，则对任意的 $ϵ>0$$\epsilon>0$ 有：$\underset{n\to +\mathrm{\infty }}{lim}Pr(|\overline{x}-\mu |<ϵ)=1$$\lim_{n\to+\infty}\Pr(|\bar x-\mu|<\epsilon)=1$ 中心极限定理：$n$$n$ 个独立同分布随机变量 $x_i$$x_i$ 满足 $\mathrm{E}{x}_i=\mu ,\mathrm{D}{x}_i={\sigma }^2$$\E x_i=\mu,~\D x_i=\sigma^2$，记它们的平均为 $\overline{x}=\frac{1}{n}\sum x_i$$\bar x={1\over n}\sum x_i$，则对充分大的 $n$$n$ 有：$\overline{x}\dot{\sim }N(\mu ,\frac{\sigma }{\sqrt{n}}),\mathrm{i}.\mathrm{e}.\frac{\sum x_i-n\mu }{\sqrt{n}\sigma }\dot{\sim }N(0,1)$$\bar x \dot \sim N\left(\mu,{\sigma\over \sqrt n}\right),~~{\rm i.e.}~~~{\sum x_i-n\mu\over\sqrt n \sigma}\dot\sim N(0,1)$

统计量：基于样本，不含任何未知参数的函数

样本均值：$\overline{X}=\frac{\sum X_i}{n}$$\bar X={\sum X_i\over n}$ 样本方差：$S^2=\frac{\sum (X_i-\overline{X})}{n-1}$$S^2={\sum(X_i-\bar X)\over \textcolor{green}{ n-1}}$

卡方分布：$x_1,x_2,...\sim N(0,1)\Rightarrow {\chi }^2=x_1^2+x_2^2+...+x_n^2\sim {\chi }^2(n)$$x_1,x_2,...\sim N(0,1)~\Rarr~\chi^2=x_1^2+x_2^2+...+x_n^2\sim\chi^2(n)$ $\mathrm{E}{\chi }^2=n,\mathrm{D}{\chi }^2=2n$$\E\chi^2=n,~\D\chi^2=2n$ t分布：$x\sim N(0,1),y\sim {\chi }^2(n),T=\frac{x}{\sqrt{y/n}}\sim t(n)$$x\sim N(0,1),y\sim\chi^2(n),~T={x\over\sqrt{y/n}}\sim t(n)$ $\mathrm{E}T=0(n>1),\mathrm{D}T=\frac{n}{n-2}(n>2)$$\E T=0~~(n>1),~\D T={n\over n-2}~~(n>2)$ F分布：$x\sim {\chi }^2(m),y\sim {\chi }^2(n)\Rightarrow F=\frac{x/m}{y/n}\sim F(m,n)$$x\sim\chi^2(m),y\sim\chi^2(n)~\Rarr~F={x/m\over y/n}\sim F(m,n)$ $\mathrm{E}F=\frac{m}{m-2}(m>2)$$\E F={m\over m-2}~~(m>2)$

若样本正态分布，则$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1),\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1),\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}\sim F(n-1,m-1)$${(n-1)S^2\over\sigma^2}\sim\chi^2(n-1),~{\bar X-\mu\over S/\sqrt n}\sim t(n-1),~{S_1^2/S_2^2\over \sigma_1^2/\sigma_2^2}\sim F(n-1,m-1)$

大量样本：$L(\theta )\dot{\propto }\frac{1}{\sqrt{2n}\sigma }{\mathrm{e}}^{-\frac{1}{2}{\left(\frac{\theta -\hat{\theta }}{\sigma }\right)}^2}\Rightarrow \ln L(\theta )\dot{=}\ln L(\hat{\theta })-\frac{(\theta -\hat{\theta }{)}^2}{2{\sigma }^2}$$L(\theta)\dot \propto{1\over \sqrt{2n}\sigma}{\rm e}^{-{1\over 2}\left({\theta-\hat \theta\over \sigma}\right)^2}~~\Rarr~~\ln L(\theta)\dot =\ln L(\hat \theta)-{(\theta-\hat \theta)^2\over 2\sigma^2}$

正态总体区间估计：$\ln L(\hat{\theta })-0.5$$\ln L(\hat\theta)-0.5$ 对应 $\theta =\hat{\theta }\pm \sigma$$\theta=\hat\theta\pm\sigma$ 对应 68.3% $\ln L(\hat{\theta })-2.0$$\ln L(\hat \theta)-2.0$ 对应 $\theta =\hat{\theta }\pm 2\sigma$$\theta=\hat\theta\pm2\sigma$ 对应 95.4% $\ln L(\hat{\theta })-4,5$$\ln L(\hat \theta)-4,5$ 对应 $\theta =\hat{\theta }\pm 3\sigma$$\theta=\hat\theta\pm3\sigma$ 对应 99.7%

$X\sim N(\mu ,{\sigma }^2),\sigma$$X\sim N(\mu,\sigma^2),\sigma$ 已知，估计 $\mu :\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$$\mu:~~{\bar X-\mu\over \sigma/\sqrt n}\sim N(0,1)$ $X\sim N(\mu ,{\sigma }^2),\sigma$$X\sim N(\mu,\sigma^2),\sigma$ 未知，估计 $\mu :\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$$\mu:~~{\bar X-\mu\over S/\sqrt n}\sim t(n-1)$ $X\sim N(\mu ,{\sigma }^2),\mu$$X\sim N(\mu,\sigma^2),\mu$ 已知，估计 $\sigma :\frac{\sum (X_i-\mu {)}^2}{{\sigma }^2}\sim {\chi }^2(n)$$\sigma:~~{\sum (X_i-\mu)^2\over \sigma^2}\sim\chi^2(n)$ $X\sim N(\mu ,{\sigma }^2),\mu$$X\sim N(\mu,\sigma^2),\mu$ 未知，估计 $\sigma :\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$$\sigma:~~{(n-1)S^2\over \sigma^2}\sim\chi^2(n-1)$ $X\sim N({\mu }_1,{\sigma }_1),Y\sim N({\mu }_2,{\sigma }_2),{\sigma }_1,{\sigma }_2$$X\sim N(\mu_1,\sigma_1),~Y\sim N(\mu_2,\sigma_2),~\sigma_1,\sigma_2$ 已知，估计 ${\mu }_1-{\mu }_2:\frac{\overline{X}-\overline{Y}-({\mu }_1-{\mu }_2)}{\sqrt{{\sigma }_1^2/n+{\sigma }_2^2/m}}\sim N(0,1)$$\mu_1-\mu_2:~~{\bar X-\bar Y-(\mu_1-\mu_2)\over \sqrt{\sigma_1^2/n+\sigma_2^2/m}}\sim N(0,1)$ $X\sim N({\mu }_1,{\sigma }_1),Y\sim N({\mu }_2,{\sigma }_2),{\sigma }_1={\sigma }_2$$X\sim N(\mu_1,\sigma_1),~Y\sim N(\mu_2,\sigma_2),~\sigma_1=\sigma_2$ 未知，估计 ${\mu }_1-{\mu }_2:\frac{\overline{X}-\overline{Y}-({\mu }_1-{\mu }_2)}{S_w\sqrt{1/n+1/m}}\sim t(m+n-2)$$\mu_1-\mu_2:~~{\bar X-\bar Y-(\mu_1-\mu_2)\over S_w \sqrt{1/n+1/m}}\sim t(m+n-2)$ 其中 $S_w^2=\frac{(n-1)S_1^2+(m-1)S_2^2}{n+m-2}$$S_w^2={(n-1)S^2_1+(m-1)S^2_2\over n+m-2}$ $X\sim N({\mu }_1,{\sigma }_1),Y\sim N({\mu }_2,{\sigma }_2),{\mu }_1,{\mu }_2$$X\sim N(\mu_1,\sigma_1),~Y\sim N(\mu_2,\sigma_2),~\mu_1,\mu_2$ 未知，估计 $\frac{{\sigma }_1}{{\sigma }_2}:\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}\sim F(n-1,m-1)$${\sigma_1\over \sigma_2}:~~{S_1^2/S_2^2\over \sigma_1^2/\sigma_2^2}\sim F(n-1,m-1)$

第一类错误：在原假设正确的条件下排除原假设 $Pr(\overline{H_0}|H_0)=1-\mathrm{C}\mathrm{L}=\alpha$$\Pr(\overline{H_0}|H_0)=1-{\rm CL}=\alpha$ 第二类错误：在原假设错误的条件下保留原假设 $Pr(H_0|\overline{H_0})=\beta$$\Pr(H_0|\overline{H_0})=\beta$ 定义：假设 $H_1$$H_1$ 的测试功效 $Pr(\overline{H_0}|H_1)$$\Pr(\overline{H_0}|H_1)$，显然假设 $\overline{H_0}$$\overline{H_0}$ 的测试功效 $1-\beta$$1-\beta$

最佳拒绝域的形式：$\frac{L(X|H_0)}{L(X|H_1)}<k$${L(X|H_0)\over L(X|H_1)}<k$

皮尔逊卡方拟合优度检验：${\chi }^2=\sum _{i=1}^n\frac{(O_i-E_i{)}^2}{E_i}\sim {\chi }^2(n-1)$$\chi^2=\sum_{i=1}^{n}{(O_i-E_i)^2\over E_i}\sim \chi^2(n-1)$ 拒绝 $\chi$$\chi$ 过大时的情况

若利用最大似然估计得到假设分布的 $s$$s$ 个参数，则 ${\chi }^2=\sum _{i=1}^n\frac{(O_i-E_i{)}^2}{E_i}\sim {\chi }^2(n-1-s)$$\chi^2=\sum_{i=1}^{n}{(O_i-E_i)^2\over E_i}\sim \chi^2(n-1-s)$