描述随机方法
- $\mathrm{E}(x)$ ,期望，均值，
- $\mathrm{var}(x)$ 方差 $\mathrm{E}(x-\bar{x})^2$
- $\rho(x,y) $ 相关系数
- $\mathrm{PDF}$：概率密度函数$\mathrm{p}(x)$
- 高斯密度：$p(x)=\frac{1}{(2\pi \sigma^2 ) ^{\frac{1}{2}}} \mathrm{exp}\{-\frac{1}{2} \frac{(x-m)^2}{\sigma^2}\}$
大数定理
$\lim\limits_{n\to \infty}\mathrm{P}(|\frac{S_n}{n}-p|< \varepsilon ) = 1$
伯努利实验，重复$n$次，每次成功概率为$p$,总成功次数为$S_n$ ，$\forall \varepsilon > 0$
重要的$\mathrm{PDF}$
$\mathrm{Reyleigh}$分布
$x_1 \sim N(0,\sigma^2), x_2\sim N(0, \sigma^2)$，其中$x_1,x_2$是独立的
定义一个概率密度函数$x=\sqrt{x_1^2+x_2^2}$
这个$x$的$\mathrm{PDF}$：
$p(x)=\begin{equation} \left\{ \begin{array}{lr} \frac{x}{\sigma^2}exp(-\frac{1}{2\sigma^2}x) & x > 0 \\ 0 & x < 0 \end{array} \right\} \end{equation}$
$\mathrm{Rician}$分布
$x_1\sim N(\mu_1, \sigma^2), x_2 \sim N(\mu_2, \sigma^2)$, 其中$x_1,x_2$独立
定义一个概率密度函数$x=\sqrt{x_1^2+x_2^2}$
$\mathrm{PSF}$为：
$p(x)=\begin{equation} \left\{ \begin{array}{lr} \frac{x}{\sigma^2}exp[-\frac{1}{2\sigma^2}(x^2+\alpha^2)]I_0(\frac{\alpha x}{\sigma^2}) & x > 0 \\ 0 & x < 0 \end{array} \right\} \end{equation}$
$\alpha^2=\mu_1^2+\mu_2^2, I_0(u)= \frac{1}{\pi}\int_{0}^{\pi}\mathrm{exp}(u\mathrm{cost}\theta)d\theta=\int_{0}^{2\pi}\mathrm{exp}(u\mathrm{cos}\theta)\frac{d\theta}{2\pi}$
$\alpha^2$等于0是就是$\mathrm{Reyleigh}$的$\mathrm{PDF}$
$I_0(u)$是贝塞尔函数，是数学上一类特殊函数的总称，通常单说的贝塞尔函数值第一类贝塞尔函数
- 第一类$r$阶贝塞尔函数，简称$J$函数，记作$J_r$:
- $J_r(u)=\Sigma_{k=0}^{\infty}\frac{(-1)^k}{k!\Gamma(k+r+1)}(\frac{u}{2})^{2k+r}$
- $J_r(u)=\frac{(\frac{1}{2}u)^r}{\sqrt{\pi}\Gamma(r+\frac{1}{2})}\int_0^{\pi}\mathrm{cos}(u\mathrm{cos}\theta)\mathrm{sin}^{2r}\theta d\theta$
- 第一类修正贝塞尔函数
- $I_r(u)=i^{-r}J_r(iu)=\Sigma_{k=0}^{\infty}\frac{(\frac{1}{2}u)^r}{k!\Gamma(k+r+1)}$
- $I_r(u)=\frac{(\frac{1}{2}u)^r}{\sqrt{\pi}\Gamma(r+\frac{1}{2})}\int_0^{\pi}\mathrm{exp}(u\mathrm{cos}\theta)\mathrm{sin}^{2r}\theta d\theta$
伽马函数，也叫第二类欧拉积分，是阶乘函数在实数与复数上扩展的一类函数
- 定义
- $\Gamma(u)=\int_0^{\infty}t^{u-1}\mathrm{exp}(-t)dt$
- 性质：
- $\Gamma(u)=(u-1)\Gamma(u-1)(\mathrm{for \ any \ u})$
- $\Gamma(\frac{1}{2})=\sqrt{\pi}$
- $\Gamma(1)=1$
- $\Gamma(n)=(n-1)! $ $n$是一个整数
贝塔函数，也叫第一类欧拉积分，又称为$\mathrm{B}$函数
定义：对任意实数$u,v>0, \mathrm{B}(u,v)=\int_0^1x^{u-1}(1-x)^{v-1}dx$
性质：
- $\mathrm{B}(u,v)=\mathrm{B}(v,u)$
- $\mathrm{B}(u,v)= \frac{v-1}{u+v-1}\mathrm{B}(u.v-1)\ \ (u>0, v>1)$
- $\mathrm{B}(u,v)= \frac{v-1}{u+v-1}\mathrm{B}(u-1.v)\ \ (u>1, v>0)$
- $\mathrm{B}(u,v)= \frac{(u-1)(v-1)}{(u+v-1)(u+v-2)}\mathrm{B}(u-1.v-1)\ \ (u>1, v>1)$
对于任意的正实数$u,v,\mathrm{B}(u,v)=\frac{\Gamma(u)\Gamma(v)}{\Gamma(u+v)}$
对于任意的正整数$u,v, \mathrm{B}(u,v)=\frac{u+v}{uvC_{u+v}^u}=\frac{1}{vC_{u+v-1}^{u-1}}$
$\mathrm{Chi-Squared(Central)}$
$x_1\sim N(0, 1), x_2 \sim N(0, 1),\cdots, x_1\sim N(0,1)$
定义$x=\Sigma_{i=1}^vx_i^2$
$x$的$\mathrm{PDF}$为：
$p(x)=\begin{equation} \left\{ \begin{array}{lr} \frac{1}{2^{v/2}\Gamma(\frac{v}{2})}x^{v/2-1}exp(-\frac{1}{2}x) & x > 0 \\ 0 & x < 0 \end{array} \right\} \end{equation}$
$v$是个数
当$v=2$时，$x$的$\mathrm{PDF}$就是$\mathrm{Reyleigh}$分布的平方
$p(x)=\begin{equation} \left\{ \begin{array}{lr} \frac{1}{2}exp(-\frac{1}{2}x) & x > 0 \\ 0 & x < 0 \end{array} \right\} \end{equation}$
$\mathrm{Chi-Squared(Noncentral)}$
$x_1\sim N(\mu_1, 1), x_2 \sim N(\mu_2, 1),\cdots, x_1\sim N(\mu_i,1)$
定义$x=\Sigma_{i=1}^vx_i^2$
$x$的$\mathrm{PDF}$为：
$p(x)=\begin{equation} \left\{ \begin{array}{lr} \frac{1}{2}(\frac{x}{\lambda})^{\frac{v-2}{4}}exp[-\frac{1}{2}(x+\lambda)]I_{\frac{v}{2}-1}(\sqrt{\lambda x}) & x > 0 \\ 0 & x < 0 \end{array} \right\} \end{equation}$
表达式：$p(x)=\begin{equation} \left\{ \begin{array}{lr} \frac{x^{\frac{v}{2}-1}exp[-\frac{1}{2}(x+\lambda)]}{2^{\frac{v}{2}}} \sum\limits_{k=0}^{\infty}\frac{(\frac{\lambda x}{4})^k}{k! \Gamma(\frac{v}{2})+k} & x> 0\\ 0 & x < 0 \end{array} \right\} \end{equation}$
$v$表示相加的个数， $\lambda=\sum_{i=1}^v\mu_i^2$,$\lambda$表示均值的平方和
$\mathrm{T}$分布
$x_1\sim N(0,1), x_2 \sim \mathcal{X}_v^2$， 其中$x_1,x_2$独立
定义$x=\frac{x_1}{\sqrt{x_2/v}}$
$x$的$\mathrm{PDF}$为： $p(x)=\frac{\Gamma(\frac{v+1}{2})}{\sqrt{v\pi}\Gamma(\frac{v}{2})}(1+\frac{x^2}{v})^{-\frac{v+1}{2}}$
$v$趋于$\infty$时，就是标准的正态分布
$\mathrm{F(Central)}$分布
$x_1\sim \mathcal{X}_{v_1}^2, x_2\sim \mathcal{X}_{v_2}^2, x_1,x_2$独立
定义$x=\frac{x_1/v_1}{x_2/v_2}$
$x$的$\mathrm{PDF}$为：$p(x)=\begin{equation} \left\{ \begin{array}{lr}\frac{(\frac{v_1}{v_2})^{\frac{v_1}{2}}}{B(\frac{v_1}{2},\frac{v_2}{2})} \frac{x^{\frac{v_1}{2}-1}}{(1+\frac{v_1}{v_2}x)^{\frac{v_1+v_2}{2}}} & x> 0\\ 0 & x < 0 \end{array} \right\} \end{equation}$
表达式：$p(x)=exp(-\frac{\lambda}{2})\sum\limits_{k=0}^{\infty}\frac{(\frac{\lambda}{2})^k}{k!}\frac{(\frac{v_1}{v_2})^{\frac{v_1}{2}+k}}{B(\frac{x_1+2k}{2}, \frac{v_2}{2})}x^{\frac{v_1}{2}+k-1}(1+\frac{v_1}{v_2}x)^{-\frac{1}{2}(v_1+v_2)-k}$
中心极限定理
独立同分布之和是高斯分布，高斯分布的线性组合也是高斯分布
白噪声
每个时刻的噪声之间正交
$E[w(n+k)w(n)]=\sigma^2 \delta(k)$
独立和不相关
独立
对于连续性随机变量, $f(x,y)=f_X(x)f_Y(y)$
对于离散型的随机变量, $P(XY)=P(X)P(Y)$
独立的性质：$E(XY)=E(X)E(Y)$
相关
协方差： $cov(X,Y)=E\{(X-E(X))(Y-E(Y))\}=E(XY)-E(X)E(Y)$
相关性质： $\rho_{X,Y}=\frac{cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}\in [-1,1]$
$\rho_{X,Y}\in [-1,0)$为负相关
$\rho_{X,Y}\in (0, 1]$为正相关
$\rho_{X,Y}=0$为不相关 $E(XY)=E(X)E(Y)$
独立和相关的联系和区别
$X,Y$独立 $\Longrightarrow E(XY)=E(X)E(Y)\Longrightarrow cov(X,Y)=0 \Longrightarrow X,Y$不想管
$X,Y$不相关不能得到独立
独立性是指两个变量的发生概率一点关系没有，而相关性通常是指线性关系。如果两个变量不相关，指的是线性关系里的不相关，但是不能说它们没有关系，可能是线性以外的其他关系。
统计推断
$y(n)=A+w(n)$
根据获得的$y$中恢复$\hat A$
当只有$y[0]$时：$\hat{A}=x[0], E(\hat{A})=A,Var(\hat{A})-\sigma^2$
当有$x[0],x[1],…x[n]$时，$\hat{A}=(x[0]+x[1]+…+x[n-1])/n,E(\hat{A})=A,Var(\hat{A})=\frac{\sigma^2}{n}$
$y(n)=x(n)+w(n),x(n)=-A,+A$ 和$y(n)=h x(n)+w(n),x(n)=-A,+A,h\to 0$
从获得的$y$中恢复$\hat x(n)$。
例子：已知$y[1] = 0.1x[1]+w[1], x[1]=+10$或 $-10$,
先验信息：$p(x(n)=+A)=p(x(n)=-A)=0.5$
当$x(n)$发生的情况下$y(n)$发生的概率服从高斯分布：${y(n)|x(n)} \sim N(h x(n), \sigma^2)$， $p(y(n)|x(n))=\frac{1}{\sqrt{2 \pi \sigma^2}}e^{-\frac{(y(n)-hx(n))^2}{2\sigma^2}}$
$p(y(n)|x(n))$意味着当给定$x(n)$后，$y(n)$为某个值的概率可能性
ML(最大似然)
当先验等概时，即$p(x(n)=+10)=p(x(n)=-10)=0.5$，接收$y(n)=0.5$，此时似然函数$p(y(n)|x(n)) = \begin{equation} \left\{ \begin{array}{lr} 0.35 &, x(n)=+10 \\ 0.13 &, x(n)=-10 \end{array} \right . \end{equation}\\ $，可以判断$x(n)$等于$+10$
MAP(最大后验概率)
后验概率：$p(x|y)$表示 当接收到$y$的值以后，$x$为某个值的概率，$p(x|y)=\frac{p(x) p(y|x)}{p(y)}$
当接收$y(n)$为$0.5$，$x(n)$是$+10$的概率是$0.2$， $x(n)$是$-10$的概率是$0.8$时，$p(x(n)|y(n)) = \begin{equation} \left\{ \begin{array}{lr} 0.07 &, x(n)=+10 \\ 0.10 &, x(n)=-10 \end{array} \right . \end{equation}\\ $
$\mathrm{y = Hx + w}$
从获得的$\mathrm{y}$中恢复$\mathrm{\hat{x}}$
这里一个$y(n)$对应多个$x(n)$
从接收到的$y$中恢复$\mathrm{x}$, 对于同分布的高斯噪声可以看成$\mathrm{\hat{x}}= \mathbb{arg} \min\limits_{x}|\mathrm{y-Hx}|^2$
$\mathrm{y=Xh+w}$
从获得的$\mathrm{y}$中恢复$\mathrm{\hat{h}}$，$\mathrm{X}$处于连续分布
LS： 最小二乘法
将$h$看成一个常量
模型$\mathrm{y=Sh+w}$，高斯白噪声$\mathrm{w}\sim N(0, \mathrm{I}_w)$，$\mathrm{h}$为未知常量
$J(\mathrm{h})=\mathrm{|y-Sh|}^2, \mathrm{\hat{h}} = \min\limits_{h}J(\mathrm{h})$
$J{(\mathrm{h})}=(\mathrm{y-Sh})^H(\mathrm{y-Sh})=\mathrm{y}^H\mathrm{y}-2\mathrm{y}^H\mathrm{Sh}+\mathrm{h}^H\mathrm{S}^H\mathrm{Sh}$
$\frac{\partial J(\mathrm{h})}{\partial \mathrm{h}}=-2\mathrm{S}^H\mathrm{y}+2\mathrm{S}^H\mathrm{Sh}$
$\mathrm{\hat{h}}=(\mathrm{S}^H\mathrm{S})^{-1}\mathrm{S}^H\mathrm{y}=\mathrm{S}^{\dagger}\mathrm{y}$
LMMSE：
将$h$看成一个随机变量
估计单个$h$
已知$w\sim N(0, \sigma_1^2), h\sim N(0, \sigma_2^2), s[1]$， 估计$h$
令估计量$\hat{h}=ay[1]$
$a= \mathbb{arg} \min\limits_{a} E\{ ||h - \hat{h}||^2\} = \mathbb{arg} \min\limits_{a}E\{ ||h - ay[1] ||^2 \}$
$M = E\{ || h - \hat{h} ||^2 \} = E\{ ||h - ay[1]||^2 \} = E(h^2)-2E(ay[1]h) + E[(ay[1])^2]$
$\frac{\partial M}{\partial a} = 0 \to \frac{\partial M}{\partial a}= 0 - 2E(y[1]h)+2aE(y^2[1])=0 \to a= \frac{E(y[1]h)}{E(y^2[1])}$
$\hat{h}=ay = \frac{E(y[1]h)}{E(y^2[1])} y[1]$
$——————————————————————————$
模型$\mathrm{y=Sh+w}$，其中$\mathrm{w} \sim N(0, \mathrm{I_w})$为高斯白噪声， 参数$h$为未知变量
令$\mathrm{\hat{h}} = \mathrm{Ay}$，已知$h$的先验信息， $\mathrm{h}\sim N(0, \mathrm{R_h})$
$A = \mathbb{arg} \min\limits_{A}E\{||\mathrm{h - \hat{h}}||\}=\mathbb{arg} \min\limits_{A}E\{||\mathrm{h} - \mathrm{Ay}||^2\}$
$M = E\{||\mathrm{h-Ay} ||^2\} = E\{tr[(\mathrm{h}-\mathrm{A}(\mathrm{Sh}+\mathrm{w}))(\mathrm{h}-\mathrm{A}(\mathrm{Sh}+\mathrm{w}))^H]\}$
$=tr\{\mathrm{R_h}\}-tr\{\mathrm{R_hS}^H\mathrm{A}^H\}-tr\{ \mathrm{ASR_h}\} + tr\{ \mathrm{A}(\mathrm{SR_h}\mathrm{S}^H + \sigma^2_w \mathrm{I}) \mathrm{A}^H\}$
$\frac{\partial M}{\partial \mathrm{A}} = 2(\mathrm{SR_hS}^H+\sigma_w^2\mathrm{I})\mathrm{A} - 2\mathrm{R_h}^H\mathrm{S}^H $
$\mathrm{A} = \mathrm{R_h}^H\mathrm{S}^H(\mathrm{SR_hS}^H+\sigma_w^2\mathrm{I})^{-1}$
$\mathrm{\hat{h}} = \mathrm{R_hS}^H(\mathrm{SR_hS}^H + \sigma_w^2\mathrm{I})^{-1}\mathrm{y}$
$y(n)=h x(n)+w(n),x(n)=-A,+A$
从获得的$y$中恢复$\hat{h}$
