期望、方差、协方差和协方差矩阵

一、期望

1.离散随机变量的X的数学期望：

E(X)=∑k=1∞xkpk$$E(X)=\sum _{k=1}^{\mathrm{\infty }}{x}_k{p}_k$$

2.连续型随机变量X的数学期望：

E(X)=∫+∞−∞xf(x)dx$$E(X)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}xf(x)dx$$

3.常见分布的期望

1）泊松分布的期望等于λ$\lambda$；
2）均匀分布的期望位于区间的中心；
3） 高斯分布的期望为μ$\mu$
4）二项分布的期望为np$np$

4.期望的性质

常数的期望等于该常数；
E(CX)=CE(X)$E(CX)=CE(X)$;
E(X+Y)=E(X)+E(Y)$E(X+Y)=E(X)+E(Y)$;
X,Y$X,Y$独立时，E(XY)=E(X)E(Y)$E(XY)=E(X)E(Y)$

---

---

二、 方差

研究随机变量与其均值的偏离程度，记为：

D(X)=E[X−E(X)]2$$D(X)=E[X-E(X){]}^2$$

1.均方差，标准差

σ(X)=E[X−E(X)]2−−−−−−−−−−−√$$\sigma (X)=\sqrt{E[X-E(X){]}^2}$$

2.方差的计算

把E[X−E(X)]2$E[X-E(X){]}^2$看做函数g(X)$g(X)$, 方差相当于求g(X)$g(X)$的期望。
对于离散的：

D(X)=∑k=1∞[xk−E(X)]2pk$$D(X)=\sum _{k=1}^{\mathrm{\infty }}[x_k-E(X){]}^2{p}_k$$

对于连续的：

D(X)=∫+∞−∞[xk−E(X)]2f(x)dx$$D(X)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}[x_k-E(X){]}^{2}f(x)dx$$

实际中常用下面公式计算：

D(X)=E(X2)+[E(X)]2$$D(X)=E(X^2)+[E(X){]}^2$$

3.常见分布的方差

1）高斯分布的方差σ2${\sigma }^2$
2) 0-1分布的方差为D(X)=p(1−p)$D(X)=p(1-p)$
3) 泊松分布的方差为λ$\lambda$
4) 均匀分布的方差为(b−a)212$\frac{(b-a{)}^2}{12}$
5)指数分布f(x)=1θe−x/θ$f(x)=\frac{1}{\theta }{e}^{-x/\theta }$的方差为 θ2${\theta }^2$

4. 性质

---

---

三、协方差

描述两个变量的相关性

Cov=E[X−E(X)][Y−E(Y)]$$Cov=E[X-E(X)][Y-E(Y)]$$

相关系数

ρXY=Cov(X,Y)D(X)−−−−−√D(Y)−−−−−√$${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$

ρXY=0${\rho }_{XY}=0$, 两个变量不相关

---

---

四、协方差矩阵

推广到多维：

对于连续的情况：

例子：
可以参考下面的博客：
详解协方差与协方差矩阵：https://blog.csdn.net/ybdesire/article/details/6270328

---

参考： 概率论与数理统计 浙大