机器学习的数学基础(一)—— 期望、方差、协方差与相关系数
2016-03-29 12:17
344 查看
0. 期望与方差
期望:E[aX+bY]=aE[X]+bE[Y]
方差:
D(aX+bY)=D(aX)+D(bY)+2cov(aX,bY)=a2D(X)+b2D(Y)+2abcov(X,Y)
D(aX+b)=a2D(X)
1. 协方差的定义及性质
期望值分别为 E[X] 和 E[Y] 的两个实随机变量之间的协方差 cov(X,Y) 定义为:cov(X,Y)==E[(X−E[X])(Y−E[Y])]E[XY]−E[X]E[Y]
也即,协方差表达的是两个随机变量总体误差的期望;
基本性质:
(1)如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值时另外一个也大于自身的期望值,那么两个变量之间的协方差就是正值;如果两个变量的变化趋势相反,即其中一个变量大于自身的期望值时另外一个却小于自身的期望值,那么两个变量之间的协方差就是负值。
(2)如果X与Y是统计独立的,那么二者之间的协方差就是0,因为两个独立的随机变量满足E[XY]=E[X]E[Y]。但是,反过来并不成立。即如果X与Y的协方差为0,二者并不一定是统计独立的。协方差为0的两个随机变量称为是不相关的。
独立一定不相关,不相关不一定独立;
cov(X,Y)=cov(Y,X)cov(aX,bY)=ab⋅cov(X,Y)cov(X1+X2,Y)=cov(X1,Y)+cov(X2,Y)
2. 协方差与方差的关系
D(X+Y)=D(X)+D(Y)+2cov(X,Y)D(X−Y)=D(X)+D(Y)−2cov(X,Y)cov(X,X)=E[X2]−E[X]2=D(X)
3. 相关系数
ρX,Y=cov(X,Y)σXσY(1)ρX,Y=0,也即 cov(X,Y)=0,表示 X 与 Y 不相关,也即 ρX,Y=0 的充分必要条件是 cov(X,Y)=0,也就不相关和协方差为 0是等价的;
(2)ρX,Y≤1
(3)ρX,Y=1 的充分必要条件是 P(Y=aX+b)=1(也即二者线性相关)
相关文章推荐
- 将中文转为拼音 iOS
- Docker Image
- 成都Uber优步司机奖励政策(3月29日)
- 机房收费——存储过程+事务
- 关于sql和MySQL的语句执行顺序(必看!!!)
- cocos2d 3.10环境搭建
- RHEL 7.1系统在VM 12上的安装以及克隆备份系统
- 苏州Uber优步司机奖励政策(3月28日~3月30日)
- 依赖倒转原则(DIP)
- 优先队列
- 优先队列
- IOS开发前的准备
- java使用POI jar包读写xls文件
- HTML5[5]:在移动端禁用长按选中文本功能
- How can enable udev sync successfully in docker?
- NFS共享MySQL使用DNS轮询实现Web负载均衡 推荐
- sql语句查询执行顺序
- iOS之解决UITableView与背景颜色不一致问题
- 并查集备忘录
- ODB-Oracle填坑