机器学习-数据归一化方法
2017-02-08 17:41
232 查看
原文:http://www.tuicool.com/articles/BVFRnqz
本文主要介绍两种基本的数据归一化方法。
min-max标准化(Min-Max Normalization)
Z-score标准化方法
归一化方法有两种形式,一种是把数变为(0,1)之间的小数,一种是把有量纲表达式变为无量纲表达式。
数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。
下面是归一化和没有归一化的比较:
没有经过归一化,寻找最优解过程如下:
经过归一化,把各个特征的尺度控制在相同的范围内:
从经验上说,归一化是让不同维度之间的特征在数值上有一定比较性,可以大大提高分类器的准确性。
以下是两种常用的归一化方法:
也称为离差标准化,是对原始数据的线性变换,使结果值映射到[0 - 1]之间。转换函数如下:
$$x^{*}=\frac{x-x_{min}}{x_{max}-x_{min}}$$
x_min表示样本数据的最小值,x_max表示样本数据的最大值。
测试:
Output:
如果想要将数据映射到[-1,1],则将公式换成:
$$x^{*}=\frac{x-x_{mean}}{x_{max}-x_{min}}$$
x_mean表示数据的均值
测试:
Output:
注意:上面的Normalization是处理单个列表的。
这种方法给予原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。经过处理的数据符合标准正态分布,即均值为0,标准差为1,转化函数为:
$$x^{*}=\frac{x-\mu}{\sigma}$$
其中,μ表示所有样本数据的均值,σ表示所有样本的标准差。
测试:
Output:
本文主要介绍两种基本的数据归一化方法。
min-max标准化(Min-Max Normalization)
Z-score标准化方法
归一化方法有两种形式,一种是把数变为(0,1)之间的小数,一种是把有量纲表达式变为无量纲表达式。
数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。
下面是归一化和没有归一化的比较:
没有经过归一化,寻找最优解过程如下:
经过归一化,把各个特征的尺度控制在相同的范围内:
从经验上说,归一化是让不同维度之间的特征在数值上有一定比较性,可以大大提高分类器的准确性。
以下是两种常用的归一化方法:
1.min-max标准化(Min-Max Normalization)
也称为离差标准化,是对原始数据的线性变换,使结果值映射到[0 - 1]之间。转换函数如下:$$x^{*}=\frac{x-x_{min}}{x_{max}-x_{min}}$$
x_min表示样本数据的最小值,x_max表示样本数据的最大值。
Python代码实现:
def Normalization(x): return [(float(i)-min(x))/float(max(x)-min(x)) for i in x]
测试:
x=[1,2,1,4,3,2,5,6,2,7] b=Normalization(x)
Output:
[0.0, 0.16666666666666666, 0.0, 0.5, 0.3333333333333333, 0.16666666666666666, 0.6666666666666666, 0.8333333333333334, 0.16666666666666666, 1.0]
如果想要将数据映射到[-1,1],则将公式换成:
$$x^{*}=\frac{x-x_{mean}}{x_{max}-x_{min}}$$
x_mean表示数据的均值
Python代码实现:
import numpy as np def Normalization2(x): return [(float(i)-np.mean(x))/(max(x)-min(x)) for i in x]
测试:
x=[1,2,1,4,3,2,5,6,2,7] b=Normalization2(x)
Output:
[-0.3833333333333333, -0.21666666666666665, -0.3833333333333333, 0.1166666666666667, -0.049999999999999968, -0.21666666666666665, 0.28333333333333338, 0.45000000000000001, -0.21666666666666665, 0.6166666666666667]
注意:上面的Normalization是处理单个列表的。
2.z-score标准化方法
这种方法给予原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。经过处理的数据符合标准正态分布,即均值为0,标准差为1,转化函数为:$$x^{*}=\frac{x-\mu}{\sigma}$$
其中,μ表示所有样本数据的均值,σ表示所有样本的标准差。
Python代码实现:
import numpy as np def z_score(x): x_mean=np.mean(x) s2=sum([(i-np.mean(x))*(i-np.mean(x)) for i in x])/len(x) return [(i-x_mean)/s2 for i in x]
测试:
x=[1,2,1,4,3,2,5,6,2,7] print z_score(x)
Output:
[-0.57356608478802995, -0.32418952618453861, -0.57356608478802995, 0.17456359102244395, -0.
相关文章推荐
- spring cloud
- Azure Blob存储更改缓存时间
- maven clean package 时出现Failed to read artifact descriptor for的问题解决
- 某人在企业中遇到的Spark问题记录[持续更新]
- 修改hdfs上目录的权限
- valgrind的使用
- 浅谈多线程之锁的机制
- 修改CM管理主机IP
- 修改CM管理主机IP
- 修改CM管理主机IP
- 修改CM管理主机IP
- 修改CM管理主机IP
- 修改CM管理主机IP
- 修改CM管理主机IP
- 修改CM管理主机IP
- 修改CM管理主机IP
- 修改CM管理主机IP
- Redis发布与订阅的参数
- 修改CM管理主机IP
- 修改CM管理主机IP