Python数据预处理:彻底理解标准化和归一化(附视频教程)
数据预处理
数据中不同特征的量纲可能不一致,数值间的差别可能很大,不进行处理可能会影响到数据分析的结果,因此,需要对数据按照一定比例进行缩放,使之落在一个特定的区域,便于进行综合分析。
常用的方法有两种:
最大 - 最小规范化:对原始数据进行线性变换,将数据映射到[0,1]区间
Z-Score标准化:将原始数据映射到均值为0、标准差为1的分布上
为什么要标准化/归一化?
提升模型精度:标准化/归一化后,不同维度之间的特征在数值上有一定比较性,可以大大提高分类器的准确性。
加速模型收敛:标准化/归一化后,最优解的寻优过程明显会变得平缓,更容易正确的收敛到最优解。
如下图所示:
哪些机器学习算法需要标准化和归一化
1)需要使用梯度下降和计算距离的模型要做归一化,因为不做归一化会使收敛的路径程z字型下降,导致收敛路径太慢,而且不容易找到最优解,归一化之后加快了梯度下降求最优解的速度,并有可能提高精度。比如说线性回归、逻辑回归、adaboost、xgboost、GBDT、SVM、NeuralNetwork等。需要计算距离的模型需要做归一化,比如说KNN、KMeans等。
2)概率模型、树形结构模型不需要归一化,因为它们不关心变量的值,而是关心变量的分布和变量之间的条件概率,如决策树、随机森林。
彻底理解标准化和归一化
示例数据集包含一个自变量(已购买)和三个因变量(国家,年龄和薪水),可以看出用薪水范围比年龄宽的多,如果直接将数据用于机器学习模型(比如KNN、KMeans),模型将完全有薪水主导。
[code]#导入数据 import numpy as np import matplotlib.pyplot as plt import pandas as pd df = pd.read_csv('Data.csv')
缺失值均值填充,处理字符型变量
[code]df['Salary'].fillna((df['Salary'].mean()), inplace= True) df['Age'].fillna((df['Age'].mean()), inplace= True) df['Purchased'] = df['Purchased'].apply(lambda x: 0 if x=='No' else 1) df=pd.get_dummies(data=df, columns=['Country'])
最大 - 最小规范化
[code]from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler() scaler.fit(df) scaled_features = scaler.transform(df) df_MinMax = pd.DataFrame(data=scaled_features, columns=["Age", "Salary","Purchased","Country_France","Country_Germany", "Country_spain"])
Z-Score标准化
[code]from sklearn.preprocessing import StandardScaler sc_X = StandardScaler() sc_X = sc_X.fit_transform(df) sc_X = pd.DataFrame(data=sc_X, columns=["Age", "Salary","Purchased","Country_France","Country_Germany", "Country_spain"])
[code]import seaborn as sns import matplotlib.pyplot as plt import statistics plt.rcParams['font.sans-serif'] = ['Microsoft YaHei'] fig,axes=plt.subplots(2,3,figsize=(18,12)) sns.distplot(df['Age'], ax=axes[0, 0]) sns.distplot(df_MinMax['Age'], ax=axes[0, 1]) axes[0, 1].set_title('归一化方差:% s '% (statistics.stdev(df_MinMax['Age']))) sns.distplot(sc_X['Age'], ax=axes[0, 2]) axes[0, 2].set_title('标准化方差:% s '% (statistics.stdev(sc_X['Age']))) sns.distplot(df['Salary'], ax=axes[1, 0]) sns.distplot(df_MinMax['Salary'], ax=axes[1, 1]) axes[1, 1].set_title('MinMax:Salary') axes[1, 1].set_title('归一化方差:% s '% (statistics.stdev(df_MinMax['Salary']))) sns.distplot(sc_X['Salary'], ax=axes[1, 2]) axes[1, 2].set_title('StandardScaler:Salary') axes[1, 2].set_title('标准化方差:% s '% (statistics.stdev(sc_X['Salary'])))
可以看出归一化比标准化方法产生的标准差小,使用归一化来缩放数据,则数据将更集中在均值附近。这是由于归一化的缩放是“拍扁”统一到区间(仅由极值决定),而标准化的缩放是更加“弹性”和“动态”的,和整体样本的分布有很大的关系。所以归一化不能很好地处理离群值,而标准化对异常值的鲁棒性强,在许多情况下,它优于归一化。
说好的有视频教程就有:数据分析和人工智能教程全套https://pan.baidu.com/s/1R39ZIm9D40hLDr87so9Tww 提取
提取码我就不搁文章内容里了,有兴趣学习的伙伴,可以回复:数据分析,获取!
(声明,拿到教程的伙伴,禁止利益交易!后果自负!)
- Python数据预处理—归一化,标准化,正则化
- 【python数据挖掘课程】二十九.数据预处理之字符型转换数值型、标准化、归一化处理
- 数据预处理-归一化与z-score标准化
- 学习笔记(03):Python从入门到实战 基础入门视频教程(讲解超细致)-数据类型和type函···...
- 使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- 研究|数据预处理|归一化 (标准化)
- sklearn数据预处理之标准化和归一化 学习笔记
- 视频教程-完整的Python和SAS数据分析-大数据
- 关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- sklearn进行数据预处理-归一化/标准化/正则化
- 关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- 数据预处理 - 归一化与Z-Score标准化
- 【机器学习】特征数据预处理-标准化和归一化
- 视频教程-数据分析小白入门指南-Python
- 视频教程-Python机器学习与数据挖掘day16-Python
- python数据预处理之数据标准化的几种处理方式使用场景
- 使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- (Python实现)数据PCA降维白化和L2归一化-深度学习实践常用数据预处理
- 使用sklearn进行数据预处理 —— 归一化/标准化/正则化
- python机器学习库sklearn——数据归一化、标准化、特征选择、逻辑回归、贝叶斯分类器、KNN模型、支持向量机、参数优化