Python Pandas实现数据分组求平均值并填充nan
2017-12-23 13:33
791 查看
Python实现按某一列关键字分组,并计算各列的平均值,并用该值填充该分类该列的nan值。
DataFrame数据格式
fillna方式实现
groupby方式实现
筛选出相同行业的Series
计算平均值mean,采用fillna函数填充
append到新DataFrame中
循环遍历行业名称,完成2,3,4步骤
DataFrame数据格式
fillna方式实现
groupby方式实现
DataFrame数据格式
以下是数据存储形式:fillna方式实现
按照industryName1列,筛选出业绩筛选出相同行业的Series
计算平均值mean,采用fillna函数填充
append到新DataFrame中
循环遍历行业名称,完成2,3,4步骤
factordatafillna = pd.DataFrame() industrys = newfactordata1.industryName1.unique() for ind in industrys: t = newfactordata1.industryName1 == ind a = newfactordata1[t].fillna(newfactordata1[t].mean()) factordatafillna = factordatafillna.append(a)
groupby方式实现
采用groupby计算,详细见代码注释df = pd.DataFrame({'code':[1,2,3,4,5,6,7,8], 'value':[np.nan,5,7,8,9,10,11,12], 'value2':[5,np.nan,7,np.nan,9,10,11,12], 'indstry':['农业1','农业1','农业1','农业2','农业2','农业4','农业2','农业3']}, columns=['code','value','value2','indstry'], index=list('ABCDEFGH')) # 只留下需要处理的列 cols = [col for col in df.columns if col not in['code','indstry']] # 分组的列 gp_col = 'indstry' # 查询nan的列 df_na = df[cols].isna() # 根据分组计算平均值 df_mean = df.groupby(gp_col)[cols].mean() print(df) # 依次处理每一列 for col in cols: na_series = df_na[col] names = list(df.loc[na_series,gp_col]) t = df_mean.loc[names,col] t.index = df.loc[na_series,col].index # 相同的index进行赋值 df.loc[na_series,col] = t print(df)
code value value2 indstry A 1 NaN 5.0 农业1 B 2 5.0 NaN 农业1 C 3 7.0 7.0 农业1 D 4 8.0 NaN 农业2 E 5 9.0 9.0 农业2 F 6 10.0 10.0 农业4 G 7 11.0 11.0 农业2 H 8 12.0 12.0 农业3 code value value2 indstry A 1 6.0 5.0 农业1 B 2 5.0 6.0 农业1 C 3 7.0 7.0 农业1 D 4 8.0 10.0 农业2 E 5 9.0 9.0 农业2 F 6 10.0 10.0 农业4 G 7 11.0 11.0 农业2 H 8 12.0 12.0 农业3
相关文章推荐
- Python+pandas实现时间序列数据扩展案例一则
- python/pandas数据分析(十五)-聚合与分组运算实例
- Python pandas检查数据中是否有NaN的几种方法
- python实现数据预处理之填充缺失值的示例
- 利用Python进行数据分析_python3实现_pandas入门_相关系数与协方差
- 人工智能:python 实现 第十一章,使用Pandas处理时间序列数据
- python/pandas数据挖掘(十四)-groupby,聚合,分组级运算
- 数据预处理(3) ——数据归约 使用python(sklearn,pandas,numpy)实现
- python使用pandas实现数据分割实例代码
- 数据预处理(2) ——数据变换与数据离散化 使用python(sklearn,pandas,numpy)实现
- python pandas消除空值和空格以及 Nan数据替换方法
- 利用python进行数据分析-pandas.concat/subplots/gropuby/pivot_table,多文件整合、聚合、分组,子图
- python实现数据预处理之填充缺失值
- python pandas.DataFrame选取、修改数据最好用.loc,.iloc,.ix实现
- python 实现将 pandas 数据和 matplotlib 绘图嵌入 html 文件
- 数据预处理(1) ——数据清洗 使用python(sklearn,pandas,numpy)实现
- WPF and Silverlight 学习笔记(二十五):使用CollectionView实现对绑定数据的排序、筛选、分组
- 利用word的xml格式实现数据填充
- cross apply 实现取分组前几条数据
- python实现Ubuntu上数据及mysql备份