pandas数据分组和聚合操作
2017-05-24 15:53
330 查看
《Python for Data Analysis》
分组运算:split-apply-combine(拆分-应用-合并)
DataFrame可以在其行(axis=0)或列(axis=1)上进行分组。然后,将一个函数应用到各个分组并产生新值。最后,所有这些函数的执行结果会被合并到最终的结果对象中去。
GroupBy的size方法可以返回一个含有分组大小的Series。
对分组进行迭代
选取一个或一组列
通过字典或Series进行分组
只需将字典或Series传给groupby即可。
通过函数分组
通过索引级别分组
层次化索引数据,根据索引级别进行聚合,通过level关键字传入级别编号或名称。
对于上述描述统计方法,可以将函数名以字符串的形式传入agg方法。例如:
如果要使用自己的聚合函数,只需将其传入aggregate或agg方法即可
面向列的多函数应用,可以对不同的列使用不同的聚合函数或者一次应用多个函数。
如果传入一组函数或函数名,得到的DataFrame的列就会以相应的函数命名
如果传入的是一个由(name,function)元组组成的列表,各个元组的第一个元素就会被用作DataFrame的列名。
不同的列使用不同的聚合函数也可以向agg传入一个从列名映射到函数的字典
transform会将一个函数应用到各个分组,然后将结果放置到适当的位置上。如果各个分组产生的是一个标量值,则该值就会被广播出去。
一般性的“拆分-应用-合并”
禁止分组键: 分组键会跟原始对象的索引共同构成结果对象中的层次化索引。将
在GroupBy对象上调用
透视表
根据一个或多个键对数据进行聚合,并根据行和列上的分组键将数据分配到各个矩形区域。
交叉表
是一种用于计算分组频率的特殊透视表。
GroupBy
分组运算:split-apply-combine(拆分-应用-合并)DataFrame可以在其行(axis=0)或列(axis=1)上进行分组。然后,将一个函数应用到各个分组并产生新值。最后,所有这些函数的执行结果会被合并到最终的结果对象中去。
GroupBy的size方法可以返回一个含有分组大小的Series。
对分组进行迭代
for (k1,k2), group in df.groupby(['key1','key2']): print k1,k2 print group
选取一个或一组列
df.groupby(['key1','key2'])[['data2']].mean()
通过字典或Series进行分组
只需将字典或Series传给groupby即可。
通过函数分组
people.groupby(len).sum()#根据人名的长度进行分组
通过索引级别分组
层次化索引数据,根据索引级别进行聚合,通过level关键字传入级别编号或名称。
df.groupby(level='cty',axis=1).count()
数据聚合
经过优化的groupby方法函数名 | 说明 |
---|---|
count | 分组中非NA值得数量 |
sum | 非NA值的和 |
mean | 非NA值的平均值 |
median | 非NA值的算术平均数 |
std、var | 无偏(分母为n-1)标准差和方差 |
min、max | 非NA值的最小值和最大值 |
prod | 非NA值的积 |
first、last | 第一个和最后一个非NA值 |
grouped.agg(['mean', 'std'])
如果要使用自己的聚合函数,只需将其传入aggregate或agg方法即可
def peak_to_peak(arr): return arr.max() - arr.min() grouped.agg(peak_to_peak)
面向列的多函数应用,可以对不同的列使用不同的聚合函数或者一次应用多个函数。
如果传入一组函数或函数名,得到的DataFrame的列就会以相应的函数命名
如果传入的是一个由(name,function)元组组成的列表,各个元组的第一个元素就会被用作DataFrame的列名。
不同的列使用不同的聚合函数也可以向agg传入一个从列名映射到函数的字典
grouped.agg(['mean', 'std', peak_to_peak]) # 1 grouped.agg([('foo', 'mean'), ('bar', np.std)]) # 2 functions = ['count', 'mean', 'max'] result = grouped['tip', 'bill'].agg(functions) # 3 grouped.agg({'tip' : np.max, 'bill' : 'sum'}) # 4
分组级运算和转换
transform
transform会将一个函数应用到各个分组,然后将结果放置到适当的位置上。如果各个分组产生的是一个标量值,则该值就会被广播出去。apply
一般性的“拆分-应用-合并”tips.groupby('smoker').apply(top)相当于top函数在DataFrame的各个片段上调用,然后结果由pandas.concat组装到一起,并以分组名称进行了标记。,于是,最终结果就有了一个层次化索引,其内层索引值来自于原DataFrame.
禁止分组键: 分组键会跟原始对象的索引共同构成结果对象中的层次化索引。将
group_keys=False传入
groupby即可禁止该效果。
tips.groupby('smoker', group_keys=False).apply(top)
在GroupBy对象上调用
describe相当于
f = lambda x : x.describe(); grouped.apply(f).
数据汇总工具
透视表 pivot_table
根据一个或多个键对数据进行聚合,并根据行和列上的分组键将数据分配到各个矩形区域。tips.pivot_table('tip_pct', index=['time', 'size', 'smoker'], columns='day', aggfunc='mean', fill_value=0)
参数名 | 说明 |
---|---|
values | 待聚合的列的名称。默认所有列 |
rows | 用于分组的列名或者其他分组键,出现在结果透视表的行 |
cols | 用于分组的列名或者其他分组键,出现在结果透视表的列 |
aggfunc | 聚合函数或函数列表,默认“mean”。可以是任何对groupby有效的函数 |
fill_value | 用于替换结果表中缺失值 |
margins | 添加行/列小计和总计,默认为False |
交叉表 crosstab
是一种用于计算分组频率的特殊透视表。pd.crosstab([tips.time, tips.day], tips.smoker, margins=True)
相关文章推荐
- pandas 数据分组和聚合
- pandas数据的分组和聚合
- Pandas:时间序列数据基本操作和分组
- 利用python进行数据分析-pandas.concat/subplots/gropuby/pivot_table,多文件整合、聚合、分组,子图
- python/pandas数据挖掘(十四)-groupby,聚合,分组级运算
- pandas—数据聚合与分组运算
- pandas数据分组和聚合操作方法
- python/pandas数据分析(十五)-聚合与分组运算实例
- php7中使用mongoDB的聚合操作对数据进行分组求和统计操作
- Pandas-数据聚合与分组运算
- 2015-04-07-数据聚合与分组运算(2)-分组级运算和转换
- SQL字符串分组聚合(分组后的数据查询后用逗号隔开)
- 分组与聚合数据
- 2015-04-08-数据聚合与分组运算(3)-透视表和交叉表+2012联邦选举委员会数据库
- elasticsearch__3__java操作之Facets 数据分组统计处理
- Elasticsearch分组聚合-查询每个A_logtype下有多少数据
- 利用Python进行数据分析--数据聚合与分组运算1
- 利用Python进行数据分析--数据聚合与分组运算
- 数据聚合 & 分组:新一代系统监控的核心功能
- SQL数据的分组与聚合