2015-04-01-数据聚合与分组运算(1)-GroupBy技术+数据聚合

---------------------------------------------------------------------------------------

-----(一)、GroupBy技术

from pandas import DataFrame,Series

import numpy as np

import pandas as pd

df=DataFrame({

'key1':['a','a','b','b','a'],

'key2':['one','two','one','two','one'],

'data1':[1,2,3,4,5],

'data2':[2,3,4,6,10]

})

grouped=df['data1'].groupby(df['key1'])

grouped

grouped.mean()

means=df['data1'].groupby([df['key1'],df['key2']]).mean()

层次化索引

means.unstack()

分组键可以是任何长度适当的数组

states=np.array(['Ohio','California','California','Ohio','Ohio'])

years=np.array([2005,2005,2006,2005,2006])

df['data1'].groupby([states,years]).mean()

可以将列名用作分组键

df.groupby('key1').mean()

df.groupby(['key1','key2']).mean() 

返回一个含有分组大小的Series

df.groupby(['key1','key2']).size()

-----1.对分组进行迭代

for name,group in df.groupby('key1'):

    print name
print group

for (k1,k2),group in df.groupby(['key1','key2']):

    print k1,k2
print group

将这些数据片段做成一个字典

pieces=dict(list(df.groupby('key1')))

可以根据dtype对列进行分组

df.dtypes

grouped=df.groupby(df.dtypes,axis=1)

dict(list(grouped))

-----2.选取一个或一组列

df.groupby('key1')['data1']

df.groupby('key1')[['data1']]

df['data1'].groupby(df['key1'])

df[['data1']].groupby(df['key1'])

df.groupby(['key1','key2'])[['data2']].mean()

s_grouped=df.groupby(['key1','key2'])['data2']

s_grouped

s_grouped.mean()

-----3.通过字典或Series进行分组

people=DataFrame(np.random.randn(5,5),

columns=['a','b','c','d','e'],

index=['Joe','Steve','Wes','Jim','Travis'])

people.ix[2:3,['b','c']]=np.nan

mapping={'a':'red','b':'red','c':'blue','d':'blue','e':'red','f':'orange'}

by_column=people.groupby(mapping,axis=1)

by_column.sum()

map_series=Series(mapping)

map_series

people.groupby(map_series,axis=1).count()

-----4.通过函数进行分组

people.groupby(len).sum()

key_list=['one','one','one','two','two']

people.groupby([len,key_list]).min()

-----5.根据索引级别分组

columns=pd.MultiIndex.from_arrays([['US','US','US','JP','JP'],[1,3,5,1,3]],names=['cty','tenor'])

hier_df=DataFrame(np.random.randn(4,5),columns=columns)

hier_df

hier_df.groupby(level='cty',axis=1).count()

---------------------------------------------------------------------------------------

-----(二)、数据聚合

样本分位数

grouped=df.groupby('key1')

grouped['data1'].quantile(0.9)

如果使用你自己的聚合函数,只需将其传入aggregate或agg方法即可

def peak_to_peak(arr):

    return arr.max()-arr.min()

grouped.agg(peak_to_peak)

grouped.describe()

-----------------------

经过优化的GroupBy的方法

count       分组中非NA值的数量

sum         非NA值的和

mean        非NA值的平均值

median      非NA值的算术中位数

std、var    无偏(分母为n-1)标准差和方差

min、max    非NA值的最小值和最大值

prod        非NA值的积

first、last 第一个和最后一个非NA值

-----------------------

------1.面向列的多函数应用

tips=pd.read_csv(r'ch08\tips.csv')

tips['tip_pct']=tips['tip']/tips['total_bill']

grouped=tips.groupby(['sex','smoker'])

grouped_pct=grouped['tip_pct']

grouped_pct.agg('mean')

grouped_pct.agg(['mean','std',peak_to_peak])

传入由(name,function)元素组成的列表

grouped_pct.agg([('foo','mean'),('bar',np.std)])

functions=['count','mean','max']

result=grouped['tip_pct','total_bill'].agg(functions)

result

result['tip_pct']

传入带有自定义名称的元组列表：

ftuples=[('Durchschnitt','mean'),('Abweichung',np.var)]

grouped['tip_pct','total_bill'].agg(ftuples)

对不同的列应用不同的函数

grouped.agg({'tip':np.max,'size':'sum'})

grouped.agg({'tip':['min','max','mean','std'],'size':'sum'})

以无索引的形式返回聚合数据

tips.groupby(['sex','smoker'],as_index=False).mean()