数据提取（2）：pandas库入门

Pandas库
http://pandas.pydata.org Pandas是Python第三方库，提供高性能易用数据类型和分析工具。
import pandas as pd

数据类型：Series, DataFrame
基于数据类型的各类操作：基本操作、运算操作、特征类操作、关联类操作

Numpy:     基础数据类型：ndarray;                    关注数据的结构表达：维度，数据间的关系
Pandas:      扩展数据类型：Series, DataFrame;     数据的应用表达：数据与索引间的关系

一、Series类型

一个一维的带‘标签’数组
创建
Python 列表
标量值
Python字典
ndarray
其他函数，range()

import pandas as pd
#标量，不能省略index=
s = pd.Series(25, index=['a','b','c'])
s
Out[295]:
a    25
b    25
c    25
dtype: int64

#字典1
s = pd.Series({'a':8, 'b':7})
s
Out[297]:
a    8
b    7
dtype: int64
#字典2
s2 = pd.Series({'c':8, 'd':7}, index=['a','b','c','d'])
s2
Out[299]:
a    NaN
b    NaN
c    8.0
d    7.0
dtype: float64

#ndarray
n1 = pd.Series(np.arange(5))
n 1
Out[303]:
0    0
1    1
2    2
3    3
4    4
dtype: int32

n2 =pd.Series(np.arange(5), index=np.arange(9,4,-1))
n2
Out[309]:
9    0
8    1
7    2
6    3
5    4
dtype: int32

操作
.index     输出为index类型
.values     输出为ndarray类型
b
所得为数值
b[m : n]切片所得为series类
b[b > b.median()]
np.exp(b),生成series类
.get()     b.get('f', 100),提取索引为f的值，如果不存在则返回100
'*' in b     只会判断自定义索引是否在Series中     
对齐操作：Series + Series:自动对齐不同索引的数据
Series对象和索引都可以有一个名字，存在属性.name中，需要自己设置。
Series类型的修改：随时修改并即刻生效

二、DataFrame类型

一个表格型数据类型，梅列值类型可以不同
有行索引、列索引
常用于二维数据，可以表达多维数据

创建：1、ndarray：d = pd.DataFrame(np.arange(10).reshape(2,5))
          2、dict：dt = {'one':pd.Series([1,2,3],index=['a','b','c']),
                                 'two':pd.Series([9,8,7, 6],index=['a','b','c','d'])}
               d = pd.DataFrame(dt)
               pd.DataFrame(dt, index=['b','c','d'],columns=['two', 'three'])
获取：d['columnname'];     d.ix['indexname'];    d[columnname']['indexname']
操作：
.reindex(index = None, Column=None, ...)
                    重排索引：.reindex(index=['',''])；重排列：.reindex(colums: ['', '', '', '']
后面的都看官方文档，不写了！

index和column都是一个Index类（不可变），常用方法：
     .append(idx)     链接另一个Index对象，产生新的Index对象
     .diff(idx)     计算差集，产生新的Index
     .intersection(idx)     计算交集
     .union(idx)     计算并集
     .delete(loc)     删除loc位置处的元素
     .insert(loc,e)     在loc位置增加一个元素e

nc = d.columns.delete(2)
ni = d.index.insert(5, 'c0')
nd = d.reindex(index=ni, columns=nc, method='ffill')

运算：
算数运算：根据行列索引，补齐（NaN）后运算，默认产生浮点数。
.add(d, **argws)     +
.sub(d, **argws)     -
.mul(d, **argws)     *
.div(d, **argws)     /
不同维度运算采用广博运算，二维一维，默认轴1参与运算，可指定axis=0
比较运算：同维度，要求尺寸相同；不同维度，广播运算

一、数据的排序
.sort_index(axis=0, ascending=True)     指定轴     根据索引排序     默认升序     
.sort_value(by, axis=0, ascending=True)     指定轴     根据数值排序     默认升序
Series.sort_value(axis=0, ascending=True )     by指定排序的行或列
NaN统一放在末尾

二、基本数据统计分析函数
.sum();     .count();     .mean()  .median();     .var()方差  .std();     .min() .max()

只适用于Series类型：
.argmin()     .argmax() 对应位置自动索引;     .idxmin()     .idxmax(）对应位置的自定义索引
.describe()     针对0轴每一列，统计汇总

三、累计统计分析函数
.cumsum();     .cumprod();     .cummax();     .cummin()     按列算
滚动计算(窗口计算)函数，计算相邻w个元素
.rolling(w).sum();     .rolling(w).mean();     rolling(w).var();     rolling(w).std();     rolling(w).min() .max()

四、数据的相关分析

度量相关性：1、协方差cov(X,Y)
                    2、Pearson相关系数r:[-1,1];     |r|:0.8-1.0极强相关；0.6-0.8强相关；0.4-0.6中等程度相关；0.2-0.4弱相关；0.0-0.2极弱相关或不相关。
.cov()     计算 协方差矩阵
.corr()     计算相关系数矩阵，Pearson、Searman、Kendall等系数