2015-03-09数据加载、存储与文件格式(2)

----逐块读取文本文件

result=pd.read_csv('ch06\ex6.csv')

通过nrows指定读取行数

pd.read_csv('ch06\ex6.csv',nrows=5)

逐块读取文件 chunksize

chunker=pd.read_csv('ch06\ex6.csv',chunksize=1000)

tot=Series([])

for piece in chunker:
tot=tot.add(piece['key'].value_counts(),fill_value=0)

tot=tot.order(ascending=False)

tot[:10]

----将数据写出到文本格式

data=pd.read_csv('ch06\ex5.csv')

data.to_csv('ch06\out1.csv')

data.to_csv('ch06\out2.csv',sep='|')

data.to_csv('ch06\out3.csv',na_rep='NULL')

禁用行和列的标签

import system as sys

data.to_csv(sys.stdout,index=False,header=False)

只写一部分列

data.to_csv(sys.stdout,index=False,cols=['a','b','c'])

Series也有一个to_csv文件

import numpy as np

dates=pd.date_range('1/1/2000',periods=7)

ts=Series(np.arange(7),index=dates)

ts.to_csv(r'ch06\tseries.csv')

Series.from_csv(r'ch06\tseries.csv',parse_dates=False)

----手工处理分隔符格式 ??

!type ch06\ex7.csv

--csv.reader

import csv

f=open('ch06\ex7.csv')

reader=csv.reader(f)

for line in reader:
print line

lines=list(csv.reader(open('ch06\ex7.csv')))

header,values=lines[0],lines[1:]

data_dict={h:v for h,v in zip(header,zip(*values))}

class my_dialect(csv.Dialect):

    lineteminator=['n']
delimiter=';'
quotechar='"'
quoting=csv.QUOTE_ALL

reader=csv.reader(f,dialect=my_dialect)