Python数据加载、存储与文件格式

数据加载、存储与文件格式

1.读写文本格式数据

Pandas中的解析函数：

read_csv 从文件、URL、文件型对象中加载带分隔符的数据，默认分隔符为逗号 read_table 从文件、URL、文件型对象中加载带分隔符的数据，默认分隔符为制表符 read_fwf 读取定宽列格式数据（即没有分隔符）

read_clipboard 读取剪贴板中的数据，将网页转换为表格时很有用

read_csv()会将数据读入一个DataFrame结构,当文件含有标题行，函数将自动将其设为列名，

当文件无标题行时：

pd.read_csv('filename',header=None)#令Pandas为其分配默认列名

pd.read_csv('filename',names=['a','b','c','d','message'])#自定义列名

pd.read_csv('filename',index_col='message')#设定索引列

pd.read_csv('filename',index=['key1','key2'])#设定层次化索引

pd.read_csv('filename',skiprows=[0,2,3])#跳过文件第一行、第三行、第四行

2.将数据写出到文本格式

利用DataFrame的to_csv方法，可以将数据写出到一个以逗号分隔的文件中，也可以使用sep设定其他分隔符
缺失值在输出结果中会被表示为空字符串，可以使用na_rep指定别的标记值 将CSV文件读取为Series，使用from_csv方法更方便

3.JSON数据

JSON已经成为通过HTTP请求在Web浏览器和其他应用程序之间发送数据的标准格式之一。JSON非常接近于有效的Python代码。基本类型有对象（字典）、数组（列表）、字符串、数值、布尔值以及null。通过json.loads即可将JSON字符串转换成Python形式：

import json

result = json.loads(obj)

json.dumps将Python对象转换成JSON格式：

asjson = json.dumps(result)

将JSON对象转换为DataFrame结构：向DataFrame构造器传入一组JSON对象，并选取数据字段的子集

sibling = DataFrame(result['sibling'],columns=['name','age'])

​