您的位置:首页 > 其它

数据加载、存储与文件格式

2016-07-07 10:57 302 查看
输入输出通常可以划分为几个大类:1.读取文本文件和其他更高效的磁盘存储格式;2.加载数据库中的数据;3.利用Web API操作网络资源

读写文本格式的数据

pandas提供了一些用于将表格型数据读取为DataFrame对象的函数。

pandas中的解析函数

read_csv 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为逗号。

read_table 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为制表符(\t)

1.1. 当文件以逗号分隔,我们可以使用read_csv将其读入一个DataFrame;也可以用read_table,只不过需要指定分隔符(pd.read_table(‘ch06/ex1.csv’,sep=’,’))

1.2. 并不是所有文件都有标题行。这样读入该文件的办法有两个。你可以让pandas为其分配默认的列名(pd.read_csv(‘ch06/ex2.csv’,header=None)),也可以自己定义列名(pd.read_csv(‘ch06/ex2.csv’,names=[‘a’,’b’,’c’,’d’,’message’]))。假设你希望将message列做成DataFrame的行索引,你可以明确表示要将该列放到索引4的位置,也可以通过index_col参数指定“message”(pd.read_csv(‘ch06/ex2.csv’,names=[‘a’,’b’,’c’,’d’,’message’],index_col=’message’))

1.3. 有些表格可能不是用固定的分隔符去分隔字段的。对于这种情况,可以编写一个正则表达式来作为read_table的分隔符。当文件的各个字段由数量不定的空白符分隔时,可以用正则表达式\s+表示。

1.4. 这些解析器函数还有许多参数可以帮助你处理各种各样的异形文件格式。不如说,你可以用skiprows跳过文件的第一行、第三行和第四行

2. 逐块读取文本文件

2.1.
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: