数据加载、存储与文件格式
2016-07-07 10:57
302 查看
输入输出通常可以划分为几个大类:1.读取文本文件和其他更高效的磁盘存储格式;2.加载数据库中的数据;3.利用Web API操作网络资源
读写文本格式的数据
pandas提供了一些用于将表格型数据读取为DataFrame对象的函数。
pandas中的解析函数
read_csv 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为逗号。
read_table 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为制表符(\t)
1.1. 当文件以逗号分隔,我们可以使用read_csv将其读入一个DataFrame;也可以用read_table,只不过需要指定分隔符(pd.read_table(‘ch06/ex1.csv’,sep=’,’))
1.2. 并不是所有文件都有标题行。这样读入该文件的办法有两个。你可以让pandas为其分配默认的列名(pd.read_csv(‘ch06/ex2.csv’,header=None)),也可以自己定义列名(pd.read_csv(‘ch06/ex2.csv’,names=[‘a’,’b’,’c’,’d’,’message’]))。假设你希望将message列做成DataFrame的行索引,你可以明确表示要将该列放到索引4的位置,也可以通过index_col参数指定“message”(pd.read_csv(‘ch06/ex2.csv’,names=[‘a’,’b’,’c’,’d’,’message’],index_col=’message’))
1.3. 有些表格可能不是用固定的分隔符去分隔字段的。对于这种情况,可以编写一个正则表达式来作为read_table的分隔符。当文件的各个字段由数量不定的空白符分隔时,可以用正则表达式\s+表示。
1.4. 这些解析器函数还有许多参数可以帮助你处理各种各样的异形文件格式。不如说,你可以用skiprows跳过文件的第一行、第三行和第四行
2. 逐块读取文本文件
2.1.
读写文本格式的数据
pandas提供了一些用于将表格型数据读取为DataFrame对象的函数。
pandas中的解析函数
read_csv 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为逗号。
read_table 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为制表符(\t)
1.1. 当文件以逗号分隔,我们可以使用read_csv将其读入一个DataFrame;也可以用read_table,只不过需要指定分隔符(pd.read_table(‘ch06/ex1.csv’,sep=’,’))
1.2. 并不是所有文件都有标题行。这样读入该文件的办法有两个。你可以让pandas为其分配默认的列名(pd.read_csv(‘ch06/ex2.csv’,header=None)),也可以自己定义列名(pd.read_csv(‘ch06/ex2.csv’,names=[‘a’,’b’,’c’,’d’,’message’]))。假设你希望将message列做成DataFrame的行索引,你可以明确表示要将该列放到索引4的位置,也可以通过index_col参数指定“message”(pd.read_csv(‘ch06/ex2.csv’,names=[‘a’,’b’,’c’,’d’,’message’],index_col=’message’))
1.3. 有些表格可能不是用固定的分隔符去分隔字段的。对于这种情况,可以编写一个正则表达式来作为read_table的分隔符。当文件的各个字段由数量不定的空白符分隔时,可以用正则表达式\s+表示。
1.4. 这些解析器函数还有许多参数可以帮助你处理各种各样的异形文件格式。不如说,你可以用skiprows跳过文件的第一行、第三行和第四行
2. 逐块读取文本文件
2.1.
相关文章推荐
- 调整数组顺序使奇数位于偶数前面
- js中的json使用
- redis限制单ip、单用户的访问次数
- LeetCode—SameTree
- Reverse Words in a String II
- windows的139端口和445端口的区别
- MySQL之索引优化
- spark standalone
- 前端——使footer永远在网页底部的方法
- yii-验证码
- jquery中正则表达式的书写
- nodejs加密Crypto的实例代码
- mac ssh 断开连接
- Qt自已创建打开系统对话框
- android常用工具类库整理
- 论文笔记 | Training Region-based Object Detectors with Online Hard Example Mining
- [转]说说C#的async和await
- objdump命令的使用
- c# 访问oracle数据库
- CocoaPods版本升级