Julia: SSD条件下读CSV的速度
2015-11-19 18:11
204 查看
_ _ _ _(_)_ | A fresh approach to technical computing (_) | (_) (_) | Documentation: http://docs.julialang.org _ _ _| |_ __ _ | Type "?help" for help. | | | | | | |/ _` | | | | |_| | | | (_| | | Version 0.5.0-dev+566 (2015-10-01 22:40 UTC) _/ |\__'_|_|_|\__'_| | Commit fdde0bd (48 days old master) |__/ | x86_64-w64-mingw32
最近在SSD下测了一下读取CSV的速度:具体如下
一、6.5万行的CSV文件
julia> for i =1:3 println("第 $(i) 文件::") name =string("C:\\Users\\Desktop\\MD",i,".csv") @time kk =readcsv(name) end 第 1 文件:: 0.864097 seconds (2.69 M allocations: 89.255 MB, 2.69% gc time) 第 2 文件:: 0.465881 seconds (2.1 M allocations: 66.335 MB, 24.58% gc time) 第 3 文件:: 0.446851 seconds (2.1 M allocations: 66.335 MB)
其中,上面三个CSV文件约6.5万行,有9行的数据。如果按这个速度,差不多一秒有14万左右的速度。
二、在60万行CSV
我把上面的文件内容复制到近60万,再试一下读取的速度。
julia> for i =1:3 println("第 $(i) 文件::") name =string("C:\\Users\\Desktop\\MD",i,".csv") @time kk =readcsv(name) end 第 1 文件:: 4.041549 seconds (19.00 M allocations: 596.777 MB, 11.94% gc time) 第 2 文件:: 4.677666 seconds (19.00 M allocations: 596.789 MB, 29.21% gc time) 第 3 文件:: 5.182393 seconds (19.00 M allocations: 596.789 MB, 33.03% gc time)
可以看出,这个速度基本上还是比较线性的,差不多为1秒14万-15万行左右。
顺便提一下,读CSV的速度与CSV文件中的内容是isnumber,还是字符串,基本没影响。
相关文章推荐
- 微软算法100道题------输入一个单向链表,输出该链表中倒数第k个结点。链表的倒数第0个结点为链表的尾指针
- idea类似eclipse鼠标提示java api信息
- Android是什么?
- SQLServer 获取某月天数
- 使用命令行模式启动VMWare虚拟机
- linux中查看文件指定行的数据
- c语言文件IO库函数——APUE学习笔记(1)
- [python&php 网络编程]字节序转换
- Java获取操作系统信息和Java版本信息
- 安卓开发项目搭建项目的时候要思考的一些问题
- codeforce 577 B. Modulo Sum
- PHP的反射机制
- C#设计模式学习笔记-单例模式
- HDOJ 1232 畅通工程 (并查集)
- android控件之AutoCompleteTextView下拉列表显示一片空白
- 阿里巴巴加入Apache基金会并捐赠项目JStorm
- 用虚拟机安装linux程序
- Qt5.5制作简单的屏幕截图程序
- 信息安全系统设计基础第十一周学习总结
- Qt中快捷键使用