使用shell分页读取600万+的MySQL数据脚本
2015-07-15 00:00
513 查看
shell-mysql
(1)脚本背景:
由于要在Linux上,远程读取mysql的表的数据,然后做一定清洗后,把数据上传至Hadoop集群中,使用Java写吧,感觉太麻烦了,得在Win上开发好,还得打成jar包, 上传到Linux上,如果那里出了问题,还得重复这样,非常不方便,那就用shell写一个吧,也不需要什么jdbc驱动包,只需要在Linux上装个MySQL的 客户端即可,用一行yum命令即可搞定,所以就花了点时间,封装了一个小脚本
(2)功能介绍:
直接在Linux下使用shell脚本远程分页读取MySQL表的数据的一个小脚本,已测过读取600万+的数据 效率与jdbc相差无几
(3)脚本介绍:
主要有三个脚本构成
1,page.sh 这是一主脚本,里面定义了分页的条件,大家看下便知
2,f.sh 一个小包装的脚本吧,里面会用sed去掉表头一些信息
3,port.sh 分页读取数据的执行脚本
(4)如何使用?
使用非常简单,需要改下page.sh里面的查询字段,以及分页查询的数量,默认是10000,然后执行sh page.sh databaseName tableName传入数据库名和表名即可
Github地址:https://github.com/qindongliang/shell-mysql
(1)脚本背景:
由于要在Linux上,远程读取mysql的表的数据,然后做一定清洗后,把数据上传至Hadoop集群中,使用Java写吧,感觉太麻烦了,得在Win上开发好,还得打成jar包, 上传到Linux上,如果那里出了问题,还得重复这样,非常不方便,那就用shell写一个吧,也不需要什么jdbc驱动包,只需要在Linux上装个MySQL的 客户端即可,用一行yum命令即可搞定,所以就花了点时间,封装了一个小脚本
(2)功能介绍:
直接在Linux下使用shell脚本远程分页读取MySQL表的数据的一个小脚本,已测过读取600万+的数据 效率与jdbc相差无几
(3)脚本介绍:
主要有三个脚本构成
1,page.sh 这是一主脚本,里面定义了分页的条件,大家看下便知
2,f.sh 一个小包装的脚本吧,里面会用sed去掉表头一些信息
3,port.sh 分页读取数据的执行脚本
(4)如何使用?
使用非常简单,需要改下page.sh里面的查询字段,以及分页查询的数量,默认是10000,然后执行sh page.sh databaseName tableName传入数据库名和表名即可
Github地址:https://github.com/qindongliang/shell-mysql
相关文章推荐
- MySQL中的integer 数据类型
- Linux socket 初步
- MySQL存储过程
- android wifi 无线调试
- 10 篇对初学者和专家都有用的 Linux 命令教程
- Linux 与 Windows 对UNICODE 的处理方式
- Ubuntu12.04下QQ完美走起啊!走起啊!有木有啊!
- 解決Linux下Android开发真机调试设备不被识别问题
- 运维入门
- 运维提升
- Linux 自检和 SystemTap
- mysql中int、bigint、smallint 和 tinyint的区别与长度
- mysql load data 导出、导入 csv
- 动态清空 nohup 输出文件
- install scrapy with pip and easy_install
- source命令执行SQL脚本文件
- Ubuntu Linux使用体验
- 《Linux命令、编辑器与Shell编程》部分高级练习解题思路