Hadoop相关日常操作
2015-08-28 16:37
369 查看
1.Hive相关
脚本导数据,并设置运行队列bin/beeline -u 'url' --outputformat=tsv -e "set mapreduce.job.queuename=queue_1" -e "select * from search_log where date <= 20150525 and date >= 20150523" > test.txt
2.Spark相关
spark任务提交$SPARK_HOME/bin/spark-submit --class com.test.SimilarQuery --master yarn-cluster --num-executors 40 --driver-memory 4g --executor-memory 2g --executor-cores 1 similar-query-0.0.1-SNAPSHOT-jar-with-dependencies.jar 20150819 /user/similar-query
3.Hadoop
执行MapReduce Job,并设置运行队列hadoop jar game-query-down-0.0.1-SNAPSHOT.jar QueryDownJob -Dmapreduce.job.queuename=sns_default arg1 arg2
相关文章推荐
- Hadoop相关日常操作
- arm-linux内核start_kernel之前启动分析(3)-开启MMU,走进新时代
- Linux 下从头再走 GTK+-3.0 (六)
- 如何在CentOS 5/6上安装EPEL源
- 【云快讯】《选择视频监控云11个理由》
- linux的几个内核镜像格式
- linux -- 服务开机自启动
- Mac下docker环境搭建
- Linux多线程编程
- [linux] vim命令
- Opencv中使用cvSobel算子一点注意
- OpenWrt TTL刷机原理
- Vsftpd在centos6.4的尝试
- openwrt框架分析
- openwrt个目录的说明
- Linux备用常用笔记——etc目录下主要配置文件解释
- Linux中表示“时间”的结构体和相关函数
- bash: ifconfig: command not found 解决办法
- Linux下面安装和配置MySQL
- 动画引擎pop