Hadoop环境搭建及测试
2014-01-08 12:10
330 查看
首先关于hadoop的伪分布式安装这里有个教程,Hadoop学习资源收集之haoop及伪分布式环境搭建可以参考: /article/4906094.html
Linux下编译运行Map Reduce程序,Hadoop目前已经是2.2.0不过由于我参考hadoop权威指南学习故下载的还是1.2.0版本。
(1)下载Hadoop-1.2.1源代码包
tar -zxvf hadoop-1.2.1.tar.gz
(2)设置Hadoop运行需要的JAVA_HOME
修改conf下的hadoop-env.sh添加 export JAVA_HOME=/usr/java/jdk
修改/etc/profile添加
进行了上述的操作后就可以运行标准模式下的hadoop命令测试了。。参考官网:
在Hadoop目录中
标准模式运行单独的java进程处理,现在来测试下伪分布式测试。。
首先修改conf/core-site.xml:
如果不可以进行下面的配置:
启动守护进程: bin/start-all.sh
可以通过下面路径查看namenode 和 jobtasker
Linux下编译运行Map Reduce程序,Hadoop目前已经是2.2.0不过由于我参考hadoop权威指南学习故下载的还是1.2.0版本。
(1)下载Hadoop-1.2.1源代码包
tar -zxvf hadoop-1.2.1.tar.gz
(2)设置Hadoop运行需要的JAVA_HOME
修改conf下的hadoop-env.sh添加 export JAVA_HOME=/usr/java/jdk
修改/etc/profile添加
export HADOOP_HOME=~/hadoop/hadoop-1.2.1 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HADOOP_HOME/hadoop-core-1.2.1.jar:$HADOOP_HOME/lib/commons-cli-1.2.jar(3)标准模式运行示例
进行了上述的操作后就可以运行标准模式下的hadoop命令测试了。。参考官网:
在Hadoop目录中
mkdir input $ cp conf/*.xml input $ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+' $ cat output/*(4)伪分布式
标准模式运行单独的java进程处理,现在来测试下伪分布式测试。。
首先修改conf/core-site.xml:
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>然后设置:conf/hdfs-site.xml:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>最后设置conf/mapred-site.xml:
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>检查是否可以使用 ssh localhost
如果不可以进行下面的配置:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys格式化namenode : 运行 bin/hadoop namenode -format
启动守护进程: bin/start-all.sh
可以通过下面路径查看namenode 和 jobtasker
NameNode - http://localhost:50070/ JobTracker - http://localhost:50030/[/code]复制文件到文件系统:
bin/hadoop fs -put conf input
参考官网:$ bin/hadoop fs -put conf input Run some of the examples provided: $ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+' Examine the output files: Copy the output files from the distributed filesystem to the local filesytem and examine them: $ bin/hadoop fs -get output output $ cat output/* or View the output files on the distributed filesystem: $ bin/hadoop fs -cat output/* When you're done, stop the daemons with: $ bin/stop-all.sh01.手工编译Wordcount程序的运行流程:
wordcount的源程序代码在:hadoop-1.2.1/src/examples/org/apache/hadoop/examples中
复制WordCount.java到任意喜欢的地方
创建目录以存放class文件, mkdir class
生成相应的jar文件 javac -d class WordCount.java 可以看到class文件夹下生成相应的.class文件
然后将生产的class文件打包为jar文件jar -cvf WordCount.jar -C class .
运行:bin/hadoop jar ~/hadoop/WordCount.jar WordCount input output (这里input文件夹是在当前目录下)
02.将文件放到分布式文件中运行bin/hadoop dfs -copyFromLocal input inputTest(默认路径在/usr/root/下。。
设置下日志信息vim /etc/profile 添加 xport HADOOP_LOG_DIR=/home/hadoop/log source /etc/profile使设置生效。。
在core-site.xml中可以设置
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hdfs/tmp</value>
</property>
Hadoop的默认临时路径
接下来可以运用相同的方法开始编写
相关文章推荐
- hadoop伪分布式环境搭建与测试
- hadoop2.7.2 win7 eclipse环境搭建测试
- 大数据测试之hadoop单机环境搭建(超级详细版)
- 搭建Cloud Computing测试环境--hadoop/hbase
- hadoop伪分布式环境搭建与测试
- hadoop 2.04测试环境搭建
- Hadoop 2.X伪分布式环境搭建和测试
- Win10不需要Cygwin搭建大数据测试环境(1)-Hadoop
- 搭建hadoop-0.20.2开发测试环境(二)
- hadoop本地环境测试搭建(windows)
- Hadoop完全分布式集群环境搭建及测试
- Hadoop 2.x伪分布式环境搭建测试
- 大数据测试之hadoop单机环境搭建(超级详细版)
- Hadoop-3.0.0测试(单机)环境搭建
- 入职任务--搭建hadoop和storm环境并测试(包含搭建文档和测试准备文档,测试文档)
- hadoop伪分布式环境搭建、测试与配置详解
- centos下搭建单机和伪分布式hadoop环境-(2)下载安装所需软件+测试hadoop的单机模式
- Ubuntu16 搭建 Hadoop2.x HDFS 源码测试环境
- Hadoop学习笔记3、Hadoop环境搭建及测试
- Hadoop2.x.x伪分布式环境搭建、测试