基于大数据的电影网站项目开发之Hadoop2.6.0伪分布式设置(二)
2017-09-13 09:55
357 查看
一、jdk的安装
1、将linux版本的jdk通过xftp上传到hadoop用户目录下,在这之前首先需要安装Xshell和Xftp,在安装完成后,打开xshell并新建会话;
输入会话名称,协议选择SSH,输入虚拟机内主机的IP,这个IP的配置在上一篇文章已经进行了讲解。
在输入完毕后进行连接,然会会提示你输入用户名和密码,即主机的用户名和密码(用户名为你当时配置的简称),然会连接成功,如下图所示
接下来打开xftp
新建一个soft文件夹,用于存放jdk、hadoop等软件
将jdk免安装压缩包(我这里使用的是jdk-8u121-linux-x64.tar.gz,请在网上自行下载)Ctrl+C、Ctrl+V复制到soft目录下;
然后在xshell中输入命令 cd soft进入soft文件夹,输入tar -zxvf jdk-8u121-linux-x64.tar.gz命令进行解压;
解压完成后,在oracle用户的根目录有一个jdk1.8.0_121目录
2、配置环境变量,需要修改/etc/profile文件(root用户操作)
切到root用户,输入命令vi /etc/profile;进去编辑器后,输入i,进入vi编辑器的插入模式;
在profile文件最后添加
JAVA_HOME=/home/hadoop/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin
编辑完成后,按下esc退出插入模式
输入:,这时在左下角有一个冒号的标识,输入wq进行保存退出
q 退出不保存
wq 保存退出
q! 强制退出
3、把修改的环境变量生效(hadoop用户操作)
在用户根目录下执行source /etc/profile(进入用户根目录的命令:cd ~)
二、Hadoop安装
1、通过xftp将hadoop-2.6.0.tar.gz上传到虚拟机中,操作步骤和上传jdk基本一致,在soft目录下使用tar -zxvf hadoop-2.6.0.tar.gz进行解压;
解压完成在oracle用户的根目录下有一个hadoop-2.6.0目录
2、修改配置文件hadoop-2.6.0/etc/hadoop/hadoop-env.sh(hadoop用户操作)
export JAVA_HOME=/home/hadoop/soft/jdk1.8.0_121
3、修改配置文件hadoop-2.6.0/etc/hadoop/core-site.xml,添加(hadoop用户操作)
<property>
<name>fs.defaultFS</name>
<value>hdfs://oracle:9000</value>
</property>
4、修改配置文件hadoop-2.6.0/etc/hadoop/hdfs-site.xml,添加(hadoop用户操作)
<property>
<value>1</value>
</property>
5、修改修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml(hadoop用户操作)
这个文件没有,需要复制一份
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
添加
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
6、修改配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml,添加(hadoop用户操作)
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
7、修改/etc/hosts文件(root用户操作),添加:ip 主机名称(这里根据自己的设置填写)
192.168.159.99 hadoop
8、格式化HDFS,在hadoop解压目录下,执行如下命令:(hadoop用户操作)
bin/hdfs namenode –format
注意:格式化只能操作一次,如果因为某种原因,集群不能用,需要再次格式化,需要把上一次格式化的信息删除,在/tmp目录里执行rm–rf *
9、启动集群,在hadoop解压目录下,执行如下命令:(hadoop用户操作)
启动集群:sbin/start-all.sh需要输入四次当前用户的密码(通过配置ssh互信解决)
启动后,在命令行输入jps有以下输出
[meng@hadoop hadoop-2.6.0]$ jps
32033 Jps
31718 SecondaryNameNode
31528 DataNode
31852 ResourceManager
31437 NameNode
31949 NodeManager
关闭集群:sbin/stop-all.sh需要输入四次当前用户的密码(通过配置ssh互信解决)
三、SSH互信配置(hadoop用户操作)
rsa加密方法,公钥和私钥
1、生成公钥和私钥
在命令行执行ssh-keygen(注意-前没有空格),然后回车,然后会提示输入内容,什么都不用写,一路回车
在hadoop用户根目录下,有一个.ssh目录
id_rsa 私钥
id_rsa.pub 公钥
known_hosts 通过SSH链接到本主机,都会在这里有记录
2、把公钥给信任的主机(本机)
在命令行输入ssh-copy-id 主机名称
例如 ssh-copy-id hadoop
复制的过程中需要输入信任主机的密码
3、验证,在命令行输入:ssh 信任主机名称
ssh hadoop
如果没有提示输入密码,则配置成功
接下来会简单介绍一下hadoop的基本操作命令
1、将linux版本的jdk通过xftp上传到hadoop用户目录下,在这之前首先需要安装Xshell和Xftp,在安装完成后,打开xshell并新建会话;
输入会话名称,协议选择SSH,输入虚拟机内主机的IP,这个IP的配置在上一篇文章已经进行了讲解。
在输入完毕后进行连接,然会会提示你输入用户名和密码,即主机的用户名和密码(用户名为你当时配置的简称),然会连接成功,如下图所示
接下来打开xftp
新建一个soft文件夹,用于存放jdk、hadoop等软件
将jdk免安装压缩包(我这里使用的是jdk-8u121-linux-x64.tar.gz,请在网上自行下载)Ctrl+C、Ctrl+V复制到soft目录下;
然后在xshell中输入命令 cd soft进入soft文件夹,输入tar -zxvf jdk-8u121-linux-x64.tar.gz命令进行解压;
解压完成后,在oracle用户的根目录有一个jdk1.8.0_121目录
2、配置环境变量,需要修改/etc/profile文件(root用户操作)
切到root用户,输入命令vi /etc/profile;进去编辑器后,输入i,进入vi编辑器的插入模式;
在profile文件最后添加
JAVA_HOME=/home/hadoop/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin
编辑完成后,按下esc退出插入模式
输入:,这时在左下角有一个冒号的标识,输入wq进行保存退出
q 退出不保存
wq 保存退出
q! 强制退出
3、把修改的环境变量生效(hadoop用户操作)
在用户根目录下执行source /etc/profile(进入用户根目录的命令:cd ~)
二、Hadoop安装
1、通过xftp将hadoop-2.6.0.tar.gz上传到虚拟机中,操作步骤和上传jdk基本一致,在soft目录下使用tar -zxvf hadoop-2.6.0.tar.gz进行解压;
解压完成在oracle用户的根目录下有一个hadoop-2.6.0目录
2、修改配置文件hadoop-2.6.0/etc/hadoop/hadoop-env.sh(hadoop用户操作)
export JAVA_HOME=/home/hadoop/soft/jdk1.8.0_121
3、修改配置文件hadoop-2.6.0/etc/hadoop/core-site.xml,添加(hadoop用户操作)
<property>
<name>fs.defaultFS</name>
<value>hdfs://oracle:9000</value>
</property>
4、修改配置文件hadoop-2.6.0/etc/hadoop/hdfs-site.xml,添加(hadoop用户操作)
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
5、修改修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml(hadoop用户操作)
这个文件没有,需要复制一份
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
添加
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
6、修改配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml,添加(hadoop用户操作)
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
7、修改/etc/hosts文件(root用户操作),添加:ip 主机名称(这里根据自己的设置填写)
192.168.159.99 hadoop
8、格式化HDFS,在hadoop解压目录下,执行如下命令:(hadoop用户操作)
bin/hdfs namenode –format
注意:格式化只能操作一次,如果因为某种原因,集群不能用,需要再次格式化,需要把上一次格式化的信息删除,在/tmp目录里执行rm–rf *
9、启动集群,在hadoop解压目录下,执行如下命令:(hadoop用户操作)
启动集群:sbin/start-all.sh需要输入四次当前用户的密码(通过配置ssh互信解决)
启动后,在命令行输入jps有以下输出
[meng@hadoop hadoop-2.6.0]$ jps
32033 Jps
31718 SecondaryNameNode
31528 DataNode
31852 ResourceManager
31437 NameNode
31949 NodeManager
关闭集群:sbin/stop-all.sh需要输入四次当前用户的密码(通过配置ssh互信解决)
三、SSH互信配置(hadoop用户操作)
rsa加密方法,公钥和私钥
1、生成公钥和私钥
在命令行执行ssh-keygen(注意-前没有空格),然后回车,然后会提示输入内容,什么都不用写,一路回车
在hadoop用户根目录下,有一个.ssh目录
id_rsa 私钥
id_rsa.pub 公钥
known_hosts 通过SSH链接到本主机,都会在这里有记录
2、把公钥给信任的主机(本机)
在命令行输入ssh-copy-id 主机名称
例如 ssh-copy-id hadoop
复制的过程中需要输入信任主机的密码
3、验证,在命令行输入:ssh 信任主机名称
ssh hadoop
如果没有提示输入密码,则配置成功
接下来会简单介绍一下hadoop的基本操作命令
相关文章推荐
- 基于大数据的电影网站项目开发之Hadoop2.6.0伪分布式设置(二)
- 基于大数据的电影网站项目开发之HBase分布式安装(四)
- 基于大数据的电影网站项目开发之Hive的配置(五)
- 基于大数据的电影网站项目开发之阶段性总结(三)
- 项目开发中的一些注意事项以及技巧总结 基于Repository模式设计项目架构—你可以参考的项目架构设计 Asp.Net Core中使用RSA加密 EF Core中的多对多映射如何实现? asp.net core下的如何给网站做安全设置 获取服务端https证书 Js异常捕获
- Hadoop学习笔记—20.网站日志分析项目案例(二)数据清洗
- Hadoop学习笔记—20.网站日志分析项目案例(二)数据清洗
- 基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析
- 基于rails的schedule网站开发(5):使用password_digest设置密码
- 大数据项目实践:基于hadoop+spark+mongodb+mysql开发医院临床知识库系统
- vs2013开发64位网站和项目设置
- Hadoop学习笔记—20.网站日志分析项目案例(二)数据清洗
- Hadoop+Spark+MongoDB+MySQL+C#大数据开发项目最佳实践
- 为什么要用hibernate 与基于数据库表结构的项目开发
- 基于Ubuntu14.04的Hadoop2.6.0完全分布式安装
- 基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析视频教程
- [2]项目创建-使用C#.NET开发基于本地数据缓存的PC客户端
- 手机应用在开发即时通讯项目功能时,不要使用基于socket.io的数据推送
- linux(CentOS 7)下eclipse配置maven-3.3.3 和新建maven项目开发hadoop-2.6.0接口