[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(三)
2016-05-24 21:47
579 查看
这是本指南的第三篇,本熊做这个的初衷就是刷刷小Y的好感度,但直到完成还是迷迷糊糊的。对于本熊而言读女人心简直堪比读算法导论,虽然两个都不太读得懂。本熊这段时间看到过关于交友平台的机器人的纪录片,让机器算法来搭讪自己潜在的伴侣,这是个很浪漫有趣的想法,会有人喜欢上这个像dull dull dull 的人类的机器人吗? I’m curious
纯初学者说明模式
本章节主讲实现本地模式
Hbase的安装配置
Hbase的简单语句
相对应的Hadoop配置
SSH免密码登录
以下是本熊的解压位置:
HadoopPath的值就是
HbasePath的值就是
NutchPath的值就是
各位可以按照自己的路径进行设置,本熊再次只为说明方便
在HbasePath下,在
在相同目录下修改hbase-site.xml,在
因为采用的是hdfs,
bash ./bin/start-hbase.sh
开启Hbase的服务,此时在浏览器输入以下网址 http://localhost:60010/master-status 可以看见Hbase的homepage
这里可以看见Hbase数据库中所有的表和信息,除此之外还有一种 方式在终端内实现查看(适用于非图形界面的系统)
在HbasePath目录下,在终端输入
启动Hbase的Shell模式,如下图
可以实用简单的指令实现查询
查看Hbase数据库内所有的表
查看Hbase数据库内名为Table表的内容
以上是使用Nutch的Hbase的简单的基础语法和配置
这三个属性分别是hdfs的主机位置,再连接的次数与hadoop缓存存放位置
在相同目录下,将 mapred-site.xml.template 在当前目录复制黏贴,并重命名为mapred-site.xml 在
此处代表执行map phase的tracker的主机,因为是本地伪集群,故写成这样
开启终端,输入以下指令,安装ssh
在终端,输入以下指令,开启ssh服务
输入以下命令,制作ssh密钥上传到本机
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
可以用以下命令检测是否成功,成功的话会显示系统版本及登录时间
在终端输入下面的命令,成功后可以下图
我们可以清楚的看出hadoop的执行过程,dfs与yarn,hadoop成功启动
有兴趣的看官们,本熊强烈推荐可以去试试hadoop自带的WordCount程序来体验一把hadoop,具体的部分可以参照hadoop官网的说明,十分有助于理解hadoop的工作机制哦
往期内容
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(一)
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(二)
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(三)
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(四)
纯初学者说明模式
本章节主讲实现本地模式
Hbase的安装配置
Hbase的简单语句
相对应的Hadoop配置
SSH免密码登录
0.路径说明
本熊假设Hadoop的主目录为HadoopPath,Hbase的主目录为HbasePath以下是本熊的解压位置:
HadoopPath的值就是
/usr/Dzy/hadoop-2.5.2
HbasePath的值就是
/usr/Dzy/hbase-0.98.8-hadoop2
NutchPath的值就是
/usr/Dzy/apache-nutch-2.3.1
各位可以按照自己的路径进行设置,本熊再次只为说明方便
1.Hbase安装与配置
1.1 Hbase配置修改
本熊只配置所需的最低设定了,各位可以参照官方文档尝试更多的有趣的设置在HbasePath下,在
/conf下修改hbase-env.sh,添加以下设置
export JAVA_HOME=/usr/jdk/
在相同目录下修改hbase-site.xml,在
<configuration></configuration>标签中添加以下设置
<property> <name>hbase.rootdir</name> <value>hdfs://localhost:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property>
因为采用的是hdfs,
hbase.rootdir代表hbase的主目录在hdfs的位置,
hbase.cluster.distributed代表hbase的启动模式是本机还是集群
1.2 Hbase启动与简单查询
在HbasePath目录下,启动终端输入bash ./bin/start-hbase.sh
开启Hbase的服务,此时在浏览器输入以下网址 http://localhost:60010/master-status 可以看见Hbase的homepage
这里可以看见Hbase数据库中所有的表和信息,除此之外还有一种 方式在终端内实现查看(适用于非图形界面的系统)
在HbasePath目录下,在终端输入
./bin/hbase shell
启动Hbase的Shell模式,如下图
可以实用简单的指令实现查询
list
查看Hbase数据库内所有的表
scan 'Table'
查看Hbase数据库内名为Table表的内容
以上是使用Nutch的Hbase的简单的基础语法和配置
2.Hadoop安装与配置
在HadoopPath下/etc/hadoop目录中的修改core-site.xml内在
<configuration></configuration>标签中添加以下设置
<property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/tmp</value> </property>
这三个属性分别是hdfs的主机位置,再连接的次数与hadoop缓存存放位置
在相同目录下,将 mapred-site.xml.template 在当前目录复制黏贴,并重命名为mapred-site.xml 在
<configuration></configuration>标签中添加以下设置
<property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property>
此处代表执行map phase的tracker的主机,因为是本地伪集群,故写成这样
3.SSH免密码登录
采用ssh策略的原因为了hadoop中zookeeper的管理便利,我们所知远程访问主机采取的多为 用户名+密码 的模式,往往因为权限问题导致错误,本熊发现ssh策略就可以很好的回避这点开启终端,输入以下指令,安装ssh
sudo apt-get install openssh-server
在终端,输入以下指令,开启ssh服务
service sshd restart
输入以下命令,制作ssh密钥上传到本机
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
可以用以下命令检测是否成功,成功的话会显示系统版本及登录时间
ssh localhost
4.Hadoop的启动
启动Hadoop
在HadoopPath下,在终端输入以下命令,执行namenode初始化bin/hadoop namenode -format
在终端输入下面的命令,成功后可以下图
bash ./sbin/start-all.sh
我们可以清楚的看出hadoop的执行过程,dfs与yarn,hadoop成功启动
有兴趣的看官们,本熊强烈推荐可以去试试hadoop自带的WordCount程序来体验一把hadoop,具体的部分可以参照hadoop官网的说明,十分有助于理解hadoop的工作机制哦
第三期完
写到现在突然发现本熊和小Y,一个缺智商,一个缺情商。形象的说宅若久时天然呆,呆到深处自然萌 又宅又呆的小Y看来只有走仓鼠的蠢萌路线了,本熊表示很心痛。玩笑话就说到这里,本熊又宅又呆已有二十余载,突悟还是要学学年轻人该有的生活方式,不知道各位的年轻时是如何打发自己的,本熊也想学学(。・д・。) ( ・ˍ・) (・ˍ・*) (・-・。)
往期内容
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(一)
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(二)
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(三)
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南(四)
相关文章推荐
- Linux socket 初步
- Linux Kernel 4.0 RC5 发布!
- linux lsof详解
- linux 文件权限
- Linux 执行数学运算
- 10 篇对初学者和专家都有用的 Linux 命令教程
- Linux 与 Windows 对UNICODE 的处理方式
- Ubuntu12.04下QQ完美走起啊!走起啊!有木有啊!
- 解決Linux下Android开发真机调试设备不被识别问题
- 详解HDFS Short Circuit Local Reads
- 运维入门
- 运维提升
- Linux 自检和 SystemTap
- Ubuntu Linux使用体验
- c语言实现hashmap(转载)
- Linux 信号signal处理机制
- linux下mysql添加用户
- Scientific Linux 5.5 图形安装教程