基于Raspberry Pi Raspbian 的 Hadoop 安装
2017-07-31 10:36
190 查看
太卡了,简直没法用,进程总是挂掉,结论就是pi无法作为hadoop的节点
一、安装Raspbian
准备:
1·Rsapberry Pi
2·8G内存卡一张(格式化)
3·网络(有线)
开始安装:
这里使用的是官方推荐的NOOBS,将下载的NOOBS解压后,将NOOBS文件夹中的全部文件拷贝到已经格式化的内存卡中,
然后将内存卡插入树莓派中,上电自动开机,出现系统安装选择界面,这里选择的是比较成熟的Raspbian操作系统(本地文件安装),也就是第二项,选中后,Install
这将耗费20分钟左右,自动安装完成后,有更多的个性化操作,这里没有进行更多操作,直接选择【Finish】进入该Raspbian系统中,默认是账户是pi,密码是raspberrypi
想要使用root账户的话,可以这样设置密码:
pi@raspberrypi ~ $ su passwd root
二、安装Hadoop
1、首先安装好JDK环境
由于该系统已经有配置好的JDK环境,并且安装目录在:
pi@raspberrypi / $ cd usr/lib/jvm/jdk-7-oracle-armhf/
并且环境变量已经配置好了(暖暖的,很贴心):
2、好,进入Hadoop安装:
这里安装1.2版本
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
解压缩:、
tar -zxvf hadoop-1.2.1.tar.gz
然后进入该目录,配置hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml四个文件;:
cd hadoop-1.2.1/conf
首先是:
vim hadoop-env.sh
高亮处配置成JDK的安装目录,上述由提到。
然后配置三个xml文件:
分别是:
(1)core-site.xml
root@raspberrypi:/opt/hadoop-1.2.1/conf# cat core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://raspberrypi:9000</value>
</property>
</configuration>
(2)hdfs-site.xml:
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/name</value>
<description>Determines where on the local filesystem the DFS name node
should store the name table(fsimage). If this is a comma-delimited list
of directories then the name table is replicated in all of the
directories, for redundancy. </description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/data</value>
<description>Determines where on the local filesystem an DFS data node
should store its blocks. If this is a comma-delimited
list of directories, then data will be stored in all named
directories, typically on different devices.
Directories that do not exist are ignored.
</description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.block.size</name>
<value>134217728</value>
</property>
64M: 67108864
32M: 33554432
16M: 16777216
8M: 8388608
4M: 4194304
</configuration>
(3)
mapred-site.xml
<configuration>
<property>
<name>mapreduce.jobtracker.address</name>
<value>raspberrypi:9001</value>
<description>jobtracker's address</description>
</property>
</configuration>
配置/etc/profile
JAVA_HOME=/usr/lib/jvm/jdk-7-oracle-armhf/
JRE_HOME=$JAVA_HOME/jre
HADOOP_HOME=/opt/hadoop-1.2.1
CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
不知道怎么回事,hadoop的环境变量可能没有配置好,只能到
/opt/hadoop-1.2.1/bin 目录下执行:
./hadoop namenode -format
./start-all.sh
把这些服务都启动起来,要输入三次密码
jps查看下都起来了没有。
到此,hadoop,单机算是安装完成了
一、安装Raspbian
准备:
1·Rsapberry Pi
2·8G内存卡一张(格式化)
3·网络(有线)
开始安装:
这里使用的是官方推荐的NOOBS,将下载的NOOBS解压后,将NOOBS文件夹中的全部文件拷贝到已经格式化的内存卡中,
然后将内存卡插入树莓派中,上电自动开机,出现系统安装选择界面,这里选择的是比较成熟的Raspbian操作系统(本地文件安装),也就是第二项,选中后,Install
这将耗费20分钟左右,自动安装完成后,有更多的个性化操作,这里没有进行更多操作,直接选择【Finish】进入该Raspbian系统中,默认是账户是pi,密码是raspberrypi
想要使用root账户的话,可以这样设置密码:
pi@raspberrypi ~ $ su passwd root
二、安装Hadoop
1、首先安装好JDK环境
由于该系统已经有配置好的JDK环境,并且安装目录在:
pi@raspberrypi / $ cd usr/lib/jvm/jdk-7-oracle-armhf/
并且环境变量已经配置好了(暖暖的,很贴心):
2、好,进入Hadoop安装:
这里安装1.2版本
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
解压缩:、
tar -zxvf hadoop-1.2.1.tar.gz
然后进入该目录,配置hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml四个文件;:
cd hadoop-1.2.1/conf
首先是:
vim hadoop-env.sh
高亮处配置成JDK的安装目录,上述由提到。
然后配置三个xml文件:
分别是:
(1)core-site.xml
root@raspberrypi:/opt/hadoop-1.2.1/conf# cat core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://raspberrypi:9000</value>
</property>
</configuration>
(2)hdfs-site.xml:
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/name</value>
<description>Determines where on the local filesystem the DFS name node
should store the name table(fsimage). If this is a comma-delimited list
of directories then the name table is replicated in all of the
directories, for redundancy. </description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/data</value>
<description>Determines where on the local filesystem an DFS data node
should store its blocks. If this is a comma-delimited
list of directories, then data will be stored in all named
directories, typically on different devices.
Directories that do not exist are ignored.
</description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.block.size</name>
<value>134217728</value>
</property>
64M: 67108864
32M: 33554432
16M: 16777216
8M: 8388608
4M: 4194304
</configuration>
(3)
mapred-site.xml
<configuration>
<property>
<name>mapreduce.jobtracker.address</name>
<value>raspberrypi:9001</value>
<description>jobtracker's address</description>
</property>
</configuration>
配置/etc/profile
JAVA_HOME=/usr/lib/jvm/jdk-7-oracle-armhf/
JRE_HOME=$JAVA_HOME/jre
HADOOP_HOME=/opt/hadoop-1.2.1
CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
不知道怎么回事,hadoop的环境变量可能没有配置好,只能到
/opt/hadoop-1.2.1/bin 目录下执行:
./hadoop namenode -format
./start-all.sh
把这些服务都启动起来,要输入三次密码
jps查看下都起来了没有。
到此,hadoop,单机算是安装完成了
相关文章推荐
- 基于Raspberry Pi Raspbian 的 Hadoop 安装
- 基于hadoop2.6.0的hive-1.2.1安装
- Hadoop---在window下的安装配置----基于cygwin的
- Hive1.1安装配置,基于最小安装的CentOS7、hadoop2.6、MySQL
- 安装基于hadoop集群的高可用完全分布式的spark高可用集群
- 【大数据】基于Hadoop的HBase的安装(转)
- 基于hadoop2.6.0的hbase0.96.2安装配置
- 在Raspberry Pi 的Raspbian 操作系统上安装中文环境
- 6步搞定基于Ubuntu Linux的Hadoop的安装与配置
- 基于hadoop2.6.0,以mysql为元数据的hive 1.1.0安装初体验
- 基于hadoop的hive derby嵌入模式安装
- hadoop-2.3.0-cdh5.1.0伪分布安装(基于centos)
- CentOS基于Hadoop2.7安装hive2.1
- hadoop-0.20-集群搭建___实体机通过SSH访问基于VM安装的Linux
- Hadoop完全分布式集群安装及配置(基于虚拟机)
- 为树莓派(Raspberry pi 2)安装raspbian系统,并用windows自带的远程桌面连接登录
- 通过tarball形式安装HBASE Cluster(CDH5.0.2)——Hadoop NameNode HA 切换引起的Hbase错误,以及Hbase如何基于NameNode的HA进行配置
- 基于cdh5.10.x hadoop版本的apache源码编译安装spark
- 基于hadoop集群的hive 安装及异常解决方法
- HBase 的安装(基于Hadoop HA 的集群)