Ubuntu安装单机版hadoop注意事项
2015-10-01 15:06
232 查看
网上Ubuntu安装单机版的案例教程很多,本人参考
:http://www.linuxidc.com/Linux/2015-04/116447.htm
进行安装。在创建hadoop用户以及更改权限时,在系统设置的界面可以把hadoop设置为管理员,从而具有root 的权限。比如可以进入root目录等。
1.创建ssh
使用 sudo apt-getinstallssh
openssh-server 命令可以方便的创建ssh,但是在设置ssh无密码登录时,ssh-keygen
-t rsa -P “”该命令必须是大写P,而不能是小写。
2.新版的hadoop在配置文件时,所有的配置文件在etc中,且mapred-site.xml文档更换为yarn-site.xml.即对yarn-site.xml进行相关设置。
3.启动hadoop后,运行Wordcount案例时,出现wordcount hdfs://localhost:9000/input not exist错误提示。这是因为在安装好hadoop并启动后,测试案例时只在本地硬盘建立了input文件夹,而没有把input中的文件上传至hdfs所致,首先使用
、bin/hadoop fs -mkdir /input
在hdfs上创建输入文件夹目录。然后把本地硬盘上的文件传进input里面:(具体的文件路径有所不同)
bin/hadoop fs -put ~/hadoop/input/README.txt /input
4.另外,也要注意Ubuntu的版本,hadoop是在32位环境下编译的,运行在64位Ubuntu的时候可能会有native数据库加载异常提醒。
:http://www.linuxidc.com/Linux/2015-04/116447.htm
进行安装。在创建hadoop用户以及更改权限时,在系统设置的界面可以把hadoop设置为管理员,从而具有root 的权限。比如可以进入root目录等。
1.创建ssh
使用 sudo apt-getinstallssh
openssh-server 命令可以方便的创建ssh,但是在设置ssh无密码登录时,ssh-keygen
-t rsa -P “”该命令必须是大写P,而不能是小写。
2.新版的hadoop在配置文件时,所有的配置文件在etc中,且mapred-site.xml文档更换为yarn-site.xml.即对yarn-site.xml进行相关设置。
3.启动hadoop后,运行Wordcount案例时,出现wordcount hdfs://localhost:9000/input not exist错误提示。这是因为在安装好hadoop并启动后,测试案例时只在本地硬盘建立了input文件夹,而没有把input中的文件上传至hdfs所致,首先使用
、bin/hadoop fs -mkdir /input
在hdfs上创建输入文件夹目录。然后把本地硬盘上的文件传进input里面:(具体的文件路径有所不同)
bin/hadoop fs -put ~/hadoop/input/README.txt /input
4.另外,也要注意Ubuntu的版本,hadoop是在32位环境下编译的,运行在64位Ubuntu的时候可能会有native数据库加载异常提醒。
相关文章推荐
- 如何检查Linux服务器是否受到DDOS攻击
- Linux 命令 - rm: 删除文件和目录
- 关于Tomcat的安装
- Kali LInux 下Osmocom-BB开源项目
- Yahoo!团队:网站性能优化的35条黄金守则
- Linux 命令 - mv: 移动或重命名文件
- Linux 内核开发 - 进程空间
- linux常用命令
- ramoops具体失败原因来解释驱动寄存器
- 高可用&负载均衡常用架构
- CentOS 7上部署Wordpress 、Myadmin和Discuz
- Centos 7 中修改ssh端口号的方法
- CentOS 7 firewalld使用简介
- CentOS7下Firewall防火墙配置用法详解
- CentOS 7 使用经验
- linux 切图命令
- 服务器监控客户端系统状态2.0
- 在CentOS7.0安装php5.6
- Linux 命令 - cp: 拷贝文件和目录
- 《不花钱学法语》--18个网站,强化法语六力