windows下使用eclipse远程编写hadoop配置
2016-04-07 20:17
537 查看
1、按照一般方法配置好hadoop伪分布式,注意core-site.xml和mapred-site.xml用IP,不要用localhost
2、格式化hdfs文件系统hadoop namenode -format
2、更改本地用户名为远程服务器的hadoop用户名,我的直接改成了root
3、我使用的hadoop-1.2.1,eclipse为3.6,插件为hadoop-eclipse-plugin-1.2.1、jdk1.6,location设置如下,9009对应mapred-site.xml中mapred.job.tracker端口,9008对应core-site.xml中df.default.name的端口
4、可能会出现连接不上的情况,使用netstat -nap | gerp port查看对应端口情况,本人查询情况如下,使用telnet ip port查看端口是否可以连通
第一列是协议Proto 第四列是Local Address 第五列是
Foreign Address
Connected to ...表示连通上了
4、注意eclipse的jdk路径、workspace路径、hadoop路径都不要有中文和空格
5、如果出现Failed to set permissions of path: \tmp\hadoop-root\mapred\staging\root1313294990\.staging to 0700错误,将本地hadoop-core-1.2.1.jar换成
修改/hadoop-1.0.2/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue,重新编译打包的hadoop-core-1.0.2.jar,地址
2、格式化hdfs文件系统hadoop namenode -format
2、更改本地用户名为远程服务器的hadoop用户名,我的直接改成了root
3、我使用的hadoop-1.2.1,eclipse为3.6,插件为hadoop-eclipse-plugin-1.2.1、jdk1.6,location设置如下,9009对应mapred-site.xml中mapred.job.tracker端口,9008对应core-site.xml中df.default.name的端口
4、可能会出现连接不上的情况,使用netstat -nap | gerp port查看对应端口情况,本人查询情况如下,使用telnet ip port查看端口是否可以连通
第一列是协议Proto 第四列是Local Address 第五列是
Foreign Address
Connected to ...表示连通上了
4、注意eclipse的jdk路径、workspace路径、hadoop路径都不要有中文和空格
5、如果出现Failed to set permissions of path: \tmp\hadoop-root\mapred\staging\root1313294990\.staging to 0700错误,将本地hadoop-core-1.2.1.jar换成
修改/hadoop-1.0.2/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue,重新编译打包的hadoop-core-1.0.2.jar,地址
相关文章推荐
- Java字节流和字符流
- Java定时任务(2)
- 【开发环境问题】eclipse调试java web应用程序,应用程序奔溃
- Java 浅谈集合框架
- java.sql.SQLException: [Microsoft][ODBC 驱动程序管理器] 未发现数据源名称并且未指定默认驱动程序
- spring注解 repository,component,service,controller
- 代理模式及jdk动态代理原理
- Java IO之File
- dx编译Hello.java的总结
- Java并发编程系列之二十五:线程池
- spring MVC入门
- Java语言跨平台的原因
- Java实现八皇后问题,用数组递归算法,简单易懂
- Spring MVC 解读——<mvc:annotation-driven/>
- spring 配置文件中的占位符 使用 context:property-placeholder
- Java Script之创建对象
- Java基础知识
- java中方法的覆盖与覆写
- java 访问权限修饰符理解
- Spring+SpringMVC+MyBatis