在windows下开发MR时,提交运行时,出现java.net.UnknownHostException:XXX异常
2017-07-06 16:03
489 查看
在eclipse编写mr时,需要配置hadoop环境,需要引入必要的jar包外,还需要拷贝一个配置文件,一个是core-site.xml文件即可,这个core-site.xml可以直接从hadoop安装目录里拷贝,但是这两个属性很关键:
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>d:/data1/hadoop/tmp</value>
</property>
其中第一个属性,描述了文件系统目录地址,如果将fs.defaultFS的value值改为file:///,那么只能读写本地磁盘上的文件;只有将value值写成hadoop集群上主节点的地址,才能读写hdfs文件系统;
第二个属性:描述了mr程序运行时产生的日志目录
现在说说出现上述异常的解决方法:
当在windows端进行开发并调试时,需要修改windows的hosts文件,在c:\Windows\System32\drivers\etc\hosts文件,使用管理员权限打开,并添加一下内容:
192.168.8.117 master
192.168.8.118 slave1
192.168.8.119 slave2
保存即可解决
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>d:/data1/hadoop/tmp</value>
</property>
其中第一个属性,描述了文件系统目录地址,如果将fs.defaultFS的value值改为file:///,那么只能读写本地磁盘上的文件;只有将value值写成hadoop集群上主节点的地址,才能读写hdfs文件系统;
第二个属性:描述了mr程序运行时产生的日志目录
现在说说出现上述异常的解决方法:
当在windows端进行开发并调试时,需要修改windows的hosts文件,在c:\Windows\System32\drivers\etc\hosts文件,使用管理员权限打开,并添加一下内容:
192.168.8.117 master
192.168.8.118 slave1
192.168.8.119 slave2
保存即可解决
相关文章推荐
- mac 上运行cassandra出现的java.net.MalformedURLException: Local host name unknown: java.net.UnknownHostException: : : unknown error错误解决方法
- spark 提交jar包到集群运行报异常 java.net.UnknownHostException: mycluster
- android开发 java.net.UnknownHostException:URL 异常解决办法
- 解决mac OS X 下出现的 java.net.UnknownHostException 异常
- 关于win10下eclipse编译wordcount出现 java.net.UnknownHostException: unknown host:master
- log4j出现Caused by: java.net.UnknownHostException: www.w3.org
- Linux出现java.net.UnknownHostException异常问题的解决办法
- Linux出现java.net.UnknownHostException异常问题的解决办法
- struts2断网出现的错误java.net.UnknownHostException: struts.apache.org struts2断网出现的错误java.net.UnknownHo
- hadoop格式化namenode出现“java.net.UnknownHostException: master: master: 未知的名称或服务”
- Java企业微信开发_11_异常:java.net.UnknownHostException: qyapi.weixin.qq.com
- Linux下部署hadoop出现java.net.UnknownHostException
- linux下出现java.net.UnknownHostException
- Android模拟器访问google网站获取天气信息时,出现 java.net.UnknownHostException: www.google.com 错误
- java开发hadoop报错误 java.net.UnknownHostException
- spark提交任务:java.net.UnknownHostException: cluster1
- HBase开发错误记录(一):java.net.UnknownHostException: unknown host: master
- Java解释XML出现DocumentBuilder.parse java.net.UnknownHostException的问题处理
- 记一次storm异常(提交topology时发生,启动均无异常)--java.net.UnknownHostException
- Linux出现java.net.UnknownHostException异常问题的解决办法