Hadoop 管理工具HUE配置-filebrowser配置
2015-07-19 16:27
549 查看
Hue提供了图形化截面管理HDFS数据,可谓之非常方便,但是在配置上,还是有点麻烦的。
WebHDFS:提供高速的数据传输,客户端直接和DataNode交互
HttpFSB:一个代理服务,方便与集群外部的系统集成
两者都支持Http REST API,但是HUe只能打开其中的一种方式,对于HDFS HA的部署方式,只能使用HttpFS。
对于WebHDFS的配置这里就不做介绍,下面介绍HttpFS的配置方式,首先需要配置hadoop中几个配置文件
这里一个需要注意的地方,hadoop.proxyuser.{hadoop}.hosts括号里面的是启动httpfs的用户名
这里一个需要注意的地方,httpfs.proxyuser.{hue}.hosts括号中的hue是HUE系统代理的用户,如果1.2 和 1.3配置不正确,那么在hue中是不能正确访问到数据的,因为HUE的用户和hadoop的用户不是一个概念,当时在这里卡了好久。
这里的webhdfs_url配置启动httpfs的主机端口。如何启动httpfs在/article/6161472.html 可以看到
如果配置成功之后,便在HUE中能看见hdfs上的所有数据,至于操作还需要权限。
1 /home/hadoop/software/cloud/hue/desktop/conf/pseudo-distributed.ini配置
Hue可以通过两种方式访问Hdfs中的数据WebHDFS:提供高速的数据传输,客户端直接和DataNode交互
HttpFSB:一个代理服务,方便与集群外部的系统集成
两者都支持Http REST API,但是HUe只能打开其中的一种方式,对于HDFS HA的部署方式,只能使用HttpFS。
对于WebHDFS的配置这里就不做介绍,下面介绍HttpFS的配置方式,首先需要配置hadoop中几个配置文件
1.1 core-site.xml配置
<property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value> <description>第二个hadoop是启动httpfs的用户名</description> </property> <property> <name>hadoop.proxyuser.hadoop.groups</name> <value>*</value> <description>第二个hadoop是启动httpfs的用户组名</description> </property>
这里一个需要注意的地方,hadoop.proxyuser.{hadoop}.hosts括号里面的是启动httpfs的用户名
1.2 httpfs-site.xml 配置
<!-- Hue HttpFS proxy user setting --> <property> <name>httpfs.proxyuser.hue.hosts</name> <value>*</value> <description>这里的hue是需要代理hadoop superuser的用户名</description> </property> <property> <name>httpfs.proxyuser.hue.groups</name> <value>*</value> <description>这里的hue是需要代理hadoop superuser的用户组名</description> </property>
这里一个需要注意的地方,httpfs.proxyuser.{hue}.hosts括号中的hue是HUE系统代理的用户,如果1.2 和 1.3配置不正确,那么在hue中是不能正确访问到数据的,因为HUE的用户和hadoop的用户不是一个概念,当时在这里卡了好久。
1.3 需改pseudo-distributed.ini 其中的hdfs配置
# Use WebHdfs/HttpFs as the communication mechanism. # Domain should be the NameNode or HttpFs host. # Default port is 14000 for HttpFs. ##--Customer Configuration --## webhdfs_url=http://1421-0002:14000/webhdfs/v1
这里的webhdfs_url配置启动httpfs的主机端口。如何启动httpfs在/article/6161472.html 可以看到
如果配置成功之后,便在HUE中能看见hdfs上的所有数据,至于操作还需要权限。
相关文章推荐
- 17-UIViewController 模态视图及view控制器里那几个方法作用
- UIView 层次结构
- iOS 生成随机颜色(UIColor)
- iOS SDK详解之UIScreen
- PAT (Advanced Level) 1004. Counting Leaves (30) 层序遍历,两个queue辅助
- java中queue的使用
- easyui组件解析的实现思路
- Vision Acquisition Software安装后IMAQdx,IMAQ函数不出现的问题
- [APUE]fork后子进程的运行情况
- CodeForces 373B——模拟——Making Sequences is Fun
- DirectUI界面编程(三)从XML文件中加载界面
- DirectUI界面编程(三)从XML文件中加载界面
- DirectUI界面编程(三)从XML文件中加载界面
- [Android UI]分享:简洁大方的自定义的进度条NumberProgressBar
- UIPickerView选择省市
- hdu 1242 Rescue(BFS搜索)
- cell自定义方式一 高度一致时
- UIcolor RGB颜色
- map(function, sequence)
- Android SystemUI源代码分析和修改