HDFS客户端的权限错误：Permission denied
2015-07-08 10:04
176 查看
本人通过cloudera5.4.1搭建了一个hadoop集群环境，先试试通过java客户端来操作分布式文件系统HDFS,结果出现如下错误：
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hdfs:supergroup:rwxr-xr-x
通过网络查找终寻得解决之道：
开始仔细的观察了这个错误的详细信息，看到user=Administrator, access=WRITE。这里的user其实是我当前系统（运行客户端的计算机的操作系统）的用户名，实际期望这里的user=hadoop（hadoop是我的HADOOP上面的用户名），但是它取的是当前的系统的用户名，很明显，如果我将当前系统的用户名改为hdfs，这个肯定也是可以行得通的，但是如果后期将开发的代码部署到服务器上之后，就不能方便的修改用户，此方法明显也不够方便。
现在就想着Configuration这个是一个配置类，有没有一个参数是可以在某个地方设置以哪个用户运行呢？搜索了半天，无果。没有找到相关的配置参数。
最终只有继续分析代码， FileSystem fs = FileSystem.get(URI.create(dest), conf);代码是在此处开始对HDFS进行调用，所以就想着将HADOOP的源码下下来，debug整个调用过程，这个user=Administator是在什么时间赋予的值。理解了调用过程，还怕找不到解决问题的办法么？
跟踪代码进入 FileSystem.get-->CACHE.get（）-->Key key = new Key(uri, conf);到这里的时候发现key值里面已经有Administrator了，所以关键肯定是在new key的过程。继续跟踪UserGroupInformation.getCurrentUser()-->getLoginUser()-->login.login()到这一步的时候发现用户名已经确定了，但是这个方法是Java的核心源码，是一个通用的安全认证，但对这一块不熟悉，但是debug时看到subject里面有NTUserPrincipal：Administator，所以就想着搜索一下这个东西是啥，结果就找到了下面这一篇关键的文章：
http://www.udpwork.com/item/7047.html
在此篇文章里面作者分析了hadoop的整个登录过程，对于我有用的是其中的这一段：
2.login.login();
这个会调用HadoopLoginModule的login()和commit()方法。
HadoopLoginModule的login()方法是一个空函数，只打印了一行调试日志 LOG.debug("hadoop login");
commit()方法负责把Principal添加到Subject中。
此时一个首要问题是username是什么？
在使用了kerberos的情况下，从javax.security.auth.kerberos.KerberosPrincipal的实例获取username。
在未使用kerberos的情况下，优先读取HADOOP_USER_NAME这个系统环境变量，如果不为空，那么拿它作username。否则，读取HADOOP_USER_NAME这个java环境变量。否则，从com.sun.security.auth.NTUserPrincipal或者com.sun.security.auth.UnixPrincipal的实例获取username。
如果以上尝试都失败，那么抛出异常LoginException("Can’t find user name")。
最终拿username构造org.apache.hadoop.security.User的实例添加到Subject中。
看完这一段，我明白了执行login.login的时候调用了hadoop里面的HadoopLoginModule方法，而关键是在commit方法里面，在这里优先读取HADOOP_USER_NAME系统环境变量，然后是java环境变量，如果再没有就从NTUserPrincipal等里面取。关键代码为：
if (!isSecurityEnabled() && (user == null)) {
String envUser = System.getenv(HADOOP_USER_NAME);
if (envUser == null) {
envUser = System.getProperty(HADOOP_USER_NAME);
}
user = envUser == null ? null : new User(envUser);
}
OK，看到这里我的需求也就解决了，只要在系统的环境变量里面添加HADOOP_USER_NAME=hdfs（HDFS上的有权限的用户，具体看自己的情况），或者在当前JDK的变量参数里面添加HADOOP_USER_NAME这个Java变量即可。我的情况添加系统环境变量更方法。
如果是在Eclipse里面运行，修改完环境变量后，记得重启一下eclipse，不然可能不会生效。
1、在系统的环境变量或java JVM变量里面添加HADOOP_USER_NAME，这个值具体等于多少看自己的情况，以后会运行HADOOP上的Linux的用户名。（修改完重启eclipse，不然可能不生效）
2、将当前系统的帐号修改为hdfs
3、使用HDFS的命令行接口修改相应目录的权限，hadoop fs -chmod 777 /user,后面的/user是要上传文件的路径，不同的情况可能不一样，比如要上传的文件路径为hdfs://namenode/user/xxx.doc，则这样的修改可以，如果要上传的文件路径为hdfs://namenode/java/xxx.doc，则要修改的为hadoop fs -chmod 777 /java或者hadoop fs -chmod 777 /，java的那个需要先在HDFS里面建立Java目录，后面的这个是为根目录调整权限。
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hdfs:supergroup:rwxr-xr-x
通过网络查找终寻得解决之道：
开始仔细的观察了这个错误的详细信息，看到user=Administrator, access=WRITE。这里的user其实是我当前系统（运行客户端的计算机的操作系统）的用户名，实际期望这里的user=hadoop（hadoop是我的HADOOP上面的用户名），但是它取的是当前的系统的用户名，很明显，如果我将当前系统的用户名改为hdfs，这个肯定也是可以行得通的，但是如果后期将开发的代码部署到服务器上之后，就不能方便的修改用户，此方法明显也不够方便。
现在就想着Configuration这个是一个配置类，有没有一个参数是可以在某个地方设置以哪个用户运行呢？搜索了半天，无果。没有找到相关的配置参数。
最终只有继续分析代码， FileSystem fs = FileSystem.get(URI.create(dest), conf);代码是在此处开始对HDFS进行调用，所以就想着将HADOOP的源码下下来，debug整个调用过程，这个user=Administator是在什么时间赋予的值。理解了调用过程，还怕找不到解决问题的办法么？
跟踪代码进入 FileSystem.get-->CACHE.get（）-->Key key = new Key(uri, conf);到这里的时候发现key值里面已经有Administrator了，所以关键肯定是在new key的过程。继续跟踪UserGroupInformation.getCurrentUser()-->getLoginUser()-->login.login()到这一步的时候发现用户名已经确定了，但是这个方法是Java的核心源码，是一个通用的安全认证，但对这一块不熟悉，但是debug时看到subject里面有NTUserPrincipal：Administator，所以就想着搜索一下这个东西是啥，结果就找到了下面这一篇关键的文章：
http://www.udpwork.com/item/7047.html
在此篇文章里面作者分析了hadoop的整个登录过程，对于我有用的是其中的这一段：
2.login.login();
这个会调用HadoopLoginModule的login()和commit()方法。
HadoopLoginModule的login()方法是一个空函数，只打印了一行调试日志 LOG.debug("hadoop login");
commit()方法负责把Principal添加到Subject中。
此时一个首要问题是username是什么？
在使用了kerberos的情况下，从javax.security.auth.kerberos.KerberosPrincipal的实例获取username。
在未使用kerberos的情况下，优先读取HADOOP_USER_NAME这个系统环境变量，如果不为空，那么拿它作username。否则，读取HADOOP_USER_NAME这个java环境变量。否则，从com.sun.security.auth.NTUserPrincipal或者com.sun.security.auth.UnixPrincipal的实例获取username。
如果以上尝试都失败，那么抛出异常LoginException("Can’t find user name")。
最终拿username构造org.apache.hadoop.security.User的实例添加到Subject中。
看完这一段，我明白了执行login.login的时候调用了hadoop里面的HadoopLoginModule方法，而关键是在commit方法里面，在这里优先读取HADOOP_USER_NAME系统环境变量，然后是java环境变量，如果再没有就从NTUserPrincipal等里面取。关键代码为：
if (!isSecurityEnabled() && (user == null)) {
String envUser = System.getenv(HADOOP_USER_NAME);
if (envUser == null) {
envUser = System.getProperty(HADOOP_USER_NAME);
}
user = envUser == null ? null : new User(envUser);
}
OK，看到这里我的需求也就解决了，只要在系统的环境变量里面添加HADOOP_USER_NAME=hdfs（HDFS上的有权限的用户，具体看自己的情况），或者在当前JDK的变量参数里面添加HADOOP_USER_NAME这个Java变量即可。我的情况添加系统环境变量更方法。
如果是在Eclipse里面运行，修改完环境变量后，记得重启一下eclipse，不然可能不会生效。
解决办法
最终，总结下来解决办法大概有三种：1、在系统的环境变量或java JVM变量里面添加HADOOP_USER_NAME，这个值具体等于多少看自己的情况，以后会运行HADOOP上的Linux的用户名。（修改完重启eclipse，不然可能不生效）
2、将当前系统的帐号修改为hdfs
3、使用HDFS的命令行接口修改相应目录的权限，hadoop fs -chmod 777 /user,后面的/user是要上传文件的路径，不同的情况可能不一样，比如要上传的文件路径为hdfs://namenode/user/xxx.doc，则这样的修改可以，如果要上传的文件路径为hdfs://namenode/java/xxx.doc，则要修改的为hadoop fs -chmod 777 /java或者hadoop fs -chmod 777 /，java的那个需要先在HDFS里面建立Java目录，后面的这个是为根目录调整权限。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- scala 在 spark 中操作 hdfs
- 使用Maven开发Hadoop
- CentOS6.6搭建Hadoop2.5.2伪分布式环境
- 利用虚拟机分区扩展hdfs hard disk 存储(ubuntu12.10)
- hadoop 面试小结
- hadoop 面试
- HDFS文件的读写操作理论解析
- hadoop2.x的编译 & hadoop-snappy编译 & hadoop2.x 配置 snappy压缩
- hadoop streaming -archives 解压jar、zip、tar.gz的验证
- Solr之SolrCloud配置HDFS
- 脚本判断hdfs上的文件是否存在
- HDFS详细分析一
- HDFS详细分析二
- hdfs
- CentOS7安装Hadoop2.7完整流程
- Hadoop 问题记录
- 经典漫画讲解HDFS原理
- HDFS学习笔记（1）初探HDFS
- 浅析 Hadoop 中的数据倾斜
- HDFS原理分析