大数据架构hadoop初体验二

上文地址:大数据架构hadoop初体验一

上一篇主要简述了按照官方文档进行环境搭建以及环境搭建中的坑。

这一篇我们开始动手体验hdfs的API调用，这里使用的是java语言进行的实践。教程使用我的好友杜亦舒撰写文章，具体可参加其公众号 性能与架构(yogoup)，文章链接

【教程】Hadoop HDFS 实践。

教程写的还是很优秀的，因为环境我已经在上节配置好了，所以我参考了教程中的编码调用部分。总体来说这个体验过程比较顺利，只遇到了一个小坑。主要了解了如何通过编码方式操作hdfs文件及路径，在实践过程中最好与直接通过hdfs dfs -命令对比学习。hadoop很优雅的屏蔽了分布式存储的细节，在应用层面除了使用的对象和uri外，基本上与操作本地文件没有太大的区别。

初体验踩过的坑之二

maven之jar包问题

使用maven构建项目时遇到了一个问题，提示项目无法编译， commons-digester-1.8.jar无法打开。之前由于网络原因出现过类似问题，一般解决办法都是找到本地maven仓库存储路径，删除该jar包对应的1.8路径，然后重新更新项目。maven会再次重新下载这个jar包，一般就可以解决问题。但此次试了多次都不行，于是山东大葱哥手动的通过浏览器访问了maven2的仓库地址，找到了对应的jar包，经检查maven中央仓库中该jar就是有问题的，大小为1k。怀疑文件构建过镜像时出现异常导致的。既然找到问题容易解决了，手动到阿里的maven仓库中进行下载然后复制到到本地仓库中。或者配置maven使用阿里镜像进行自动下载。

学习过程中遇到什么问题或者想获取学习资源的话，欢迎加入技术爱好者交流群373107565，我们一起学技术！