使用HDFS作为Druid的deepStorage

使用 HDFS作为Druid 的deep
Storage，有以下几个步骤：

1) 在config/_common目录下的配置文件中添加 hdfs-storage的extensions

2) 为HDFS设置正确的访问参数

3) 在druid的运行节点的 classpath中添加hadoop 的相关jar包和配置文件路径

以下为详细步骤：

1 ）如图1所示，首先添加 extensions，注意版本号要与druid的版本相对应，可以查看 druid/lib下的druid-common-< 版本号>.jar和 druid-indexing-hadoop-<版本号>.jar ，在本次druid的部署中我使用的版本是 0.8.0；然后将storage.type 修改为hdfs，并指定 hdfs的访问路径。另外，箭头所指的是设置为 local存储的方案，已注释。



图 1 druid/config/_common/common.runtime.properties 文件

2 ）需要在hadoop的 core-site.xml文件中添加访问hdfs的实现，至少在 hadoop-2.2.0，2.4.x ，2.6.x这些版本中 bug还没有消除，需要手动添加，如果没有设置这两项，在Druid将要对segment进行持久化的时候抛出no
filesystem scheme: hdfs的异常，并无法成功持久化数据。如图 2所示，添加两项文件系统访问的设置。



图 2 hadoop的core-site.xml 文件

3 ）添加各种配置文件或者 hadoop的jar 包到运行druid节点的 classpath中，如图3 运行脚本中HADOOP_OPTS变量所设置。



图 3 historical节点运行配置