一样的Java，不一样的HDInsight大数据开发体验

大数据的热潮一直居高不下，每个人都在谈。你也许不知道，早些年这个领域可是有个非常「惹眼球」的段子：

1首先开始科普

什么是 HDInsight

Azure HDInsight 是 Hortonworks Data Platform （HDP） 提供的 Hadoop 组件的云发行版，适用于对计算机集群上的大数据集进行分布式处理和分析。目前 HDInsight 可提供以下集群类型：Apache Hadoop、Apache Spark、Apache HBase、Apache Storm、Apache 交互式 Hive（预览版），以及其他包含脚本操作的自定义集群。

什么是 Hadoop

Hadoop 技术堆栈包括相关的软件和实用程序（Apache Hive、HBase、Spark 等），通常包含 Hadoop 分布式文件系统 （HDFS）、适用于作业计划和资源管理的 YARN、适用于并行处理的 MapReduce。Hadoop 最常用于已存储数据的批处理。

什么是 MapReduce

MapReduce 是一个旧软件框架，用于编写并行批量处理大数据集的应用程序。MapReduce 作业将分割大型数据集，并将数据组织成键值对进行处理。MapReduce 作业在 YARN 上运行。

什么是 Java


这个真有必要解释？



通过 Azure HDInsight 服务使用 Hadoop，可以获得很多便利，例如：减少了设置和配置工作，提高了可用性和可靠性，可在不中断作业的情况下进行动态缩放，可灵活使用组件更新和当前版本，并且能与其他Azure 服务（包括 Web 应用和 SQL 数据库）集成。

机智的你理解这些概念了么，接下来我们一起来用 Java 开发一个 MapReduce 程序，然后通过 HDInsight服务运行吧。

2前期准备

首先你需要准备好 Java JDK 8 或更高版本以及 Apache Maven，随后按照下列方式配置开发环境：

1设置环境变量

请在安装 Java 和 JDK 时设置以下环境变量（同时请注意检查这些环境变量是否已经存在并且包含正确的值）：

JAVA_HOME -应该指向已安装 Java 运行时环境 （JRE）的目录。例如在 macOS、Unix 或 Linux 系统上，值应该类似于 /usr/lib/jvm/java-7-oracle；在 Windows 中，值类似于 c:\ProgramFiles (x86)\Java\jre1.7。

PATH - 应该包含以下路径：

JAVA_HOME（或等效路径）

JAVA_HOME\bin（或等效路径）

安装 Maven 的目录

2创建 Maven 项目

1、在开发环境中，通过中断会话或命令行将目录更改为要存储此项目的位置。

2、使用随同 Maven 一起安装的 mvn 命令，为项目生成基架。



此命令将使用 artifactID 参数指定的名称（此示例中为 wordcountjava）创建目录。此目录包含以下项：

pom.xml - 项目对象模型 (POM)，其中包含用于生成项目的信息和配置详细信息。

src - 包含应用程序的目录。

3、删除 src/test/java/org/apache/hadoop/examples/apptest.java 文件，此示例不使用该文件。 添加依赖项

1、编辑 pom.xml 文件，并在<dependencies>部分中添加以下文本：


定义具有特定版本（在<version> 中列出）的库（在<artifactId> 中列出）。编译时会从默认 Maven 存储库下载这些依赖项，此外也可使用 Maven 存储库搜索来查看详细信息。

<scope>provided</scope>会告知 Maven 这些依赖项不应与此应用程序一起打包，因为它们在运行时由HDInsight 集群提供。

注意：使用的版本应与集群上存在的 Hadoop 版本匹配。有关版本的详细信息，请参阅 HDInsight 组件版本控制文档。

2、将以下内容添加到 pom.xml 文件中。 此文本必须位于文件中的 <project>...</project>标记内；例如</dependencies>和 </project>之间。


个插件配置 Maven Shade Plugin，用于生成 uberjar（有时称为 fatjar），其中包含应用程序所需的依赖项。 它还可以防止在 jar 包中复制许可证，复制许可证在某些系统中可能会导致问题。

第二个插件配置目标 Java 版本。

注意：HDInsight 3.4 及更早版本使用 Java 7，HDInsight3.5 使用 Java 8。

3、保存 pom.xml 文件。

3创建 MapReduce 应用程序

1、转到 wordcountjava/src/main/java/org/apache/hadoop/examples 目录，并将 App.java 文件重命名为WordCount.java。

2、在文本编辑器中打开 WordCount.java 文件，然后将其内容替换为以下文本：


意，包名称为 org.apache.hadoop.examples，类名称为 WordCount。提交 MapReduce 作业时需要使用这些名称。

3、保存文件。

4构建应用程序

1、如果尚未到达此目录，请更改为 wordcountjava 目录。

2、使用以下命令生成包含该应用程序的 JAR 文件：


此命令将清除任何以前构建的项目，下载任何尚未安装的依赖项，然后生成并打包应用程序。

3、命令完成后，wordcountjava/target 目录将包含一个名为 wordcountjava-1.0-SNAPSHOT.jar 的文件。

注意：wordcountjava-1.0-SNAPSHOT.jar 文件是一种 uberjar，其中不仅包含 WordCount 作业，还包含作业在运行时需要的依赖项。

5上传 jar 运行 MapReduce 作业

使用以下命令将该jar 文件上传到 HDInsight 头节点：


将 USERNAME 替换为集群的 SSH 用户名，将 CLUSTERNAME 替换为 HDInsight 集群名称。

此命令会将文件从本地系统复制到头节点。

随后通过下列步骤运行这个 MapReduce 作业：

1、使用 SSH 连接到 HDInsight。详细信息请参阅将 SSH 与 HDInsight 配合使用。

2、在 SSH 会话中，使用以下命令运行 MapReduce 应用程序：


此命令将启动 WordCountMapReduce 应用程序。输入文件是 /example/data/gutenberg/davinci.txt，输出目录是/example/data/wordcountout。输入文件和输出均存储到集群的默认存储中。

3、作业完成后，请使用以下命令查看结果：


用户会收到单词和计数列表，其包含的值类似于以下文本：


搞定收工！

我有一条不成熟的小建议

你看，使用 Java语言开发 MapReduce 程序也不是很难。

如果你更喜欢用其他语言，或者希望开发其他类型的 HDInsight 应用，那么这些资源应该能提供一些帮助：

开发 C# 流式处理 MapReduce 程序

开发 Scalding MapReduce 作业

使用 HDInsight 工具创建 Spark 应用

开发 Python 流式处理程序

立即访问http://market.azure.cn