groovy分析脚本基本组成文件详解和运行过程中出错分析

在本公司搭建的hadoop运行平台上，主要利用groovy进行数据分析并输出分析结果到数据库报表。每一个分析需要编写DataTypeConfig.xml、ReportConfig.xml和.groovy脚本文件。在进行数据分析的过程中，也会出现一些常见的错误，现在逐步总结如下。

一、DataTypeConfig.xml、ReportConfig.xml和.groovy脚本文件字段分析



图1.1



图1.2



图1.3

如图所示。其中，DataTypeConfig.xml的name参数(A1)暂未发现有什么作用，一般不用关注；DataTypeConfig.xml的path字段(A2)和ReportConfig.xml的input字段(B3)保持一致，值为数据输入路径；DataTypeConfig.xml的script字段(A3)值为.groovy脚本文件[b]存放路径；ReportConfig.xml的name参数（B1）与.groovy脚本文件的C1字段保持一致，一般设置为该业务统计的名称；ReportConfig.xml的name参数（B2）用于外界（比如workflow等）调用该groovy统计分析，一般设在该业务统计的名称加上"_task"。[/b]

二、分析脚本在hadoop平台运行出错分析
1.groovy脚本处理生成的中间过程数据不存在





首先关注信息0，分析数据输入路径没有提示不存在，表示输入路径没有问题；再看信息1，此时提示不存在进而信息2也提示不存在，表示输入数据经过groovy脚本分析生成的中间数据不存在，数据在分析过程中被“过滤”掉了。原因可能在两个方面：分析代码有bug或者输入数据内容有问题。