kettle案例五使用js脚本进行json数据处理新增行

我们通过两个例子来学习Js处理数据新增行:

例子一字符串拆分

按照原始数据列”aaa bbb ccc ddd”把数据分成4行。

比如我们有原始数据行如下:

id group person

1 A aaa bbb ccc ddd

我们需要获取A组中都有哪些人，则需要对数据进行拆分并生成新的行。

使用代码如下:

var str = person.toString();
var tokens = str.split(" ");
var i;
for (i =0; i<tokens.length; i++)
{
var row = createRowCopy(getOutputRowMeta().size());
var　index = getInputRowMeta().size();
row[index]=tokens[i];
putRow(row);
}
trans_Status = SKIP_TRANSFORMATION;

代码说明

person.toString(); 数据行里person列的数据是以空格分隔的一个字符串。如"aaa bbb ccc ddd"

str.split(" "); 把字符串按照空格分为一个字符数组，如上面的例子，就分隔为长度为 4 的数组。
for (i =0; i<tokens.length; i++)  循环tokens

{

createRowCopy(getOutputRowMeta().size());  使用 createRowCopy 函数创建一个新行，长度是getOutputRowMeta().size()。

index = getInputRowMeta().size(); 根据输入流获得数据行里最后一列的位置。

row[index]=tokens[i]; 把每个 token， 放到每个新创建行的最后一列。
//这里需要特别注意，为什么要获取原数据的长度作为新内容的起始索引呢?
//因为新建的行还是会携带有输入的列的，所以如果使用0开头赋值，则会覆盖掉原列，并且字段名不对应。

putRow(row);  把新创建的行放到输出流中，下一个步骤就可以使用了。

}

trans_Status = SKIP_TRANSFORMATION;   保证原始的数据行"aaa bbb ccc ddd"，不会被放入输出流中。 如果不带这一句，则原行还是会输出一行造成重复数据。

通过这个脚本一行数据可以变成四行数据。

例子二Json拆分

按照原始数据列

“[ { “_id” : “360cc8fc4c254b5f950ed663d4a11c0d” , “option” : “是” , “count” : 16.0 , “ratio” : 0.0} , { “_id” : “6fff270a84fd4b3e843e99ca4fd645af” , “option” : “否” , “count” : 10 , “ratio” : 0.0}]”

把数据分成2行。

比如我们有原始数据行如下:

question _id options

你日常是否更喜欢喝红酒？ 1 [ { “_id” : “360cc8fc4c254b5f950ed663d4a11c0d” , “option” : “是” , “count” : 16.0 , “ratio” : 0.0} , { “_id” : “6fff270a84fd4b3e843e99ca4fd645af” , “option” : “否” , “count” : 10 , “ratio” : 0.0}]



我们需要获取每个问题中有哪些选项，对Json进行拆分并且新增行。

建立步骤如下:



读取mongodb数据库获取这三个字段作为js代码步骤的输入:

则新建我们需要的5个新字段questionId,question,id,option,index如下:



完整代码如下:

//Alert(options);

if(options){

var optionsJson=JSON.parse(options)

// Alert(optionsJson.length);

if(optionsJson&&optionsJson.length>0){
for(var i=0; i<optionsJson.length; i++)
{

//Alert(" 长度:"+optionsJson.length+" 当前索引:"+i);

var id =optionsJson[i]._id;

var option =optionsJson[i].option;

var row = createRowCopy(7);

row[3]=_id;

row[4]=question;

row[5]=id;

row[6]=option;

row[7]=i;

//Alert(_id+" 问题:"+question+" 选项id:"+id+" 选项:"+option);

//Alert(question);

//Alert(id);

//Alert(option);
putRow(row);

}
}
}

trans_Status = SKIP_TRANSFORMATION;

需要注意的是:

因为输入有三个字段

question，_id，options，分别占据了新行的数组索引0，1，2，所以新字段的列索引从3开始。

trans_Status = SKIP_TRANSFORMATION; 必须加上，否则默认输出原行数据，会有重复的行。