RapidMiner缺失数据处理——去掉数据大量缺失的变量

最近做数据挖掘，发现RapidMiner是一款数据清洗、处理和转换的好工具，尤其在数据量不大的情况下。和R语言相比，RapidMiner在数据处理方面要简单直观得多。虽然RapidMiner的功能可能不如R强大。另外，我们也可以在RapidMiner中可以直接利用Java/Groovy来编写程序，对数据进行处理和转换。

现在以 RapidMiner6.0为例，来说明一下如何写一段小程序，去掉那些数据缺失量大于80%的变量。因为数据缺失量超过80%，我们很难补全它们。 

我们可以打开RapidMiner中的Execute Script算子并点击Edit Text属性输入下列Java程序段：

/**
* Carl Wu 吴文旷
* The code will remove these attributes whose missing values are more than 80% of
* the total examples
*
*/
ExampleSet exampleSet = operator.getInput(ExampleSet.class);
Attributes attributes = exampleSet.getAttributes();
List cols_with_missing_values = new ArrayList();
//循环所有列
for (Attribute attribute : exampleSet.getAttributes()) {
String name = attribute.getName();
Attribute sourceAttribute = attributes.get(name);

int totalRecords=0;
int missingRecords=0;
//循序一个变量的所有行，统计缺失值的数量
for (Example example : exampleSet) {
totalRecords=totalRecords+1;
if(example[name]==null || example[name].equals("?")){
missingRecords=missingRecords+1;
}
}

//如果缺失数据量超过80%，将该变量名保存到LIst中
if(missingRecords*1.0/totalRecords>=0.8){
cols_with_missing_values.add(sourceAttribute);
}

}

//从原数据集中移除数据大量缺失的列
for(Attribute name:cols_with_missing_values){
attributes.remove(name);
}

return exampleSet;

这段小程序的运行效果如下图所示。在没有处理之前，我们一共有90个样本，536个属性字段：



运行小程序处理后，数据字段数减少到234个，缺失值较多的字段都被移除了。



当然，我们也可以用几乎无所不能的数据分析工具R语言来完成这项任务。具体代码如下：

##### 该函数将移除原始数据(odf)中数据缺失量大于给定比例（missingPercent）的列
##### Author: Carl Wu(吴文旷)
removeMissingCols <- function (odf, missingPercent){
cols <- ncol(odf)
rows <- nrow(odf)
newMaxtrix <- NULL
names_new <- NULL

noMissVals <- 0
for(col in 1:cols){
noMissVals <- 0
for(row in 1:rows){
if(!is.na(odf[row,col])){
noMissVals <- noMissVals +1
}
}
#如果这一列缺失值的比例小于给定的比例，则留下该列
if((rows-noMissVals)/rows <= missingPercent){
newMaxtrix <- cbind(newMaxtrix,odf[,col])
names_new <- c(names_new,names(odf)[col])

}
}

new_data <- as.data.frame(newMaxtrix)
names(new_data) <- names_new
new_data
}

另外，在R语言的DMwR包中有一个函数叫manyNAs，可以移除缺失值大于一定比例的样本。注意这里是样本，而不是数据列。示例代码如下：

#读取原始数据
data_original <- read.table("original_data.csv", header = TRUE, sep = ",")
#下面代码打印出原始数据有123行，41个变量
dim(data_original)
#加载DMwR
library(DMwR)
#列出所有缺失值大于40%（0.4）的样本号
manyNAs(data_original,0.4)
#去掉缺失值大于40%（0.4）的样本，将新的数据训练集赋值到一个新的数据框new_data中
new_data <- data_original[-manyNAs(data_original,0.4),]
#下面代码打印出新数据的维数，新的数据有112行，41个变量。原始数据中的12个样本由于缺失值大于40%而被移除。
dim(new_data)