one-hot使用体会

在很多机器学习任务中，特征并不总是连续值，而有可能是分类值。比如星期类型，有星期一、星期二、……、星期日，比如浏览器类型有["uses Firefox", "uses
Chrome", "uses Safari", "uses Internet Explorer"]。
对于这些离散型特征，可以用几个数字表示特征值，如用1表示星期一，2表示星期二；也可以用one-hot编码，如用[1,0,0,0,0,0,0]表示星期一，[0,1,0,0,0,0,0]表示星期二。
那什么情况用one-hot编码，什么情况可以不用呢？事实上，之所以用one-hot编码，是为了更合理地计算欧式距离。比如，有一个离散型特征，代表工作类型，该离散型特征，共有三个取值，不使用one-hot编码，其表示分别是x_1 = (1), x_2 = (2), x_3 = (3)。两个工作之间的距离是，(x_1, x_2) = 1, d(x_2, x_3) = 1, d(x_1, x_3) = 2。那么x_1和x_3工作之间就越不相似吗？显然这样的表示，计算出来的特征的距离是不合理。那如果使用one-hot编码，则得到x_1
= (1, 0, 0), x_2 = (0, 1, 0), x_3 = (0, 0, 1)，那么两个工作之间的距离就都是sqrt(2).即每两个工作之间的距离是一样的，显得更合理。
对于离散型特征，基于树的方法是不需要使用one-hot编码的，例如随机森林等。基于距离的模型，都是要使用one-hot编码，例如神经网络等。

以下做个实验说明：
一个数据如下，这是对星期类型采用[1,2,3,4,5,6,7]进行编码的方式：
@relation 'day'

@attribute day numeric

@attribute class numeric

@data

1,1100

2,1200

3,1300

4,1400

5,1800

6,2000

7,1800

1,1100

2,1200

3,1300

4,1400

5,1800

6,2000

7,1800
……

在weka中用随机森林RandomForest算法建模，用默认的参数，并进行10折交叉验证的结果如下：
Correlation coefficient                  1    

Mean absolute error                      0    

Root mean squared error                  0    

Relative absolute error                  0      %

Root relative squared error              0      %

Total Number of Instances              210
可以看出，误差为0。

在weka中用BP神经网络MultilayerPerceptron建模，用默认的参数，并进行10折交叉验证的结果如下：
Correlation coefficient                  0.9645

Mean absolute error                     71.9842

Root mean squared error                 85.2536

Relative absolute error                 23.7056 %

Root relative squared error             26.3015 %

Total Number of Instances              210
可以看出，误差比较高。

换one-hot编码的数据如下：
@relation 'day'

@attribute day1 numeric

@attribute day2 numeric

@attribute day3 numeric

@attribute day4 numeric

@attribute day5 numeric

@attribute day6 numeric

@attribute day7 numeric

@attribute class numeric

@data
1,0,0,0,0,0,0,1100

0,1,0,0,0,0,0,1200

0,0,1,0,0,0,0,1300

0,0,0,1,0,0,0,1400

0,0,0,0,1,0,0,1800

0,0,0,0,0,1,0,2000

0,0,0,0,0,0,1,1800

1,0,0,0,0,0,0,1100

0,1,0,0,0,0,0,1200

0,0,1,0,0,0,0,1300

0,0,0,1,0,0,0,1400

0,0,0,0,1,0,0,1800

0,0,0,0,0,1,0,2000

0,0,0,0,0,0,1,1800

……

在weka中用随机森林RandomForest算法建模，用默认的参数，并进行10折交叉验证的结果如下：
Correlation coefficient                  1    

Mean absolute error                      0    

Root mean squared error                  0    

Relative absolute error                  0      %

Root relative squared error              0      %

Total Number of Instances              210
可以看出，误差为0。

在weka中用BP神经网络MultilayerPerceptron建模，用默认的参数，并进行10折交叉验证的结果如下：
Correlation coefficient                  1    

Mean absolute error                      0    

Root mean squared error                  0    

Relative absolute error                  0      %

Root relative squared error              0      %

Total Number of Instances              210
可以看出，误差为0。

所以，在基于距离的模型中，对于离散型特征，应该采用one-hot编码方式，而且对于很多神经网络模型，能够很好地处理稀疏特征的情况。