Scikit-learn中使用SVM对文本进行分类

（一）背景

  本人最近弄了两个和svm算法有关的大作业，一个是处理手写数字识别的，另外一个是文本分类的。最开始，我用libsvm提供的包进行分类。但是总是会出现分成一类的情况。有时候数据归一化之后，就不会分成一类，能够正常分类；但有时候源数据能正常分类，而归一化数据之后却会分成只有一类的情况。

  这让我感到很苦恼，并且了解了一下SVM算法，但是仍然不知道问题所在。后来在大神指点下，使用机器学习框架scikit-learn中自带的svm算法，能够有效的避免这种分成一类的现象，下面以某个文本分类为例子，对scikit-learn中的svm算法用法进行讲解。

（二）系统环境及scikit-learn安装

  本人使用的ubuntu系统，在安装skicit-learn之前，请保证安装了Python3(尽量最新版)，以及pip3(便于Python模块的安装)。在安装了Python3和pip3的前提下，要安装skicit-learn，得先安装numpy和scipy模块。

  1.安装numpy模块

sudo pip3 install numpy

  2.安装scipy模块

sudo pip3 install scipy

  3.安装scikit-learn

sudo pip3 install scikit-learn

  也可以先下载好相应的whl文件,然后用pip3命令进行安装

(三)文本分类

  先给出文本分类的数据，包括两个文件，一个是train_data.txt 和predict_data.txt文件，这两个文件的格式是标准的libsvm数据文件的格式，即：

lable1 dimension1:value1 dimension2:value2......
lable2 dimension1:value1 dimension2:value2......

数据网盘地址为:http://pan.baidu.com/s/1hrLoHMk

提取码为:yjxx

1.scikit-learn中svm介绍

  scikit-learn中用于svm分类的类包括三个类，SVC，NuSVC和LinearSVC这三个类。SVC和NuSVC两种方法类似，但是接受的参数有细微不同，而且底层数学原理不一样。LinearSVC是指核函数为线性核的SVM。

2.SVC用法介绍

  要使用SVC需要将数据的标签类别和维向量分开保存，例如文本类别用y数组包括，文本内容向量用x数组保存。然后再使用numpy.array对数据进行规整，编程标准的数组格式，再调用SVC的fit()函数训练出模型。训练好模型之后用SVC.predict()函数根据文本内容向量预测出文本的类别。

其中SVC.fit(train_y, train_x)中参数train_y为文本类别，是一个一维数组；train_x为文本内容向量，是一个二维数组。经过fit()函数处
理后，模型就会保存在SVC中(也许SVC类中有一个model变量)。fit()函数无返回值。

SVC.predict(predict_x)，参数predict_x是需要分类的文本内容的向量，是一个二维数组。predict()函数的返回值是一个文本类别数组。

3.文本分类代码：

__author__ = 'liuwei'

import os
import pickle
import numpy as np
from sklearn.svm import SVC

class DataProc(object):
'''get datas from the file'''

def __init__(self, fileName):
self.fileName = fileName
self.readData()

def readData(self):
self.main_data = []

with open(self.fileName, 'r') as file:
data = file.readlines()

for item in data:
item = item.rstrip('\n')                                   #去除尾部换行符
item = item.rstrip(' ')                                    #去除尾部空格
items = item.split(' ')

f_items = []

for son_item in items:
f_items.append(float(son_item))                        #将字符类型转化为浮点类型

self.main_data.append(f_items)

self.main_data = np.array(self.main_data)                          #转换为二维数组

def getY(self):
'''get all labels,is the first column of the array'''

self.y_data = self.main_data[:,0]                                  #获取所有文本的类别便签，即第一列

return self.y_data

def getX(self):
'''get the data of text except the first column'''

self.x_data = self.main_data[:,1:]                                 #获取所有文本的内容向量，除第一列以外的列

return self.x_data

class SVM(object):
'''use the svm algorithm in the skicit-learn to predict the class of text'''

def __init__(self, train_dataproc, predict_dataproc):
self.__train_data = train_dataproc
self.__pred_data = predict_dataproc
self.__svc = SVC()

def train(self):
'''train data,and general a model'''

train_y = self.__train_data.getY()                                  #所有训练文本类别
train_x = self.__train_data.getX()                                  #所有训练文本内容向量

self.__svc.fit(train_x, train_y)                                    #开始训练，

#we can save the model in .pkl file
self.model_presistence()                                            #将SVC对象持久化，相当于将模型持久化

def predict(self):
'''predict the data'''

predict_y = self.__pred_data.getY()                                 #
predict_x = self.__pred_data.getX()

test_data = np.array(predict_x)

res = self.__svc.predict(test_data)                                 #开始预测，结果在res中

accu = 0

for i in range(len(predict_y)):
if predict_y[i] == res[i]:                                      #统计正确率
accu += 1

accu = accu / len(predict_y)

print('the accuracy is %f' %accu)                                   #输出正确率

def model_presistence(self):
'''save a model in .pkl file'''

fileObject = open('SVM.pkl', 'wb')
pickle.dump(self.__svc, fileObject)                                 #将SVC持久化
fileObject.close()

def read_model(self):
'''load a model from a .pkl file'''

fileName = 'SVM.pkl'
fileObject = open(fileName, 'rb')
self.__svc = pickle.load(fileObject)                                #读取SVC

if __name__ == '__main__':
train_data = DataProc('/home/liuwei/python-space/datas/train_data.txt')
predict_data = DataProc('/home/liuwei/python-space/datas/predict_data.txt')

svm = SVM(train_data, predict_data)

#开始训练
svm.train()

#开始预测
svm.predict()

4.运行结果:



可以看出，分类的正确率为67.8%