kaggle竞赛流程简介——以手写识别为例

下载数据集

https://www.kaggle.com/c/digit-recognizer/data

数据包含三个csv文档。训练集 train.csv、测试集 test.csv、结果提交模版 sample_submission.csv。

数据说明

数据文件train.csv和test.csv包含的手绘位灰度图像，从0到9。每一行代表一个数字，不同的是train.csv中包含标签列，test.csv不包含标签列。

图片的像素大小为 28 x 28 ，每个像素具有与它相关联的单个像素值，表示像素的亮度或暗度，数字越大意味着较暗。这个像素值是0到255（含）之间的整数。也就是说 0 为白色，255 为黑色。

建模过程

二值化

由于训练集的像素值包含了0-255之间不同的值，因此我们需要对每个图片的特征进行二值化。二值化的处理方式是：设置一个阈值，大于该阈值的设置成255，小于该阈值的设置成0。

import pandas as pd
from sklearn import metrics
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier

# load train data

train = pd.read_csv('F:/GitHub/kaggle/Digit Recognizer/train.csv')

# split feature and label

feature = train.drop('label', axis=1)
label = train[['label']]

# 设置一个阈值，为0-255之间，大于该值的设置为 255， 小于该值的设置为0

threshold = 100
feature[feature >= threshold] = 255
feature[feature < threshold] = 0

分离训练集

从训练集中提取一部分做训练，另一部分做验证。

# split train and test data

train_feature, test_feature, train_label, test_label = train_test_split(feature, label, test_size=0.2, random_state=0)

拟合模型

# fit classifier model

clf = KNeighborsClassifier(n_neighbors=5)
clf.fit(train_feature, train_label)

# predict test_feature

predict_test = clf.predict(test_feature)

# print result

print(metrics.classification_report(test_label, predict_test))

查看打印的预测结果评估



可以看到，该模型的预测成功率为96%，这个准确率在这个项目中算低的，但本次旨在学习如何参加kaggle项目，以及上传预测结果，因此对准确率不做高要求。

预测测试数据，并按提交要求保存结果。

# predict test data,

test = pd.read_csv('F:/GitHub/kaggle/Digit Recognizer/test.csv')

# 设置一个阈值，为0-255之间，大于该值的设置为 255， 小于该值的设置为0

threshold = 100
test[test >= threshold] = 255
test[test < threshold] = 0

# you need save file as .csv like sample_submission.csv

predict = clf.predict(test)
predict = pd.DataFrame(predict)
predict.to_csv('predict.csv')

# 注意：这里保存的结果需要把第一行改成模版中的两个字段 ImageId, label, 而且ImageId是从1开始的，不是从0开始。

最后在网页界面把刚刚保存的predict.csv文件上传到提交结果的地方即可。

结果上传之后，就会根据你的结果，给出评分，下拉即可看到你在所有人中的排名。





大家可以看到，我这个比较水，都排到1716名去了。前十名的预测率已经是100%了。

关于kaggle竞赛流程，大概就是这个样子，对于想提高正确率的，可以在调整模型参数或使用其他算法之后，从新预测结果，再上传就可以了。