【开发日记】马桶识别之数据清洗，通过Resnet50清洗脏数据

        通过上篇文章，我已经获取了天猫商城某款马桶评论区的图片。但是，用户上传的评论图片并不都是马桶图片，如下所示：

        


        其中有很多的脏数据。一个简单的笨方法是一个个去选，但是作为一个程序员，当然是应用程序自动去清洗脏数据。

        这里使用ImageNet预训练好的Resnet50模型去识别图片，并将脏数据挑选出来。以下为源代码：

import resnet50
import os
import shutil

pathlist = os.listdir('data_grab')
count = 0
for i in pathlist:
pathlist[count] = os.path.join('data_grab', pathlist[count])
count+=1
predictions = resnet50.predict(pathlist)

count = 0
for i in predictions:
flag = 0
if i!=None:
for top in range(3):
name = i[top][1]
if name=='toilet_seat':
flag = 1
if flag==1:
shutil.copyfile(pathlist[count], 'cleandata//'+pathlist[count][-9:])
else:
shutil.copyfile(pathlist[count], 'dirtydata//'+pathlist[count][-9:])
count+=1

       其中，resnet50的源代码如下：

from keras.applications.resnet50 import ResNet50
from keras.preprocessing import image
from keras.applications.resnet50 import preprocess_input, decode_predictions
import numpy as np

def predict(img_paths):
model = ResNet50(weights='imagenet')
m = len(img_paths)
predictions = [None]*m
count = 0
for i in img_paths:
print("load file: ", str(i))
try:
img = image.load_img(i, target_size=(224, 224))
img = image.img_to_array(img)
x = np.expand_dims(img, axis=0)
x = preprocess_input(x)
preds = model.predict(x)
preds = decode_predictions(preds, top=3)[0]
predictions[count] = preds
count+=1
except:
count+=1
continue

return predictions

if __name__=="__main__":
import os
pathlist = os.listdir('data_grab')
count = 0
for i in pathlist:
pathlist[count] = os.path.join('data_grab', pathlist[count])
count+=1
predictions = predict(pathlist)
'''
predictions[0]
[('n04447861', 'toilet_seat', 0.87126261), ('n04179913', 'sewing_machine', 0.027522231), ('n15075141', 'toilet_tissue', 0.020023976)]
'''

       通过上面的数据清洗，得到的干净数据如下：



        相应的脏数据如下：



        通过resnet50，基本上可以把脏数据清洗干净，可见深度学习的威力。但是，还是存在一些错误，这只能通过人工进一步清洗了。不过工作量已经少了很多。