实践操作:六步教你如何用开源框架Tensorflow对象检测API构建一个玩具检测器
转自:http://www.atyun.com/8249.html
TensorFlow对象检测API是一个建立在TensorFlow之上的开源框架,可以轻松构建,训练和部署对象检测模型。
到目前为止,API的性能给我留下了深刻的印象。在这篇文章中,我将API的对象设定为一个可以运动的玩具。本文将用六个步骤突出API的性能并教你如何构建一个玩具探测器,你也可以根据这六个步骤扩展与实践你想要构建的任何单个或多个对象检测器。
实践操作:六步教你如何用开源框架Tensorflow对象检测API构建一个玩具检测器
TensorFlow玩具检测器
代码在我的GitHub repo上。
地址:https://github.com/priya-dwivedi/Deep-Learning/tree/master/tensorflow_toy_detector
第一步:收集数据
第一步是为你的项目收集图像,你可以从谷歌上下载。在我的例子中,我创建了一个飞机玩具的视频,并使用Opencv从视频中提取图像。这节省了我很多时间。我确保图像是从多个角度拍摄的。你也可以随机改变一些图像的亮度,这样探测器就可以在不同的光线条件下工作了。大致来说,你需要提供总共100-150张图片就足够了。参见下面的一些示例图片:
实践操作:六步教你如何用开源框架Tensorflow对象检测API构建一个玩具检测器玩具的不同角度
第二步:为图像添加注释
我使用Labelimg来注释图像,它是一个图形化的图像注释工具。安装地址:https://github.com/tzutalin/labelImg
这是一个非常有用的工具,注释是在Pascal VOC的格式中创建的,稍后你可以看到这个格式的用处。Labelimg是用Python编写的,并使用Qt作为接口。我使用了Python3 + Qt5这个组合来操作,事实证明是没有问题的(请参见带注释的图像示例)。从本质上说,我们为对象识别x和y的最大值与最小值,并将其传递给模型以及用于训练的图像。
实践操作:六步教你如何用开源框架Tensorflow对象检测API构建一个玩具检测器
使用labelimg为玩具添加注释
第三步:创建TFR数据集
Tensorflow API想让数据集最终变为TFRecord文件格式。这一步骤可能是最棘手的部分。但是,Tensorflow提供了一些方便的脚本,以帮助你启动- create_pascal_tf_record.py和create_pet_tf_record.py。由于labelimg已经以正确的格式创建了注释,所以我使用最小编辑的create_pet_tf_record.py。同时,这个脚本随机抽取30%的数据并创建了一个验证TFR文件。
需要注意的是,你还需要创建一个label.pbtxt文件,用于将标签名转换为一个数字id。这个过程非常简单:
item {
id: 1
name: ‘toy’
}
第四步:创建一个模型配置文件
一旦创建了TFR数据集,那么首先你需要确定你是否将使用现有的模型,并对其进行微调,或者从头开始构建。我强烈推荐使用现有的模型,因为卷积神经网络(CNNs)所了解的大多数特性通常都是对象不可知论的,而对现有的模型进行微调通常是一个简单而准确的过程。但是请注意,如果你决定从头开始构建,你将需要150多个图像,还要花费好几天时间来训练。该API提供了5种不同的模型,可以在执行速度和放置包围盒的精度之间进行权衡。见下表:
实践操作:六步教你如何用开源框架Tensorflow对象检测API构建一个玩具检测器
TensorFlow检测模型
对于这个项目,我决定使用在coco数据集上训练的faster_rcnn_resnet101。如果你想了解更多关于RCNN的模型的内容,请移步→https://blog.athelas.com/a-brief-history-of-cnns-in-image-segmentation-from-r-cnn-to-mask-r-cnn-34ea83205de4
Tensorflow提供了几个示例配置文件,以开始创建。示例配置文件地址:https://github.com/tensorflow/models/tree/master/research/object_detection/samples/configs
使用faster_rcnn_resnet101_coco文件,并更新任何需要在文件中配置的路径。记住,不要忘记更新类的个数。
第五步:训练模型
终于!所有困难的(和无聊的)部分都完成了,我们可以开始训练模型了。因为我有一个可以合理使用的GPU,所以我决定在本地进行训练。然而,你也可以在云上进行训练。
你可以同时在两个独立的终端上启动训练工作和评估工作。并启动Tensorboard来监控性能。经过2-3个小时的训练后,可以看到总损失下降到0.077,精确到0.99。通过查看Tensorboard中的图像,我们可以看到这个模型很快就变得准确了。
模型很快就能得到准确的数据
第六步:测试模型
为了测试这个模型,我们首先选择一个模型检查点(通常是最新的),然后导出到一个冻结的推理图中。这个脚本也可以在我的github上找到。我在iPhone上录制的一段新视频中测试了这个模型。在我的前一篇文章中,我使用Python moviepy库将视频解析成帧,然后在每个帧上运行对象检测器,并将结果返回到视频中。文章地址:https://medium.com/towards-data-science/is-google-tensorflow-object-detection-api-the-easiest-way-to-implement-image-recognition-a8bd1f500ea0
接下来的步骤
在测试过程中,我发现Faster RCNN模型有点慢。接下来,我将探索使用最快的模型-SSD mobilenet,看看是否有明显的准确性下降的问题。
对于这个模型,我只是使用了faster_rcnn_resnet101_coco的模型配置文件中的默认参数。如果它们能被调整以获得更好的性能,那就值得探索了。
通过更多的努力,这个过程可以扩展到其他类别。
- 实践操作:六步教你如何用开源框架Tensorflow对象检测API构建一个玩具检测器
- 构建通用的操作日志框架实践过程
- 如何检测Web网站使用的是什么JS框架--一个很好用的工具
- 构建 QC + QTP 自动化测试框架 3: QTP 如何读写文本文件和Excel以及操作数据库
- 如何判断一个C++对象是否在堆栈上(通过VirtualQuery这个API来获取堆栈的起始地址,然后就可以得到答案了),附许多精彩评论
- 如何用Revit API从无到有创建构建的类型对象?
- 如何开发一个java开源框架-----Jvn框架之实现用注解代替配置文件
- 如何才能学到Qt的精髓——信号槽之间的无关性,提供了绝佳的对象间通讯方式,QT的GUI全是自己的一套,并且完全开源,提供了一个绝好机会窥视gui具体实现
- SpringBoot构建Restful Api项目开发——思考如何做项目框架
- 如何搭建一个可以链式调用,批量操作的前端框架
- 如何开发一个java开源框架-----Jvn框架之实现mvc框架模式(第一讲)
- 如何开发一个java开源框架-----Jvn框架之实现自动生成在线文档(第七讲)
- 如何使用国际开源项目构建一个完整的GIS(地理信息)应用系统
- 网络通信、图片显示、数据库操作……Android程序员如何利用开源框架
- 阿里云前端周刊 - 第 29 期 RESTful API 设计最佳实践_项目资源的URL应该如何设计?用名词复数还是用名词单数?一个资源需要多少个URL?
- Jquery如何序列化form表单数据为JSON对象 C# ADO.NET中设置Like模糊查询的参数 从客户端出现小于等于公式符号引发检测到有潜在危险的Request.Form 值 jquery调用iframe里面的方法 Js根据Ip地址自动判断是哪个城市 【我们一起写框架】MVVM的WPF框架(三)—数据控件 设计模式之简单工厂模式(C#语言描述)
- [转]如何使用国际开源项目构建一个完整的GIS(地理信息)应用系统
- 2.6 如何为一个框架增加对象和子窗口?[wxPython In Action]
- 个人开源框架[对象属性自定义复制/快速操作文件/属性读取表达式]
- 菜鸟如何构建一个入门级***检测系统