一次不成功的深度学习实践 - 微信跳一跳
2018-01-03 15:21
375 查看
最近微信的跳一跳小程序火了一把,所以前天也更新了微信玩了几盘,最多手动到200左右就不行了。
后来准备用代码写个辅助工具,上Github一查,已经有人做出来了,17年12月29号的项目,不到5天差不多5K的stars,以后还会更多,简直可怕。
github.com/wangshub/we…
具体思路都差不多:
用adb调试手机,获取截图;
从截图中识别棋子和目标块的中心点位置;
根据距离计算长按时间,系数和屏幕分辨率相关;
用adb模拟长按,完成跳跃。
唉,多么可惜,错过了一个好项目。
既然别人已经实现了,那就尝试点不一样的,用 深度学习 解决一下。
基本流程类似,唯一的区别在于如何获取棋子和目标块的中心位置。
假如长按时间只取决于棋子和目标块的水平位置,那么只需要知道它们水平方向上的坐标即可。
可以看作一个 物体检测 问题,检测出截图中的棋子等物体,这里假设共包含七类物体:
棋子:chess
彩蛋块:包括污水 waste、魔方 magic、商店 shop、音乐盒 music
普通块:包括矩形块 rect、圆形块 circle
我手动标注了500张截图,基于
可以看到截图中的棋子、魔方、矩形块、圆形块都被检测了出来,每个检测结果包括三部分内容:
物体位置,用矩形标注,对应四元组 ymin、xmin、ymax、xmax;
物体类别,为以上七类中的一种;
检测置信度,越高说明模型对检测结果越有把握。
这不仅仅是简单的规则检测,而是 真正看到了截图中共有哪几个物体,以及每个物体分别是什么。
所以接下来,就只需从检测结果中取出棋子的位置,以及最上面一个非棋子物体,即目标块的位置。
有了物体的边界轮廓,取中点即可得到棋子和目标块的水平坐标,这里进行了归一化,即屏幕宽度为1,距离在0至1之间。然后将距离乘以一个系数,作为长按时间并模拟执行即可。
看起来很不错,实际跑分结果如何呢?
大概只能达到几百分,问题出在哪?
主要是标注数据太少,模型训练得不够充分,所以检测结果不够准确,有时候检测不出棋子和目标块,而一旦出现这类问题,分数必然就断了。
尝试了以下方法,将一张截图朝不同的方向平移,从而得到九张截图,希望提高检测结果的召回率,但仍然有检测不出来的情况,也许只有靠更多的标注数据才能解决这一问题。
模型训练了20W轮,依旧存在检测不出来的情况,郁闷得很,干脆也写一个基于规则的 简单版代码 好了。
花了不到20分钟写完代码,用
4000
。
事实证明,最后跑出来的分数,比之前的模型要高多了……
说好的深度学习呢?
面对以下情况时,基于人工经验定义规则,比用深度学习训练模型要省力、有效很多:
问题本身比较简单,不需要复杂的抽象;
标注数据比较有限,难以充分训练模型;
错误惩罚很高,对错误不能容忍。即便模型在99%的情况下能完美运行,1%的错误立马让游戏直接结束了,此时反而不如hard code的规则靠谱。
当然,如果大家能一起努力,多弄些标注数据出来,说不定还有些希望。
代码在Github上:github.com/Honlan/wech…
不说了,我继续刷分去了,用后面写的不到一百行的代码……
本文作者:张宏伦
原文地址:一次不成功的深度学习实践-微信跳一跳-教程-小程序社区-微信小程序-微信小程序开发社区-小程序开发论坛-微信小程序联盟
后来准备用代码写个辅助工具,上Github一查,已经有人做出来了,17年12月29号的项目,不到5天差不多5K的stars,以后还会更多,简直可怕。
github.com/wangshub/we…
具体思路都差不多:
用adb调试手机,获取截图;
从截图中识别棋子和目标块的中心点位置;
根据距离计算长按时间,系数和屏幕分辨率相关;
用adb模拟长按,完成跳跃。
唉,多么可惜,错过了一个好项目。
既然别人已经实现了,那就尝试点不一样的,用 深度学习 解决一下。
基本思路
基本流程类似,唯一的区别在于如何获取棋子和目标块的中心位置。假如长按时间只取决于棋子和目标块的水平位置,那么只需要知道它们水平方向上的坐标即可。
可以看作一个 物体检测 问题,检测出截图中的棋子等物体,这里假设共包含七类物体:
棋子:chess
彩蛋块:包括污水 waste、魔方 magic、商店 shop、音乐盒 music
普通块:包括矩形块 rect、圆形块 circle
模型实现
我手动标注了500张截图,基于ssd_mobilenet_v1_coco模型和
TensorFlow物体检测API,训练好的模型跑起来是这么个结果。
可以看到截图中的棋子、魔方、矩形块、圆形块都被检测了出来,每个检测结果包括三部分内容:
物体位置,用矩形标注,对应四元组 ymin、xmin、ymax、xmax;
物体类别,为以上七类中的一种;
检测置信度,越高说明模型对检测结果越有把握。
这不仅仅是简单的规则检测,而是 真正看到了截图中共有哪几个物体,以及每个物体分别是什么。
所以接下来,就只需从检测结果中取出棋子的位置,以及最上面一个非棋子物体,即目标块的位置。
有了物体的边界轮廓,取中点即可得到棋子和目标块的水平坐标,这里进行了归一化,即屏幕宽度为1,距离在0至1之间。然后将距离乘以一个系数,作为长按时间并模拟执行即可。
运行结果
看起来很不错,实际跑分结果如何呢?大概只能达到几百分,问题出在哪?
主要是标注数据太少,模型训练得不够充分,所以检测结果不够准确,有时候检测不出棋子和目标块,而一旦出现这类问题,分数必然就断了。
尝试了以下方法,将一张截图朝不同的方向平移,从而得到九张截图,希望提高检测结果的召回率,但仍然有检测不出来的情况,也许只有靠更多的标注数据才能解决这一问题。
规则检测
模型训练了20W轮,依旧存在检测不出来的情况,郁闷得很,干脆也写一个基于规则的 简单版代码 好了。花了不到20分钟写完代码,用
OpenCV提取边缘,然后检测棋子和目标块的水平中心位置,结果看起来像这样
4000
。
事实证明,最后跑出来的分数,比之前的模型要高多了……
说好的深度学习呢?
总结
面对以下情况时,基于人工经验定义规则,比用深度学习训练模型要省力、有效很多:问题本身比较简单,不需要复杂的抽象;
标注数据比较有限,难以充分训练模型;
错误惩罚很高,对错误不能容忍。即便模型在99%的情况下能完美运行,1%的错误立马让游戏直接结束了,此时反而不如hard code的规则靠谱。
当然,如果大家能一起努力,多弄些标注数据出来,说不定还有些希望。
代码在Github上:github.com/Honlan/wech…
不说了,我继续刷分去了,用后面写的不到一百行的代码……
本文作者:张宏伦
原文地址:一次不成功的深度学习实践-微信跳一跳-教程-小程序社区-微信小程序-微信小程序开发社区-小程序开发论坛-微信小程序联盟
相关文章推荐
- 一次不成功的深度学习实践 - 微信跳一跳
- 【机器学习PAI实践十】深度学习Caffe框架实现图像分类的模型训练
- 【总结】淘宝搜索/推荐系统背后深度强化学习与自适应在线学习的实践之路
- 微博深度学习平台架构和实践
- 深度学习实践操作—从小白到大白(二):使用前准备工作
- 深度学习算法实践1---开发环境搭建
- 深度学习系列:深度学习在腾讯的平台化和应用实践
- 深度学习动手实践:用 TensorFlow 打造“会看”的机器人
- 8. 深度学习实践:优化(续)
- deeplearning course-02-01 深度学习实践基础 Practical aspects of deep learning
- 深度学习实践经验:用Faster R-CNN训练Caltech数据集——修改读写接口
- 一篇文讲清楚深度学习中「训练」和「推断」的区别 2016-10-07 fengnanpi... 摘自 MOOC 阅 1271 转 5 转藏到我的图书馆 微信 分享: 不久前,我们深入
- 深度学习的浅实践:开源软件/数据库实现表情识别(1)
- 深度学习笔记之使用Faster-Rcnn进行目标检测 (实践篇)
- TensorFlow深度学习笔记 循环神经网络实践
- 10. 深度学习实践:循环神经网络 RNN
- 当Spark遇上TensorFlow分布式深度学习框架原理和实践
- 第一次调微信支付正常弹出支付页面并成功支付了,再次调用时就支付异常,换个微信账号又能调用一次
- 吴恩达 深度学习 Class1 课程总结及编程实践
- 开源深度学习库BigDL在阿里云E-MapReduce上的实践