AR红包Android端实现原理

AR红包Android端实现原理

 

作者 1s的消失 关注

2017.03.27 18:32 字数 2227 阅读 473评论
3喜欢 17

前不久支付宝推出了AR红包的功能，风靡一时，最近刚好完成了这样的需求，特此整理分享，以求相互学习、共同进步。有鉴于公司接下来可能的商用，就不在这里贴源码了，仅简单说一下实现思路和原理。
话不多讲，先上流程图：



AR红包.png

藏红包

一、初始化相机

相机类

android.hardware.Camera

，但是很遗憾它过时了，Google在Android5.0后推出了更强大的

android.hardware.camera2

包，但是为了兼容低版本这里依然使用

android.hardware.Camera

类（有兴趣的同学可以通过Android
Camera2 拍照入门学习这篇了解camera2的实现方式）。

Camera.open()

开启相机；

Camera.getParameters()

获取参数类并设置，缺少这一步相机的预览画面会变成横向的、模糊的。

需要设置的内容：

parameters.setPictureSize

图片分辨率，

parameters.setPre
e8c5
viewSize

预览图像分辨率，这两项需要根据设备支持的列表具体计算这里不再赘述

parameters.setPreviewFormat

预览图像转码格式，

parameters.setJpegQuality

照片质量，这里并不需要拍照可以忽略，

parameters.setFocusMode

对焦模式，连续对焦需要加

camera.cancelAutoFocus()

camera.setDisplayOrientation

预览画面方向，这里旋转90。
记得权限（Android6.0后需要动态申请。）：

<uses-permission android:name="android.permission.CAMERA" />
<uses-permission android:name="android.permission.FLASHLIGHT" />
<uses-feature android:name="android.hardware.camera" />
<uses-feature android:name="android.hardware.camera.autofocus" />
<uses-feature android:name="android.hardware.camera.flash" />

二、绑定surfaceView

找到surfaceView后

getHolder()

获得surfaceHolder引用；

holder.setType

设置类型；

holder.addCallback

添加回调；

Camera.setPreviewDisplay(holder)

将surfaceHolder传入Camera；

Camera.startPreview()

开启预览图像。

三、获取一帧预览图像

Camera.setOneShotPreviewCallback(PreviewCallback
cb)

方法可以获取一帧预览图像，数据会返回到PreviewCallback 回调中的 

onPreviewFrame(byte[]
data,Camera camera)

方法中，data即为帧数据。

四、预处理图像

首先明确一点，处理图像和接下来的其他耗时计算都要放到子线程中，不要问我为什么，编译器会告诉你答案。onPreviewFrame方法中的data并不能直接直接转为bitmap，需要先进行转码：

Camera.Size size = camera.getParameters().getPreviewSize();
YuvImage image = new YuvImage(data, ImageFormat.NV21, size.width, size.height, null);
ByteArrayOutputStream stream = new ByteArrayOutputStream();
image.compressToJpeg(new Rect(0, 0, size.width, size.height), 80, stream);
Bitmap bmp = BitmapFactory.decodeByteArray(stream.toByteArray(), 0, stream.size());

五、奇数帧？偶数帧？

为什么要分奇数偶数呢？当做好相机的准备工作后，要藏红包，实际上需要解决的就是排除不需要的图像，首先要做到的就是舍弃用户移动时获取的图像，最先的想法是利用加速度传感器，但是随后发现手机匀速移动的时候是没有加速度的，而这时获取的图像仍需舍弃。后来找到的解决方案是：不停获取帧图像，比较相邻两帧的相似度，当相似度达到某个阈值时视为相似，连续数次比较皆为相似可知用户所对位置即用户想要藏红包的地方，将此时获取的帧图保存即可。
设置一个计数器记录获取帧图的次数，计数器%2即可区分奇偶；
奇数帧存到图1，偶数帧存图2，比较图1图2；
不足两图、比较不相似就获取新的一帧，即可实现不停的比较相邻两帧图像。

六、相似？

比较相似的方法网上有挺多，有直接拿像素比较的，有处理成灰度图像比较的，有转成哈希值比较的，比较方法不同得到的数值也不同，所要设定的阈值也随之改变，具体看需求能达到目的就好。细心的同学会发现支付宝在藏红包的时候并不是所有地方都可以藏，有些没有意义、过度单调的地方是没办法藏的，这里实现的方式是计算图片像素“丰富度”（缺少图像学知识暂且这么叫吧）。得到图片所有像素点的值，去除重复，所得到的所有不同像素值的个数越小说明图片颜色越“单调”，然后根据这个个数值设置阈值进行判断。

七、确定红包位置

得到满足要求的帧图后，停止获取帧图，停止相机预览

Camera.stopPreview()

，将图片直接上传服务器或者转成哈希值传给服务器，也可以同时传些位置坐标等参数，这个看具体需求，这些数据即为所藏红包的“指纹”。

找红包

找红包相对简单，相同的逻辑不在赘述，只需要：
获取已藏红包的位置图片，
与获取的预览帧图比较，
不相似继续取帧图，相似停止取帧，即找到红包。
可以根据需求增加位置坐标范围判断和用户身份判断。

一点思考

首先我们对比下扫描二维码和扫描AR红包的实现原理：



二维码与找红包对比.png

不难发现，整个扫描流程十分相似。其实在我看来，AR红包可以理解为是一个特殊的“二维码”，只不过这个“二维码”上不再是特殊的几何图形，而是一张图片。支付宝“扫一扫”中左边是“二维码”右边是“AR”，有力地支持了我的逻辑。那么按照这个逻辑再来看整个AR红包，可以发现“藏红包”其实就是一个生成“二维码”的过程，“找红包”自然就是扫描“二维码”了。

那么AR红包又与二维码有什么区别？
我们知道二维码是按照一定规律生成的特殊几何图形，可以进行编码解析，即二维码中是内含信息的；而AR红包实际上只是一张图片，不包含信息。这也是为什么支付宝要通过红包地图和用户的方式将AR红包区分开的原因，否则如果两个用户在同一个位置藏了红包，扫描时将无法区分它们。既然如此那为什么还要有AR红包的存在呢？

AR红包相对于二维码的优缺点
优点：
AR红包藏匿于现实生活中。不同于二维码：“我是一个二维码，你们快来扫我呀O(∩_∩)O~~”，只要你不公开你的红包位置图，没人知道这有红包，当然你也可以让部分人看到。妈妈再也不用担心儿子的私房钱被老婆发现了！
AR红包来源于现实生活。所以就省去了张贴“二维码”和更换“二维码”的麻烦，同时也减少了二维码给环境带来的污染。试想一下：今天《金刚》首映扫“帝国大厦”可获得电影票一张，扫“央视大裤衩”看今日新闻是不是很cooool~
AR红包可以一地儿多用。同样一个“央视大裤衩”，央视扫是新闻联播，网易扫是网易头条，UC扫是UC震惊。
良好的用户体验。举个栗子：相比于扫公司logo打卡和扫公司logo上的二维码打卡，我选择前者。
缺点：
本身不包含信息，需要其他参数辅助。没有位置坐标和用户信息，AR红包几乎无法运行。
人不能俩次踏入同一条河流。你藏红包的地方可能随时间变化再也无法复现，比如碎掉的存钱罐、昨天的夕阳和年少的你。
算法不够完善。AR红包刚出现不久，尚没有统一的算法，每种比较的算法根据需求不同结果相差很大，识别效果和效率不够完美，无法像二维码一样瞬间识别，还有待进一步完善。
实现AR红包的过程中，让我深深的感到对图像处理知识的缺乏，这篇文章权当总结，一些浅见难免有疏忽纰漏，还往大家不吝赐教，共同进步。

参考：
Android二维码扫描开发（一）：实现思路与原理
Android实现图片相似度
Android 手把手带你玩转自定义相机
Android Camera2 拍照入门学习