Kafka +深度学习+ MQTT搭建可扩展的物联网平台【附源码】
问题导读
1.本项目包含哪些源码?
2.本文使用了哪些框架?
3.KSQL UDF如何实现?
文中链接查看,可点击:阅读原文
物联网+大数据+机器学习将会是以后的趋势,这里介绍一篇这方面的文章包含源码。
混合机器学习基础架构构建了一个场景,利用Apache Kafka作为可扩展的中枢神经系统。 公共云用于极大规模地训练分析模型(例如,通过Google ML Engine在Google Cloud Platform(GCP)上使用TensorFlow和TPU,预测(即模型推断)在本地Kafka基础设施的执行( 例如,利用Kafka Streams或KSQL进行流分析)。
本文重点介绍内部部署。 创建了一个带有KSQL UDF的Github项目,用于传感器分析。 它利用KSQL的新API功能,使用Java轻松构建UDF / UDAF函数,对传入事件进行连续流处理。
使用案例:Connected Cars - 使用深度学习的实时流分析
从连接设备(本例中的汽车传感器)连续处理数百万个事件:
为此构建了不同的分析模型。 他们在公共云上接受TensorFlow,H2O和Google ML Engine的训练。 模型创建不是此示例的重点。 最终模型已经可以投入生产,可以部署用于实时预测。
模型服务可以通过模型server 完成,也可以本地嵌入到流处理应用程序中。 参阅RPC与流处理的权衡,以获得模型部署和....
演示:使用MQTT,Kafka和KSQL在Edge进行模型推理
Github项目:深度学习+KSQL UDF 用于流式异常检测MQTT物联网传感器数据
(下载源码:
ksql-udf-deep-learning-mqtt-iot-master.zip (474.64 KB, 下载次数: 0) )
该项目的重点是通过MQTT将数据提取到Kafka并通过KSQL处理数据:
Confluent MQTT Proxy的一大优势是无需MQTT Broker即可实现物联网方案的简单性。 可以通过MQTT代理将消息直接从MQTT设备转发到Kafka。 这显着降低了工作量和成本。 如果你“只是”想要在Kafka和MQTT设备之间进行通信,这是一个完美的解决方案。
如果你想看到另一部分(与Elasticsearch / Grafana等接收器应用程序集成),请查看Github项目“KSQL for streaming IoT data”。 这实现了通过Kafka Connect和Elastic连接器与ElasticSearch和Grafana的集成。(源码下载:链接: https://pan.baidu.com/s/1FCFgAoF9v1ihp9fyqHeKag 密码: 67sz)
KSQL UDF - 源代码
开发UDF非常容易。 只需在UDF类中的一个Java方法中实现该函数:
[Bash shell] 纯文本查看 复制代码
?
这里是所有代码:
[Java] 纯文本查看 复制代码
?
如何使用Apache Kafka和MQTT Proxy运行演示?
执行演示的所有步骤都在Github项目中描述。
你只需安装Confluent Platform,然后按照以下步骤部署UDF,创建MQTT事件并通过KSQL levera处理它们....
这里使用Mosquitto生成MQTT消息。 当然,也可以使用任何其他MQTT客户端。 这是开放和标准化协议的巨大好处。
到此结束,文章虽然简短,但是内容确实很丰富,特别项目的源码的阅读,在github上有详细的介绍。为方便阅读,微信点此可查看
https://github.com/kaiwaehner/ksql-udf-deep-learning-mqtt-iot
https://github.com/kaiwaehner/ksql-fork-with-deep-learning-function
原文有内嵌链接。
- 深度学习平台搭建(二)——Ubuntu16安装完成后要做的事
- 深度学习平台Theano环境搭建【GPU版】
- 深度学习平台Caffe环境搭建【CPU版】
- 深度学习,windows平台环境搭建
- ubuntu下搭建深度学习平台Anaconda
- Windows8.1 64bit环境下搭建深度学习平台之CUDA安装与配置
- Wndows8.1 64bit环境下搭建深度学习平台之Theano安装配置
- ubuntu 14.04 搭建GPU深度学习 tensorflow 平台
- 借助英特尔幸运28平台搭建® 优化 Chainer* 管理深度学习网络
- 深度学习平台搭建(一)——在GPT+UEFI安装Win10+Ubuntu16.04双系统
- Windows8.1 64bit环境下搭建深度学习平台之CUDA安装与配置
- 深度学习平台:Tensorflow 环境搭建 | linux操作系统
- Windows下深度学习平台Keras环境搭建【CPU版】
- Win10上搭建深度学习平台Tensorflow
- 中文译文:Minerva-一种可扩展的高效的深度学习训练平台(Minerva - A Scalable and Highly Efficient Training Platform for Deep Learning)
- 手把手教你搭建深度学习平台——避坑安装theano+CUDA
- 深度学习框架keras平台搭建(关键字:windows、非GPU、离线安装)
- 最新2018.1.1深度学习平台搭建 Win10+GPU+Tensorflow+keras+CUDA --2018.1.1
- 基于深度学习框架的火灾识别报警平台搭建----OpenCV3.1.0读取dav视频数据出错
- 微星GT80S win8+ubuntu16.04.01+theano+tensorflow+cuda8.0深度学习平台搭建