您的位置:首页 > 运维架构

道路交通实时流量监控预测系统一些学习整理

2019-02-27 15:50 537 查看


   道路交通实时流量监控预测系统
      项目背景: 出行路线规划、交通部门对道路的规划与建设
      涉及那些步骤: 并发采集数据(kafka)、实时数据处理(spark)、高效内存存储(redis)、建模实时预测(MLlib)、页面展示 
      具体的业务需求:代码编程中提取吧(基本就是走一遍全部流程而已,没什么特定的业务需求)
                                ------主要就是预测某段时间某路段堵不堵的业务问题!
          四个步骤:1.数据产生(模拟往kafka中写数据)、
                    2.数据实时收集处理并存入redis、
                    3.特征数据提取及模型建立(一脸萌?)
                           //读取数据(redis中)
                           //逻辑处理(滤波处理、构建特征因子)
                           //构建训练数据(根据特征因子)
                           //配置spark运行环境
                           //训练model(逻辑回归)
                           //测试
                           //获取评估值
                    4.模型预测 《spark MLlib,先涨姿势,有需要再深入研究》
                           //模拟卡口数据,时间和卡口
                           //读数据
                           //数据准备
                           //配置spark
                           //加载模型(读取之前构建保存的model)
                           //预测
                           //结果保存
       
       
      cdh集成redis?  ----》 集群中单独配置redis集群,然后配置zookeeper(搜spark整合redis?)
      maven的pom.xml要添加redis的配置
      <dependency>
        <groupId>redis.clients</groupId>
        <artifactId>jedis</artifactId>
        <version>3.1.0</version>
      </dependency>

    <dependency>
        <groupId>org.apache.commons</groupId>
        <artifactId>commons-lang3</artifactId>
        <version>3.3.2</version>
    </dependency>


      spark MLlib好像不需要配置?   -----  hadoop mahout的就需要配置
      <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-mllib_${scala.version}</artifactId>
        <version>${spark.version}</version>
     </dependency>
 
 

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: