spark stream上创建对象实例
2017-06-06 15:00
288 查看
kafkaStream.foreachRDD { rdd => rdd.foreachPartition { partition => //每次在这里创建一个kafka producer实例是不可取的 } }
上边的方式会造通过kafka producer发送的数据部分丢失.
应该用如下的方式, 下边的这种方式就不会造成数据的丢失:
kafkaStream.foreachRDD { rdd => rdd.foreachPartition { partition => var database = new File(geodataPath) val producer = getKafka(kafkaMetaDataBrokerList) } } var kafkaProducer:Producer = null def getKafka(kafkaMetaDataBrokerList:String) = { if(kafkaProducer == null){ kafkaProducer = new Producer(kafkaMetaDataBrokerList); } kafkaProducer }
相关文章推荐
- 创建XMLHttpRequest对象的一个实例
- 如何用创建命名对象来判断应用程序是否已有一个实例在运行?
- 【软件测试自动化-QTP系列讲座 24】 == 创建保留对象的会话实例 ==
- java通过暴力反射创建不可实例化类的对象实例
- javascript中的对象创建 实例附注释
- 反射创建构造方法无参或带参类的实例对象
- 关于java中创建对象实例
- QuickCSharp框架开发(11)------建立Configuration项目(ClassLibrary)、建立ProviderFactory(提供者工厂创建任何对象的实例)抽象对象
- 创建XMLHttpRequest对象的一个实例
- Java创建对象实例的三种方法
- 创建XMLHttpRequest对象的一个实例
- 创建XMLHttpRequest对象的一个实例
- 类型实例的创建位置、托管对象在托管堆上的结构
- Effective java 代码优化实例--创建和销毁对象
- 创建XMLHttpRequest对象的一个实例
- 创建XMLHttpRequest对象的一个实例
- 类型实例的创建位置、托管对象在托管堆上的结构
- 实例工厂方法创建对象
- ClearCase完全攻略(七)UCM实例:创建Stream,加入项目Join Project
- .Net 中的反射(动态创建类型实例) - Part.4动态创建对象