python每5分钟从kafka中提取数据的例子
2019-12-24 12:10
756 查看
我就废话不多说了,直接上代码吧!
import sys sys.path.append("..") from datetime import datetime from utils.kafka2file import KafkaDownloader import os """ 实现取kafka数据,文件按照取数据的间隔命名 如每5分钟从kafka取数据写入文件中,文件名为当前时间加5 """ TOPIC = "rtz_queue" HOSTS = "ip:9092,ip:9092" GROUP = "2001" def get_end_time(hour,minute,time_step): if (minute+time_step)%60<60: if (minute+time_step)%60<10: return str(hour+int((minute+time_step)/60))+":"+"0"+str((minute+time_step)%60) else: return str(hour+int((minute+time_step)/60))+":"+str((minute+time_step)%60) else: pass def kafkawritefile(time_step,time_num): start = datetime.now() downloader = KafkaDownloader(HOSTS, TOPIC, GROUP) i = 1 while(i<=time_num): end_time = get_end_time(start.hour, start.minute,i*time_step) end_time_file = end_time.replace(':', '_') outfile_path = "/data/tmp/" + end_time_file + ".csv" if os.path.exists(outfile_path): os.remove(outfile_path) writefile = open(outfile_path, 'a+', encoding='utf-8') for msg in downloader.message(): curr_time = datetime.now() curr_time = str(curr_time) split_curr_time = curr_time.split(' ') curr_time_str = split_curr_time[1][0:5] if curr_time_str >= str(end_time): break i += 1 if __name__=='__main__': time_step = 15 time_num = 1 kafkawritefile(time_step,time_num)
以上这篇python每5分钟从kafka中提取数据的例子就是小编分享给大家的全部内容了,希望能给大家一个参考
您可能感兴趣的文章:
相关文章推荐
- 使用kafkapython读取实时数据小例子
- python消费kafka数据批量插入到es
- Python 3.x提取数据某一行或某一列或特定位置元素
- python实现提取数据并保存在csv中
- Python操作json数据的一个简单例子
- Python数据采集——提取页面内容的几种手段
- 用Python在训练好的log文件中提取出数据并画图
- python3实现从kafka获取数据,并解析为json格式,写入到mysql中
- Python json 数据提取 jsonpath 模块
- Python提取特定时间段内数据的方法实例
- python django 原生sql 获取数据的例子
- python--用linecache模块方便提取文本数据
- 利用python在大量数据文件下删除某一行的例子
- 使用python 提取html文件中的特定数据
- Python连接mongodb提取部分字段内数据并写入txt文件
- python 中os.path.append(),设定从kafka读取文件的时间 如:从kafka中读取半个小时的数据
- Python 爬虫 数据提取
- Python使用xslt提取网页数据
- python消费kafka数据批量插入到es的方法
- (转)如何用python抓取网页并提取数据