ELK学习8_ELK数据流传输过程_问题总结1
2015-11-17 23:52
337 查看
数据流传输过程描述:
使用Java程序,读取本地的.csv文件;
发送给集群中的Kafka;
Kafka将数据传给Logstash,这个过程中,Logstash中设置有filter,对字符串进行匹配或过滤;
ES对数据进行检索。
问题一:
Filter会对Logstash处理数据的速度产生影响。
如果对所有字段进行匹配,并将格式转换为需要的,处理时间会很长,很可能每秒只能处理几条。
问题二:
节点状态有三种,green、yellow、red,单个节点下,不同的存储内容也有这三种情况,如果某个文件变为red状态,应该怎样操作。
问题三:
Logstash启动后,可能只有一台机器在接收数据,其他两台只是在起备份的作用,寻找原因所在,现在猜测可能和Kafka有关,即Kafka集群中,也只有一台机器在给Logstash发送数据。
问题四:
Logstash启动问题
Logstash的filter中加上新设定的字段,方便ES进行检索,新字段的定义在conf目录下,故以后启动时,也应该在conf目录下启动,否则会报错:
pattern %{ MYPATTERN:新定义的字段名} not defined
(已经解决)
问题五:
Logstash停止问题
Logstash使用新的启动文件进行启动时,会先使用“Ctrl”+“C”键停止现在运行的Logstash,此时,会先显示以下信息:
SIGINT received. Shutting down the pipeline. {:level=>:warn}
接下来是一堆红色信息,信息的开始部分是已发送数据的一条。
再使用“Ctrl”+“C”键,会报以下信息:
SIGINT received. Terminating immediately. {:level=>:fata}
原因暂时未知。
使用Java程序,读取本地的.csv文件;
发送给集群中的Kafka;
Kafka将数据传给Logstash,这个过程中,Logstash中设置有filter,对字符串进行匹配或过滤;
ES对数据进行检索。
问题一:
Filter会对Logstash处理数据的速度产生影响。
如果对所有字段进行匹配,并将格式转换为需要的,处理时间会很长,很可能每秒只能处理几条。
问题二:
节点状态有三种,green、yellow、red,单个节点下,不同的存储内容也有这三种情况,如果某个文件变为red状态,应该怎样操作。
问题三:
Logstash启动后,可能只有一台机器在接收数据,其他两台只是在起备份的作用,寻找原因所在,现在猜测可能和Kafka有关,即Kafka集群中,也只有一台机器在给Logstash发送数据。
问题四:
Logstash启动问题
Logstash的filter中加上新设定的字段,方便ES进行检索,新字段的定义在conf目录下,故以后启动时,也应该在conf目录下启动,否则会报错:
pattern %{ MYPATTERN:新定义的字段名} not defined
(已经解决)
问题五:
Logstash停止问题
Logstash使用新的启动文件进行启动时,会先使用“Ctrl”+“C”键停止现在运行的Logstash,此时,会先显示以下信息:
SIGINT received. Shutting down the pipeline. {:level=>:warn}
接下来是一堆红色信息,信息的开始部分是已发送数据的一条。
再使用“Ctrl”+“C”键,会报以下信息:
SIGINT received. Terminating immediately. {:level=>:fata}
原因暂时未知。
相关文章推荐
- 从相册选取图片
- laravel学习笔记二
- 南大软院大神养成计划-第二天
- cin 和 getchar()
- Android屏幕适配分享
- python中的三个读read(),readline()和readlines()
- java线程池简述
- 各种 真机远程调试 方法 汇总
- 泛型第二遍
- Alpha阶段个人贡献分及转会人员确定
- salt Syndic 的实现
- 英音美音加拿大发音区别大盘点
- [Objective-C]NSLog与printf的区别
- Qt环境搭建(Qt Creator)
- Qt环境搭建(Qt Creator)
- 内网渗透一:利用Xss漏洞进入内网
- css网页布局基础
- 提示框
- 蓝懿ios 技术内容交流和学习心得 11.17
- hihocoder #1093 : 最短路径·三:SPFA算法