ELK学习8_ELK数据流传输过程_问题总结1

数据流传输过程描述：
使用Java程序，读取本地的.csv文件；
发送给集群中的Kafka；
Kafka将数据传给Logstash，这个过程中，Logstash中设置有filter，对字符串进行匹配或过滤；
ES对数据进行检索。

问题一：
Filter会对Logstash处理数据的速度产生影响。
如果对所有字段进行匹配，并将格式转换为需要的，处理时间会很长，很可能每秒只能处理几条。

问题二：
节点状态有三种，green、yellow、red，单个节点下，不同的存储内容也有这三种情况，如果某个文件变为red状态，应该怎样操作。

问题三：
Logstash启动后，可能只有一台机器在接收数据，其他两台只是在起备份的作用，寻找原因所在，现在猜测可能和Kafka有关，即Kafka集群中，也只有一台机器在给Logstash发送数据。

问题四：
Logstash启动问题
Logstash的filter中加上新设定的字段，方便ES进行检索，新字段的定义在conf目录下，故以后启动时，也应该在conf目录下启动，否则会报错：
pattern %{ MYPATTERN:新定义的字段名} not defined
（已经解决）

问题五：
Logstash停止问题
Logstash使用新的启动文件进行启动时，会先使用“Ctrl”+“C”键停止现在运行的Logstash，此时，会先显示以下信息：
SIGINT received.  Shutting down the pipeline. {:level=>:warn}
接下来是一堆红色信息，信息的开始部分是已发送数据的一条。
再使用“Ctrl”+“C”键，会报以下信息：
SIGINT received.  Terminating immediately. {:level=>:fata}
原因暂时未知。

来源:http://blog.csdn.net/wang_zhenwei/article/details/49895341