是时候用 ES 拯救发际线啦

现在项目需要确定,数据停留在logstash中的时间,怎么办

Logstash | 作者 王社英 | 发布于2019年03月13日 | 阅读数:1818

现在数据的流程是filebeats --> logstash --> es ,同事测试的时候,发现文件从生成csv到能够从es中查询到,需要6,7s的时间,现在要求小于5s,现在确定filebeats到logstash的时间小于1s,重点就在于logstash中的处理时间是多久了,进入logstash的时间有,但是出logstash的时间没有,请问怎么能出logstash的时间通过  add_field 添加到 event的字段中呢?
 
或者提供一个其他的思路,用xpack监控的时间,在logstash中都是毫秒级别的,但是不太确定真实的时间,总想验证一下,不知道怎么办?没有思路
已邀请:

rochy - rochy_he

赞同来自:

可以直接使用控制台日志打印,这样就可以计算时间了
 
在 ES 早期版本有入库时间的隐藏字段,目前版本已经不存在了

jybbh - 80后IT男

赞同来自:

测试一下不就好了,先不要filebeat,从logstash开始,到ES查询。一般没有那么慢的,你可以重新弄个干净的版本试试。

要回复问题请先登录注册