使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

logstash不更新sincedb

Logstash | 作者 lsyoung | 发布于2017年08月05日 | 阅读数:3925

最近使用logstash从文件导数据到es时经常出现文件已经完全导入但是logstash的sincedb没有更新的情况,通常size值要小于文件的总大然后就不更新了。在kill掉logstash然后重启之后,sincedb又会马上更新了。
查看logstash的日志,没有发现任何错误,很是迷惑。希望大家帮忙找找问题所在。
使用场景如下:
    每天会从数据源写数据到一个文件,数据量大概1200万行,3.5G。从文件开始写的时候就开始使用logstash导入。
已邀请:

laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自:

logstash配置文件,核对下每个参数。
单次写入数据量别太大。

要回复问题请先登录注册