你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
输入关键字进行搜索
搜索:
发现
分享
文章
活动
登录
试试搜索一下吧
logstash如何在配置文件中定义一个全局变量,并且传一次数据就递增一次,作为elasticsearch的id
Logstash
| 作者
iuiufa
| 发布于2017年04月21日 | 阅读数:
9902
分享到:
QQ空间
新浪微博
微信
QQ好友
印象笔记
有道云笔记
如何在logstash的配置文件中,通过ruby定义一个全局变量,每过滤下数据就递增一次,在output的elasticsearch中可以通过document_id来把这个全局变量作为存到es里的id
没有找到相关结果
已邀请:
与内容相关的链接
提交
1 个回复
wyntergreg
赞同来自:
logstash的output-elasticsearch是bulk提交的,不是单条提交的,不好实现
有添加timestamp的方案,但估计不适用
按理说自增id不是logstash关注的重点,es甚至是应该反对自增id的,不要用es玩排序
建议还是从数据源着手,数据源有自增id的话,可以替换es的id(虽然不建议这样做)
另外,如果非要实现的话,可以自己写logstash插件
持续关注
要回复问题请先
登录
或
注册
发起人
iuiufa
90后IT男
活动推荐
Jun
17
搜索客 Meetup 讲师招募(长期有效)
线上
·
6-17 周一
·
进行中
Nov
30
【活动报名】ClickHouse Beijing User Group 第2届 Meetup
北京
·
11-30 周六
·
报名中
相关问题
3千万数据,如何设计集群
elasticsearch scroll查询的原理没太懂
我来写第一个帖子-你们都是什么时候知道elasticsearch的?
怎么解决elasticsearch集群占用太多虚拟内存(VIRT)的问题?占用了几十个G,有什么可以对它进行限制的相关设置吗?
elasticsearch 设置 node.data: false 依然有数据
集群稳定性的一些问题(一定量数据后集群变得迟钝)
ElasticSearch-Hadoop的目標是什麼呢??
elasticsearch functionScoreQuery scriptFunction效率问题
除了设置mapping为not analyzied,还有其他方法让一个string字段不分词吗?
跨集群数据同步方案讨论
Elastic对类似枚举数据的搜索性能优化
问题状态
最新活动:
2017-04-21 10:08
浏览:
9902
关注:
2
人
1 个回复
wyntergreg
赞同来自:
有添加timestamp的方案,但估计不适用
按理说自增id不是logstash关注的重点,es甚至是应该反对自增id的,不要用es玩排序
建议还是从数据源着手,数据源有自增id的话,可以替换es的id(虽然不建议这样做)
另外,如果非要实现的话,可以自己写logstash插件
持续关注