疲劳是最舒适的枕头,努力工作吧。

按天创建索引问题

Elasticsearch | 作者 531651225@qq.com | 发布于2018年06月13日 | 阅读数:6893

场景:实时从kakfa摄取数据到es.需要对近七天的数据就行查询.针对每天现有数据量,想按天创建索引.但是在从kafka摄取数据到es的时候,如何自动按天创建索引并指定分片数. 如果使用logstash 或者 kafkaconnector 支持吗.有比较好的方案吗,稳定成熟些
已邀请:

strglee

赞同来自:

可以用 logstash-input-kafka 
然后在logstash output使用template 设置分片数量 ,index => "%{[@metadata][index]}-%{+YYYY.MM.dd}" 按天创建索引
 
可以参考这篇文章:http://yangxikun.github.io/201 ... .html  

laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自:

kafka_connector

方案一:
1,写定时脚本,每天定时新建mapping,(前期需要定义模版)
2, 写定时脚本,每天定时更新同步配置,如果是kafka_connector,需要修改配置后,断开已有的connector连接,重启新的connector连接。

方案二:
转化思路,借助:rollover操作实现。

531651225@qq.com

赞同来自:

谢谢

要回复问题请先登录注册