按天创建索引问题

场景:实时从kakfa摄取数据到es.需要对近七天的数据就行查询.针对每天现有数据量,想按天创建索引.但是在从kafka摄取数据到es的时候,如何自动按天创建索引并指定分片数. 如果使用logstash 或者 kafkaconnector 支持吗.有比较好的方案吗,稳定成熟些
已邀请:

strglee - 公众号: 每日ELK ,每天分享ELK相关知识

赞同来自:

可以用 logstash-input-kafka 
然后在logstash output使用template 设置分片数量 ,index => "%{[@metadata][index]}-%{+YYYY.MM.dd}" 按天创建索引
 
可以参考这篇文章:http://yangxikun.github.io/201 ... .html  

laoyang360 - [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:blog.csdn.net/laoyang360

赞同来自:

kafka_connector

方案一:
1,写定时脚本,每天定时新建mapping,(前期需要定义模版)
2, 写定时脚本,每天定时更新同步配置,如果是kafka_connector,需要修改配置后,断开已有的connector连接,重启新的connector连接。

方案二:
转化思路,借助:rollover操作实现。

531651225@qq.com

赞同来自:

谢谢

要回复问题请先登录注册