The requested URL was not found on this server. 不管你信不信,反正我是没找到

elasticsearch 索引太多太大会影响写入性能吗?

Elasticsearch | 作者 ww3mm4 | 发布于2018年02月26日 | 阅读数:7883

小弟使用filebeat+kafka+logstash+elasticsearch的模式收集log,现在log大约每天150g左右,kafka的消费速度非常慢,总是有大量log堆积,现在elasticsearch集群分布在5台机器上12核12g的机器,是哪里不对吗?
已邀请:

code4j - coder github: https://github.com/rpgmakervx

赞同来自: aslan

考虑优化索引结构,不需要索引的就设置 index:no,取消  _all,降低merge refresh, id使用自动生成等等。
 
不过还是要看下瓶颈在哪里,io的话,就上ssd, cpu的话看下热点线程,优化完还不行就升级机器配置

laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自:

1,确认下现在kafka怎么写入es的?优化思路1:加大并行消费进程的个数。
思路2,es线程池部分优化,堆内存优化,

weizijun - elasticsearch fan

赞同来自:

关键还是单个shard太大会影响写入

woniu5

赞同来自:

当前写入速度如何?

要回复问题请先登录注册