沙师弟,师父的充电器掉了

elasticsearch 用来做日志收集,机器cpu和load过高

Elasticsearch | 作者 code4j | 发布于2018年01月25日 | 阅读数:2356

场景:日志通过flume收集 打到kafka,然后通过一个收集器 从kafka消费消息后批量写入es。
 集群目前四个节点,每个节点均是8核16G内存,集群主要用来写日志,因此写入很频繁,查询比较少。
 
现在机器负载比较高,load 10, 8, 8差不多,cpu时不时会8个核全都99%,然后又会下来一些,再上去一下,再下来一些。
 

418CD9C7-D110-4882-9D8F-5747C0F7B4AE.png

 
这个不稳定,高峰期的时候比这个还高,然后又会下来,比这个低,然后几秒钟又会上去一下,总之不稳定的会占用率很高。
 
vmstat 看了下:

4031EC57-5584-4be4-9EA6-AA7ECD7E0611.png

 
感觉 r 有些高,因为是写入性质的业务 bo 也会高一些
 
这种情况下,需要加节点吗?还是需要怎么优化一下呢?求教啊
已邀请:

medcl - 今晚打老虎。

赞同来自:

请补充说明:
Elasticsearch 版本、集群节点类型情况、服务器硬件配置情况、集群数据规模(文档数、磁盘占用)、分片情况、写索引压力情况(Indexing/s)、写索引是如何操作的( ingest 架构、线程数、bulk?bulk size)、服务器各项监控指标曲线图等信息。

要回复问题请先登录注册