场景:日志通过flume收集 打到kafka,然后通过一个收集器 从kafka消费消息后批量写入es。
集群目前四个节点,每个节点均是8核16G内存,集群主要用来写日志,因此写入很频繁,查询比较少。
现在机器负载比较高,load 10, 8, 8差不多,cpu时不时会8个核全都99%,然后又会下来一些,再上去一下,再下来一些。
这个不稳定,高峰期的时候比这个还高,然后又会下来,比这个低,然后几秒钟又会上去一下,总之不稳定的会占用率很高。
vmstat 看了下:
感觉 r 有些高,因为是写入性质的业务 bo 也会高一些
这种情况下,需要加节点吗?还是需要怎么优化一下呢?求教啊
1 个回复
medcl - 今晚打老虎。
赞同来自:
Elasticsearch 版本、集群节点类型情况、服务器硬件配置情况、集群数据规模(文档数、磁盘占用)、分片情况、写索引压力情况(Indexing/s)、写索引是如何操作的( ingest 架构、线程数、bulk?bulk size)、服务器各项监控指标曲线图等信息。