在 Mapping 里面,将 dynamic 参数设置成 strict 可以拒绝索引包含未知字段的文档。 此条 Tips 由 medcl 贡献。

elasticsearch数据分页导出导致 iowaittime 增加服务器报警问题

匿名 | 发布于2018年12月05日 | 阅读数:2136

业务场景:共享商城,es主要保存商品信息和订单信息,订单日增量2万条,用户搜索查询商品比较多。
软件版本:Elasticsearch 6.2.4
环境部署:三台阿里云服务器,配置 8核16GB SSD硬盘,一台作为数据节点和主节点,另外两台作为数据节点。现存数据90万个doc,占用3GB内存,集群配置如下图。
问题描述:我这边遇到性能问题,java API调用elasticsearch 查询接口,在用户量大的时候 ,分页导出数据,共计4万条每条4kb左右,一次全部导出其中一台就会报iowait time 报警服务器压力比较大,然后更新或者保存其它的document就会失败。经过多次优化只是提高了一些性能,不知道哪里还有可以优化的地方。
请问有没有遇到类似性能方面问题的同学,希望不吝赐教,非常感谢 !

微信图片_20181205115731.png

 
已邀请:

rochy - rochy_he

赞同来自:

分页导出数据 4 W 条数据?
这个数据量还是推荐使用 scroll ,类似游标的方式导出数据

medcl - 今晚打老虎。

赞同来自:

你要一次全部导出基本无解。

要回复问题请先登录注册