ES7.17版本terms查询性能问题
zmc 发表了文章 • 3 个评论 • 3281 次浏览 • 2022-09-27 18:53
背景
1.对于7版本(大版本)集群希望只维护一个版本,最终选择7.17,对同大版本的7.5版本集群进行升级
2.根据官方描述,_id放到堆外性能损失非常小可以忽略,且对BKD进行了优化
3.升级完成,一段时间之后,收到用户报障
4.抽样检查了下部分升级的集群,其中部分受到影响,部分不受影响。且每个集群内存均有一定优化(预期内)
调查&分析
1.发现is_deleted文档特别多,怀疑是7.17版本对于碎片过于敏感。做forcemerge,没什么效果。
2.GET _nodes/hot_threads 查看耗时部分,结果展示笼统,没得到关键信息。
3.给语句加上profile,查看耗时部分。
<br /> GET index-v1/_search<br /> {"profile":"true","query":{"bool":{"filter":[{"term":{"xid":{"value":"11111111","boost":1.0}}},{"terms":{"status":[2,3,4],"boost":1.0}},{"terms":{"platform":["aaa","bbb"],"boost":1.0}},{"terms":{"pId":[1,2],"boost":1.0}}],"adjust_pure_negative":true,"boost":1.0}},"sort":[{"time":{"order":"desc"}}]}<br />
从脱敏的简化结果中可以看出来,主要是 status、pId 字段耗时高,这两个字段都是integer类型,并且使用了terms查询。
<br /> {<br /> "took": 554,<br /> "timed_out": false,<br /> "_shards": {<br /> "total": 3,<br /> "successful": 3,<br /> "skipped": 0,<br /> "failed": 0<br /> },<br /> "hits": {<br /> "total": {<br /> "value": 5,<br /> "relation": "eq"<br /> },<br /> "max_score": null,<br /> "hits": [<br /> ...<br /> ]<br /> },<br /> "profile": {<br /> "shards": [<br /> {<br /> "id": "[APxxxxxxxxxxxxxxQ][index-v1][0]",<br /> "searches": [<br /> {<br /> "query": [<br /> {<br /> "type": "BooleanQuery",<br /> "description": "#xid:111111111 #status:{2 3 4} #ConstantScore(platform:aaa platform:bbb) #pId:{1 2}",<br /> "time_in_nanos": 415205306,<br /> "breakdown": {<br /> ...<br /> "build_scorer": 415028271<br /> },<br /> "children": [<br /> {<br /> "type": "TermQuery",<br /> "description": "xid:111111111",<br /> "time_in_nanos": 102656,<br /> "breakdown": {<br /> .....<br /> "build_scorer": 86264<br /> }<br /> },<br /> {<br /> "type": "PointInSetQuery",<br /> "description": "status:{2 3 4}",<br /> "time_in_nanos": 220394978,<br /> "breakdown": {<br /> ....<br /> "build_scorer": 220385119<br /> }<br /> },<br /> {<br /> "type": "ConstantScoreQuery",<br /> "description": "ConstantScore(platform:aaa platform:bbb)",<br /> "time_in_nanos": 341845,<br /> "breakdown": {<br /> .....<br /> "build_scorer": 282277<br /> },<br /> "children": [<br /> {<br /> "type": "BooleanQuery",<br /> "description": "platform:aaa platform:bbb",<br /> "time_in_nanos": 329042,<br /> "breakdown": {<br /> .....<br /> "build_scorer": 277752<br /> },<br /> "children": [<br /> {<br /> "type": "TermQuery",<br /> "description": "platform:aaa",<br /> "time_in_nanos": 62446,<br /> "breakdown": {<br /> .....<br /> "build_scorer": 37931<br /> }<br /> },<br /> {<br /> "type": "TermQuery",<br /> "description": "platform:bbb",<br /> "time_in_nanos": 15093,<br /> "breakdown": {<br /> .....<br /> "build_scorer": 6981<br /> }<br /> }<br /> ]<br /> }<br /> ]<br /> },<br /> {<br /> "type": "PointInSetQuery",<br /> "description": "pId:{1 2}",<br /> "time_in_nanos": 194164297,<br /> "breakdown": {<br /> ....<br /> "build_scorer": 194160452<br /> }<br /> }<br /> ]<br /> }<br /> ],<br /> "rewrite_time": 40044,<br /> "collector": [<br /> {<br /> "name": "SimpleFieldCollector",<br /> "reason": "search_top_hits",<br /> "time_in_nanos": 144012<br /> }<br /> ]<br /> }<br /> ]<br />
4.单个的profile无法说明问题,进一步排查:使用arthas工具获取一段时间内的火焰图
可以看到主要就是BKD数据结构占用的CPU。
5.参考官方论坛相似问题:https://discuss.elastic.co/t/v ... 152/3
6.integer类型的terms查询性能较差,看起来官方描述的BKD相关优化指的是range
7.测试验证,将字段改成keyword,查看结果,CPU查询耗时恢复到正常范围
es8 java api深分页
Charele 回复了问题 • 2 人关注 • 1 个回复 • 1471 次浏览 • 2022-09-27 20:45
如何解决ES 一秒钟的事务问题?
Charele 回复了问题 • 3 人关注 • 2 个回复 • 1851 次浏览 • 2022-09-27 18:53
API 网关 Apache APISIX 集成 Elasticsearch 实现实时日志监控
WangChengCheng 发表了文章 • 0 个评论 • 2393 次浏览 • 2022-09-23 10:18
本文将为你介绍 Apache APISIX 的 elasticsearch-logger 插件的相关信息,以及如何通过此插件获取 APISIX 的实时日志。
背景信息
Apache APISIX 是一个动态、实时、高性能的 API 网关,提供了负载均衡、动态上游、灰度发布、服务熔断、身份认证、可观测性等丰富的流量管理功能。作为 API 网关,Apache APISIX 不仅拥有丰富的插件,而且支持插件的热加载。
Elasticsearch 是一个基于 [Lucene](https://zh.m.wikipedia.org/zh-hans/Lucene) 库的搜索引擎。它提供了分布式、RESTful 风格的搜索和数据分析引擎,具有可扩展性、可分布式部署和可进行相关度搜索等特点,能够解决不断涌现出的各种用例。同时还可以集中存储用户数据,帮助用户发现意料之中以及意料之外的情况。
插件介绍
APISIX 以 HTTP 请求的方式向 Elasticsearch 发送 APISIX 的 Runtime 日志。插件elasticsearch-logger
采用 [bulk](https://www.elastic.co/guide/e ... s-bulk) 的格式进行日志上报,这允许 APISIX 可以将多条日志合并后再进行上报,这使得 APISIX 在对 Elasticsearch 进行日志上报方面更加灵活并且具有较好的性能。你可以参考文档 [APISIX 批处理器](https://apisix.apache.org/zh/d ... essor/) 对日志合进行更加细致的配置。
配置步骤
首先,你需要安装完成 APISIX,本文所有步骤基于 Centos 7.5 系统进行。详细的安装步骤参考 [APISIX 安装指南](https://apisix.apache.org/zh/d ... guide/)。
步骤1:启动 Elasticsearch
本示例只演示了通过docker-compose
启动 Elasticsearch 单节点的方式,其它启动方式可参考 [Elasticsearch 官方文档](https://www.elastic.co/cn/downloads/elasticsearch)。
``` shell使用 docker-compose 启动 1 个 Elasticsearch 节点, 1 个 kibana
version: '3.8'
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:7.17.1
container_name: elasticsearch
environment:
ES_JAVA_OPTS: -Xms512m -Xmx512m
discovery.type: single-node
xpack.security.enabled: 'false'
networks:
- es-net
ports:- "9200:9200"
- "9300:9300"
kibana:
image: docker.elastic.co/kibana/kibana:7.17.1
container_name: kibana
environment:
ELASTICSEARCH_HOSTS: http://elasticsearch:9200
I18N_LOCALE: zh-CN
networks:- es-net
depends_on:- elasticsearch
ports:- "5601:5601"
networks:
es-net:
driver: bridge
```
步骤2:创建路由并配置插件
APISIX 默认配置文件中已启用elasticsearch-logger
插件,所以你只需要通过下方命令创建路由并配置elasticsearch-logger
插件就可以在 APISIX 中正常使用了。
shell<br /> curl <a href="http://127.0.0.1:9180/apisix/admin/routes/1" rel="nofollow" target="_blank">http://127.0.0.1:9180/apisix/admin/routes/1</a> \<br /> -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '<br /> {<br /> "plugins":{<br /> "elasticsearch-logger":{<br /> "endpoint_addr":"<a href="http://127.0.0.1:9200"" rel="nofollow" target="_blank">http://127.0.0.1:9200"</a>,<br /> "field":{<br /> "index":"services",<br /> "type":"collector"<br /> },<br /> "ssl_verify":false,<br /> "retry_delay":1,<br /> "buffer_duration":60,<br /> "max_retry_count":0,<br /> "batch_max_size":1000,<br /> "inactive_timeout":5,<br /> "name":"elasticsearch-logger"<br /> }<br /> },<br /> "upstream":{<br /> "type":"roundrobin",<br /> "nodes":{<br /> "127.0.0.1:1980":1<br /> }<br /> },<br /> "uri":"/elasticsearch.do"<br /> }'<br />
上述代码中配置了 Elasticsearch 地址、目标field
,用户名与密码。
通过上述设置,就可以实现将/elasticsearch.do
路径的 API 请求日志发送至 Elasticsearch 的功能。
步骤3:发送请求
接下来我们通过 API 发送一些请求。
shell<br /> curl -i <a href="http://127.0.0.1:9080/elasticsearch.do" rel="nofollow" target="_blank">http://127.0.0.1:9080/elasticsearch.do</a>\?q\=hello<br /> HTTP/1.1 200 OK<br /> ...<br /> hello, world<br />
此时你可以登录 Kibana 控制台检索查看相关日志:
![index](https://static.apiseven.com/ap ... d.webp)
自定义日志结构
当然,在使用过程中我们也可以通过elasticsearch-logger
插件提供的元数据配置,来设置发送至 Elasticsearch 的日志数据结构。通过设置log_format
数据,可以控制发送的数据类型。
比如以下数据中的$host
、$time_iso8601
等,都是来自于 NGINX 提供的内置变量;也支持如$route_id
和$service_id
等 Apache APISIX 提供的变量配置。
shell<br /> curl <a href="http://127.0.0.1:9180/apisix/admin/plugin_metadata/elasticsearch-logger" rel="nofollow" target="_blank">http://127.0.0.1:9180/apisix/a ... ogger</a> \<br /> -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '<br /> {<br /> "log_format": {<br /> "host": "$host",<br /> "@timestamp": "$time_iso8601",<br /> "client_ip": "$remote_addr"<br /> }<br /> }'<br />
通过发送请求进行简单测试,可以看到上述日志结构设置已生效。目前 Apache APISIX 提供多种日志格式模板,在配置上具有极大的灵活性,更多日志格式细节可参考 [Apache APISIX 官方文档](https://apisix.apache.org/docs ... tadata)。
此时你可以登录 Kibana 控制台检索查看相关自定义日志:
![](https://static.apiseven.com/ap ... 5.webp)
如需关闭自定义日志结构,可参考下方操作。
shell<br /> curl <a href="http://127.0.0.1:9180/apisix/admin/plugin_metadata/elasticsearch-logger" rel="nofollow" target="_blank">http://127.0.0.1:9180/apisix/a ... ogger</a> \<br /> -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X DELETE<br />
此时,插件elasticsearch-logger
将使用默认格式上报日志。
关闭插件
如使用完毕,只需移除路由配置中elasticsearch-logger
插件相关的配置并保存,即可关闭路由上的插件。得益于 Apache APISIX 的动态化优势,开启和关闭插件的过程都不需要重启 Apache APISIX。
shell<br /> curl <a href="http://127.0.0.1:9080/apisix/admin/routes/1" rel="nofollow" target="_blank">http://127.0.0.1:9080/apisix/admin/routes/1</a> \<br /> -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '<br /> {<br /> "methods": ["GET"],<br /> "uri": "/hello",<br /> "plugins": {},<br /> "upstream": {<br /> "type": "roundrobin",<br /> "nodes": {<br /> "127.0.0.1:1980": 1<br /> }<br /> }<br /> }'<br />
总结
本文为大家介绍了关于 elasticsearch-logger 插件的功能与使用步骤,更多关于 elasticsearch-logger 插件说明和完整配置列表,可以参考官方文档。
也欢迎随时在 [GitHub Discussions](https://github.com/apache/apisix/discussions) 中发起讨论,或通过[邮件列表](https://apisix.apache.org/zh/docs/general/join)进行交流。
elasticsearch设置某个、某类节点的数据不参与rebalance?
Charele 回复了问题 • 3 人关注 • 5 个回复 • 2129 次浏览 • 2022-09-28 09:57
如何向工作状态的索引添加analyzer
Charele 回复了问题 • 2 人关注 • 1 个回复 • 1074 次浏览 • 2022-09-22 11:59
使用ElasticsearchRestTemplate操作时会出现java.io.IOException: 远程主机强迫关闭了一个现有的连接。
Charele 回复了问题 • 2 人关注 • 1 个回复 • 1475 次浏览 • 2022-09-21 15:51
es 6.2.4 集群配置升级后,从32c升级成64c后,机器物理内存从64g升为128g,es堆内存还是30g没变,但是升级后发现es的index和get的耗时变大了一倍,整体读写耗时变大了好多
回复yushiweibill 发起了问题 • 2 人关注 • 0 个回复 • 1417 次浏览 • 2022-09-20 15:47
es的同义词filter在analyzer中是如何工作的?
Ombres 回复了问题 • 3 人关注 • 1 个回复 • 1025 次浏览 • 2022-09-21 23:48
Observability:使用 Elastic Agent 来进行 Uptime 监控
liuxg 发表了文章 • 0 个评论 • 1010 次浏览 • 2022-09-19 18:35
Beats:使用 Heartbeat 进行 Uptime 监控
Observability:使用 Elastic Agent 来摄入日志及指标 - Elastic Stack 8.0
Observability:如何使用 Elastic Agents 把微服务的数据摄入到 Elasticsearch 中
更多阅读,请参阅 https://elasticstack.blog.csdn ... 29912
查询 北 不出来 北京
Charele 回复了问题 • 2 人关注 • 2 个回复 • 1106 次浏览 • 2022-09-16 14:50
ES集群总是会发生熔断,且已经做过扩容,请教下大佬
tacsklet 回复了问题 • 5 人关注 • 5 个回复 • 1972 次浏览 • 2023-01-20 11:48