亲爱的各位赞助商、合作伙伴、嘉宾和参会朋友：

    很高兴通知大家，经 Elastic 中国开发者大会组委会研究决定，由于疫情原因延期举办的 2022 Elastic 中国开发者大会将于2022年10月29日在深圳好日子皇冠假日酒店重启举办。

    关于会议信息也做一个同步：

    一、会议场地变化：原会议举办场地——深圳圣淘沙酒店，被深圳政府做为深圳市疫情防控指挥中心，酒店工作人员通知2022年全年都无法提供任何场地举办会议。组委会得知情况后，为了大会及时召开，立即做好预案，在不考虑成本的情况下，将会议场地变更为——深圳好日子皇冠假日酒店，会议的整体环境、场地、展厅、茶歇、用餐等都做了全面的升级。

    二、关于讲师和议题：少部分讲师和议题有变化，组委会近期会与讲师沟通确认是否需要更换新的演讲议题。

    这次的 Elastic 中国开发者大会虽然遇到了很多的困难与波折，但因为您们的理解和支持，一直鼓励着我们，给了我们信心与动力，我们会本着办好中国开发者大会的初心继续前行，再次感谢大家的大力支持！

    注：

1. 目前大会报名购票通道已重新开启，欢迎有兴趣的朋友报名参会，已经报名参会者无需再次报名。报名链接：https://www.bagevent.com/event/7899116
2. 如需要加入本次大会微信交流群，请加微信(lsy965145175)拉群。
3. 更多大会资讯请关注官网：https://conf.elasticsearch.cn

 
 

1.使用 Elasticsearch 构建搜索 API（需要梯子）
https://medium.com/%40andre.lu ... a06b7
2.重磅 | 死磕 Elasticsearch 8.X 方法论认知清单（2022年国庆更新版）
https://mp.weixin.qq.com/s/OrHmVTfY3T9R76V5wSsmYA
3.一文搞懂 Elasticsearch 监控
https://mp.weixin.qq.com/s/IcouvjxozuoYZYRdsdHWTw

编辑：Se7en
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
B站： https://ela.st/bilibili

致尊敬的各参展商、合作单位、媒体及观众朋友：
      
      很高兴通知大家，经过不断地协调和沟通，深圳国际电子展暨嵌入式系统展及2022国际开源节共同商定，展会将于11月5-7日复展，地点为深圳会展中心（福田）1/9号馆。

      感谢这段时间大家的理解以及默默的支持！花已开，鹏城不见不散！
 
 

2022国际开源节（IOSF）由OSTech联合中国信息通信研究院、Linux基金会亚太区发起策划，在ELEXCON深圳国际电子展暨嵌入式系统展落地，并聚集了包括中国科学院软件研究所、CNCF、LF AI & Data、LFOSSA、LF Edge、O3DF、OpenSSF、Hyperledger基金会等国际一流开源基金会和机构，GDG、开源中国等全球知名开发者社区，以及上海开源信息技术协会等权威开源机构的共建支持。
国际开源节旨在汇聚全球开源技术与项目，融合国际文化、开源社区生态和开源产业发展，构建“共创共赢”的开源文化，打造中国开源新生态。
2022国际开源节（IOSF）将同期举办前沿技术峰会，主题涵盖“国际开源教育与人才培养论坛”、“OpenSSF开源安全中国峰会”、“Kubernetes on AI & Edge ”、“Hyperledger超级账本峰会” 、“CNCF云原生论坛”、“开源投融资论坛 ”、“高校学术开源峰会”、“O3DF元宇宙论坛”，敬请期待！

 

合作联系

参展合作（微信同步）
Tony,13713437040；
Friday，17612060999；
宣传合作（微信同步）
Cindy,13553827402；
Katharine,13512772116；

1.怎么去毁掉 ES 的性能-2（需要梯子）
https://blog.allegro.tech/2021 ... .html
2.利用kafka去部署es双数据中心（需要梯子）
https://medium.com/rahasak/ela ... 95e5e
3.Elasticsearch：词分析中的 Normalizer 的使用
https://blog.csdn.net/UbuntuTo ... 89051

编辑：kin122
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
B站：https://ela.st/bilibili

背景

1.对于7版本（大版本）集群希望只维护一个版本，最终选择7.17，对同大版本的7.5版本集群进行升级

2.根据官方描述，_id放到堆外性能损失非常小可以忽略，且对BKD进行了优化

3.升级完成，一段时间之后，收到用户报障

4.抽样检查了下部分升级的集群，其中部分受到影响，部分不受影响。且每个集群内存均有一定优化（预期内）

调查&分析

1.发现is_deleted文档特别多，怀疑是7.17版本对于碎片过于敏感。做forcemerge，没什么效果。

2.GET _nodes/hot_threads 查看耗时部分，结果展示笼统，没得到关键信息。

3.给语句加上profile，查看耗时部分。
<br /> GET index-v1/_search<br /> {"profile":"true","query":{"bool":{"filter":[{"term":{"xid":{"value":"11111111","boost":1.0}}},{"terms":{"status":[2,3,4],"boost":1.0}},{"terms":{"platform":["aaa","bbb"],"boost":1.0}},{"terms":{"pId":[1,2],"boost":1.0}}],"adjust_pure_negative":true,"boost":1.0}},"sort":[{"time":{"order":"desc"}}]}<br />

从脱敏的简化结果中可以看出来，主要是 status、pId 字段耗时高，这两个字段都是integer类型，并且使用了terms查询。
<br /> {<br /> "took": 554,<br /> "timed_out": false,<br /> "_shards": {<br /> "total": 3,<br /> "successful": 3,<br /> "skipped": 0,<br /> "failed": 0<br /> },<br /> "hits": {<br /> "total": {<br /> "value": 5,<br /> "relation": "eq"<br /> },<br /> "max_score": null,<br /> "hits": [<br /> ...<br /> ]<br /> },<br /> "profile": {<br /> "shards": [<br /> {<br /> "id": "[APxxxxxxxxxxxxxxQ][index-v1][0]",<br /> "searches": [<br /> {<br /> "query": [<br /> {<br /> "type": "BooleanQuery",<br /> "description": "#xid:111111111 #status:{2 3 4} #ConstantScore(platform:aaa platform:bbb) #pId:{1 2}",<br /> "time_in_nanos": 415205306,<br /> "breakdown": {<br /> ...<br /> "build_scorer": 415028271<br /> },<br /> "children": [<br /> {<br /> "type": "TermQuery",<br /> "description": "xid:111111111",<br /> "time_in_nanos": 102656,<br /> "breakdown": {<br /> .....<br /> "build_scorer": 86264<br /> }<br /> },<br /> {<br /> "type": "PointInSetQuery",<br /> "description": "status:{2 3 4}",<br /> "time_in_nanos": 220394978,<br /> "breakdown": {<br /> ....<br /> "build_scorer": 220385119<br /> }<br /> },<br /> {<br /> "type": "ConstantScoreQuery",<br /> "description": "ConstantScore(platform:aaa platform:bbb)",<br /> "time_in_nanos": 341845,<br /> "breakdown": {<br /> .....<br /> "build_scorer": 282277<br /> },<br /> "children": [<br /> {<br /> "type": "BooleanQuery",<br /> "description": "platform:aaa platform:bbb",<br /> "time_in_nanos": 329042,<br /> "breakdown": {<br /> .....<br /> "build_scorer": 277752<br /> },<br /> "children": [<br /> {<br /> "type": "TermQuery",<br /> "description": "platform:aaa",<br /> "time_in_nanos": 62446,<br /> "breakdown": {<br /> .....<br /> "build_scorer": 37931<br /> }<br /> },<br /> {<br /> "type": "TermQuery",<br /> "description": "platform:bbb",<br /> "time_in_nanos": 15093,<br /> "breakdown": {<br /> .....<br /> "build_scorer": 6981<br /> }<br /> }<br /> ]<br /> }<br /> ]<br /> },<br /> {<br /> "type": "PointInSetQuery",<br /> "description": "pId:{1 2}",<br /> "time_in_nanos": 194164297,<br /> "breakdown": {<br /> ....<br /> "build_scorer": 194160452<br /> }<br /> }<br /> ]<br /> }<br /> ],<br /> "rewrite_time": 40044,<br /> "collector": [<br /> {<br /> "name": "SimpleFieldCollector",<br /> "reason": "search_top_hits",<br /> "time_in_nanos": 144012<br /> }<br /> ]<br /> }<br /> ]<br />

4.单个的profile无法说明问题，进一步排查：使用arthas工具获取一段时间内的火焰图

可以看到主要就是BKD数据结构占用的CPU。

5.参考官方论坛相似问题：https://discuss.elastic.co/t/v ... 152/3

6.integer类型的terms查询性能较差，看起来官方描述的BKD相关优化指的是range

7.测试验证，将字段改成keyword，查看结果，CPU查询耗时恢复到正常范围

1. 构建搜索服务？SpringBoot和ES是绝配哦（需要梯子）
https://medium.com/javarevisit ... 0b41f
2. ASP.NET也可以拿ES处理日志吗？yes！（需要梯子）
https://medium.com/%40technica ... 9eaa9
3. Elastic agent，一站式日志解决方案，你值得拥有（需要梯子）
https://medium.zenika.com/how- ... 5aec7

编辑：斯蒂文
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
B站：https://ela.st/bilibili
 

1. 快手搜索在向量检索方向的探索和实践
   https://www.6aiq.com/article/1663498700156

2. 美团大众点评搜索相关性技术探索与实践
   https://www.6aiq.com/article/1657116010069

3. Elasticsearch 汉字补全和拼写纠错
   https://blog.51cto.com/u_14693305/5018534

编辑：yuebancanghai
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
B站：https://ela.st/bilibili


今天 INFINI Labs 为大家又带来了一波产品更新，请查阅。

INFINI Gateway v1.8.0

极限网关本次迭代更新如下：

• 修复上下文条件 consumer_has_lag参数和 配置、文档不一致的 Bug。
  
• 修改备集群故障，主集群不能正常写数据的 Bug。
  
• 修复 Bulk 请求处理异常造成数据复制不一致的问题。
  
• 修复请求日志里面关于 Bulk 统计数据丢失的问题。
  
• 修复大并发情况下，请求体为空的异常。
  
  

  INFINI Console v0.6.0
  

  口碑爆棚的 Elasticsearch 多集群管控平台 INFINI Console 更新如下：
  
  

• 新增主机概览。
  
  
  

  
  
  

• 新增主机监控。
  
  
  

  
  
  

• 节点概览新增日志查看功能（需安装 Agent）。
  
  
  

  
  
  

• Insight 配置框新增 Search 配置。
  
• 优化 Discover 时间范围 Auto Fit，设为15分钟。
  
• 优化 Discover 保存搜索，会保存当前的字段过滤和 Insight 图表配置。
  
• 优化本地列表搜索查找，支持通配符过滤。
  
• 优化告警规则必填字段标记显示。
  
• 修复了 Discover 字段过滤白屏问题。
  
• 修复了 Discover 表格添加字段后排序失效问题。(感谢@卢宝贤反馈)
  
• 修复了 Elasticsearch 8.x 删除文档报错不兼容的问题。(感谢@卢宝贤反馈)
  
• 修复了创建新索引不成功时，异常处理的问题。
  
• 修复了低版本浏览器js不兼容导致集群注册不成功的问题。
  
• 修复了开发工具中使用加载命令失败报错的问题。
  
  
  

  INFINI Agent v0.2.0
  

  数据采集工具探针（INFINI Agent）更新如下：
  
  

• 新增按节点读日志文件列表的API
  
• 新增读具体日志文件内容的API
  
• 新增 Elasticsearch 节点掉线后的基础信息保存
  
• 新增主机在线状态的采集
  
• 新增基于 Centos 的 Docker 镜像
  
• 新增主机配置信息采集: 操作系统信息、磁盘大小、内存大小、CPU配置等
  
• 新增主机指标的采集: CPU使用率、磁盘使用率、磁盘IO、内存使用率、swap 使用率、网络IO等
  
• 新增 Elasticsearch 进程信息采集
  
• 修复发现 Elasticsearch 进程时频繁提示端口访问错误的Bug
  
• 修复 Elasticsearch 节点地址为 0.0.0.0 时无法获取节点信息的Bug
  
• 修复 CPU 指标数据显示异常的Bug
  
• 修复 stats API 在 Windows 平台的兼容性
  
  

  INFINI Framework 2000923
  

  INFINI Framework 也带来了很多改进：
  
  

• 重构了磁盘队列压缩相关配置，支持段文件的压缩。
  
• 当集群不可用的情况下，跳过集群节点元数据的获取。
  
• 完善节点可用性检测，避免频繁的不可用状态切换。
  
• 修复 Elasticsearch 主机地址为空的异常。
  
• 完善本地磁盘队列文件的清理，避免删除正在使用的文件。
  
  

  期待反馈
  

  
  如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（[https://github.com/infinilabs](https://github.com/infinilabs)）中的对应项目中提交 Feature Request 或提交 Bug。
  

• INFINI Gateway： [https://github.com/infinilabs/gateway](https://github.com/infinilabs/gateway)
  
• INFINI Console： [https://github.com/infinilabs/console/issues](https://github.com/infinilabs/console/issues)
  
• 下载地址： [https://www.infinilabs.com/#/download](https://www.infinilabs.com/#/download)
  
  您还可以通过邮件联系我们：hello@infini.ltd
  
  或者拨打我们的热线电话：(+86) 400-139-9200
  
  也欢迎大家微信扫码添加小助手，加入用户群讨论，或者扫码加入我们的知识星球一起学习交流。
  
  
  感谢大家的围观，祝大家周末愉快。