在 Mapping 里面,将 dynamic 参数设置成 strict 可以拒绝索引包含未知字段的文档。 此条 Tips 由 medcl 贡献。

微信支付PB级金融数据高可靠的腾讯云 Elasticsearch 优化

2023-04-08 by 顾明

主题:微信支付PB级金融数据高可靠的腾讯云 Elasticsearch 优化

简介:
很多时候大家都在关注ES的灵活性,功能,成本,性能。在金融领域,除了关心上面的技术外,会要求更高的可靠性,安全性。进一步,当数据达到PB级后,达成这些目标变得困难,本次分享尝试探讨下面内容:
1、在PB级数据场景下,针对 Elasticsearch 的安全性、可靠性所做的深入改进。
2、数据持续增长,无消亡,PB级集群的均衡。解决原生版本大集群数据倾斜问题。
3、不中断业务下的通讯加密切换。解决原生版本需要整体重启集群切换通讯加密的问题。
4、损失更小的跨城同步尝试。比同类方案数据同步延迟低28%(更低rpo),cpu负载低57%(更高的业务上限)

分享嘉宾:
顾明,腾讯微信支付高级工程师,支付领域 Elasticsearch 内核研发负责人。