用了Elasticsearch,一口气上5T
网关

网关

极限网关入门视频教程已发布

Elasticsearchmedcl 发表了文章 • 4 个评论 • 2290 次浏览 • 2021-11-21 11:41 • 来自相关话题

录制了一系列视频教程,介绍极限网关的使用,不断更新中,第一次做 up 主,记得一键三连,支持一下。:)      极限网关地址:https://极限网关.com
录制了一系列视频教程,介绍极限网关的使用,不断更新中,第一次做 up 主,记得一键三连,支持一下。:)      极限网关地址:https://极限网关.com

Elasticsearch 极限网关测试版本发布

资讯动态medcl 发表了文章 • 11 个评论 • 7148 次浏览 • 2020-12-04 14:46 • 来自相关话题

感谢以下社区同学提供的试用报告与经验分享:     每日构建:http://release.elasticsearch.cn/ 镜像地址:https://hub.docker.com/r/infinilabs/gateway 文档手册:https://极限网关.com   目前提供的功能:
  • 索引级别的请求限速
  • 重复请求可以缓存
  • Kibana 无缝提速
  • Elasticsearch 节点自动发现
  • 基于权重的节点选择,权重可配置
  • 可控制到每个后端节点的最大连接数
  • 查询日志统计分析,用于追踪请求排错审计
性能优异,经过测试,比 Nginx 都更胜一筹。
[root@XXX-ES-01 linux64]# ./esm -s https://elastic:pass@xx.xx.cn:9343 -d https://elastic:pass@xx.xx.cn:8000 -x medcl2 -y medcl23 -r -w 200 --sliced_scroll_size=40 -b 10 -t=30m
[11-12 22:09:38] [INF] [main.go:461,main] start data migration..
Scroll 20377840 / 20387840   99.95% 1m20s
Bulk 20371785 / 20387840   99.92% 1m53s
[11-12 22:11:32] [INF] [main.go:492,main] data migration finished.
使用 ESM 进行集群的一个 2千多万的索引数据进行导入导出,分别走 Nginx 和 Elasticsearch 网关,网关和 Nginx 都部署在同一台16 核 32GB 的机器上,16 核全部跑满,Nginx 可以达到 20w/s,网关可以达到 25w/s。
101124056-2f4ffa00-3631-11eb-988d-ac4d6177a749.jpg
  Kibana 走网关可以降低重复请求,缓存常见查询,起到查询加速的效果,如下:
Jietu20201205-161628.jpg
  演示视频:https://v.qq.com/x/page/e3209mhh9kj.html 索引级别的限速限流,给后端 ES 稳稳的幸福。  
551607156558_.pic_.jpg
可以开启请求日志,用来分析 ES 查询情况,如下:  
Jietu20201205-194317.jpg
Jietu20201205-194359.jpg
  追求性能极限,此网关名为极限网关(INFINI Gateway)。 欢迎帮忙测试,提供反馈意见。

极限网关入门视频教程已发布

Elasticsearchmedcl 发表了文章 • 4 个评论 • 2290 次浏览 • 2021-11-21 11:41 • 来自相关话题

录制了一系列视频教程,介绍极限网关的使用,不断更新中,第一次做 up 主,记得一键三连,支持一下。:)      极限网关地址:https://极限网关.com
录制了一系列视频教程,介绍极限网关的使用,不断更新中,第一次做 up 主,记得一键三连,支持一下。:)      极限网关地址:https://极限网关.com

Elasticsearch 极限网关测试版本发布

资讯动态medcl 发表了文章 • 11 个评论 • 7148 次浏览 • 2020-12-04 14:46 • 来自相关话题

感谢以下社区同学提供的试用报告与经验分享:     每日构建:http://release.elasticsearch.cn/ 镜像地址:https://hub.docker.com/r/infinilabs/gateway 文档手册:https://极限网关.com   目前提供的功能:
  • 索引级别的请求限速
  • 重复请求可以缓存
  • Kibana 无缝提速
  • Elasticsearch 节点自动发现
  • 基于权重的节点选择,权重可配置
  • 可控制到每个后端节点的最大连接数
  • 查询日志统计分析,用于追踪请求排错审计
性能优异,经过测试,比 Nginx 都更胜一筹。
[root@XXX-ES-01 linux64]# ./esm -s https://elastic:pass@xx.xx.cn:9343 -d https://elastic:pass@xx.xx.cn:8000 -x medcl2 -y medcl23 -r -w 200 --sliced_scroll_size=40 -b 10 -t=30m
[11-12 22:09:38] [INF] [main.go:461,main] start data migration..
Scroll 20377840 / 20387840   99.95% 1m20s
Bulk 20371785 / 20387840   99.92% 1m53s
[11-12 22:11:32] [INF] [main.go:492,main] data migration finished.
使用 ESM 进行集群的一个 2千多万的索引数据进行导入导出,分别走 Nginx 和 Elasticsearch 网关,网关和 Nginx 都部署在同一台16 核 32GB 的机器上,16 核全部跑满,Nginx 可以达到 20w/s,网关可以达到 25w/s。
101124056-2f4ffa00-3631-11eb-988d-ac4d6177a749.jpg
  Kibana 走网关可以降低重复请求,缓存常见查询,起到查询加速的效果,如下:
Jietu20201205-161628.jpg
  演示视频:https://v.qq.com/x/page/e3209mhh9kj.html 索引级别的限速限流,给后端 ES 稳稳的幸福。  
551607156558_.pic_.jpg
可以开启请求日志,用来分析 ES 查询情况,如下:  
Jietu20201205-194317.jpg
Jietu20201205-194359.jpg
  追求性能极限,此网关名为极限网关(INFINI Gateway)。 欢迎帮忙测试,提供反馈意见。