怎么又是你

Elastic日报 第1373期 (2022-04-10)

Elastic日报cyberdak 发表了文章 • 0 个评论 • 221 次浏览 • 2022-04-10 21:49 • 来自相关话题

1. 使用elasticsearch加速mysql数据库检索
https://bbs.huaweicloud.com/blogs/265550
2. 使用 Elasticsearch 时间点读取器获得随时间推移而保持一致的数据视图
https://www.elastic.co/cn/blog ... eader

3. 将DSL查询转为kibana短链接
https://blog.csdn.net/u0111272 ... 29659
https://www.elastic.co/guide/e ... .html

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup

Elastic日报 第1368期 (2021-04-09)

Elastic日报taoxiyang 发表了文章 • 0 个评论 • 211 次浏览 • 2022-04-09 11:30 • 来自相关话题

1. 数据采集 ETL 工具 Elasticsearch-datatran v6.5.5发布
   https://www.v2tn.com/content/1649218370572400

2. Elasticsearch 27亿数据泄露:10亿明文 波及中国大厂
   https://app.myzaker.com/news/a ... c393a

3. AWS分叉Elasticsearch重新命名为OpenSearch
   https://www.ithome.com.tw/news/143812

编辑:陶希阳
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup

父子关系查询如何根据子元素的个数来对父元素进行排序

Elasticsearchyixiongmao 回复了问题 • 2 人关注 • 2 个回复 • 318 次浏览 • 2022-04-11 17:12 • 来自相关话题

Elastic日报 第1367期 (2021-04-08)

Elastic日报laoyang360 发表了文章 • 0 个评论 • 191 次浏览 • 2022-04-08 15:22 • 来自相关话题

1、INFINI Gateway:Elasticsearch 极限网关入门手册
https://blog.csdn.net/UbuntuTo ... 21216
2、Elastic Stack最佳实践系列:用官方诊断工具,故障排查,快人一步
https://cloud.tencent.com/deve ... 57644
3、Elastic Stack最佳实践系列:Beats->ES,一个更轻型的架构选择
https://cloud.tencent.com/deve ... 72598

编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup

Open Source@Scale!2022年国际开源节(IOSF)全球首发!

默认分类OSTech 发表了文章 • 0 个评论 • 4 次浏览 • 2022-04-07 11:36 • 来自相关话题

2022国际开源节(IOSF)
由OSTech携手环球资源,联合中国信息通信研究院、Linux基金会亚太区发起策划,在CTIS消费者科技及创新展览会落地,并聚集了包括中国科学院软件研究所、CNCF、LF AI & Data、LFOSSA、LF Edge、OpenSSF、Hyperledger基金会等国际一流开源基金会和机构,GDG、开源中国等全球知名开发者社区,以及上海开源信息技术协会等本地开源力量的共建支持。国际开源节旨在汇聚全球开源技术与项目,融合国际文化、开源社区生态和开源产业发展,构建“共创共赢”的开源文化,打造中国开源新生态。
2022国际开源节(IOSF)
由OSTech携手环球资源,联合中国信息通信研究院、Linux基金会亚太区发起策划,在CTIS消费者科技及创新展览会落地,并聚集了包括中国科学院软件研究所、CNCF、LF AI & Data、LFOSSA、LF Edge、OpenSSF、Hyperledger基金会等国际一流开源基金会和机构,GDG、开源中国等全球知名开发者社区,以及上海开源信息技术协会等本地开源力量的共建支持。国际开源节旨在汇聚全球开源技术与项目,融合国际文化、开源社区生态和开源产业发展,构建“共创共赢”的开源文化,打造中国开源新生态。

elasticsearch索引库某个属性配置英文分词报不能更改默认分词问题

Elasticsearchenvy666 回复了问题 • 2 人关注 • 1 个回复 • 218 次浏览 • 2022-04-08 09:04 • 来自相关话题

elastic / support-diagnostics诊断工具使用问题

回复

开源项目匿名用户 回复了问题 • 2 人关注 • 2 个回复 • 268 次浏览 • 2022-04-07 11:35 • 来自相关话题

Elastic日报 第1366期 (2021-04-07)

Elastic日报Se7en 发表了文章 • 0 个评论 • 172 次浏览 • 2022-04-07 09:55 • 来自相关话题

1.用 Elasticsearch 统计做了几次核酸检测?怎么破?
https://mp.weixin.qq.com/s/53etNPHrDnQtcV5WNKZKog
2.新版 ElasticSearch Java Client 尝鲜
https://juejin.cn/post/7046759829255225351
3.ElasticSearch Operator 工作原理浅析
https://mp.weixin.qq.com/s/33igpMj3mZrjbEK4rBKi2Q

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup

极限网关初探(2)配置

Elasticsearchxushuhui 发表了文章 • 0 个评论 • 282 次浏览 • 2022-04-06 17:03 • 来自相关话题

配置

上一篇我们先学习了极限网关的安装和启动,今天学习配置。

读写分离



现在我们遇到读写分离的需求,用网关该怎么做呢?
假设服务端现在从 http://127.0.0.1:8000 写入数据,从 http://127.0.0.1:9000 读取数据,怎么设计呢?

首先查看文档[配置文档](https://xn--d6q905cs0q16u.com/zh/docs/overview/)

我们在 gateway.yml 中定义两个 entry,分别绑定不同的端口,配置不同的 router
```yaml
entry:

  • name: write_es
    enabled: true
    router: write_router
    network:
    binding: 0.0.0.0:8000
  • name: read_es
    enabled: true
    router: read_router
    network:
    binding: 0.0.0.0:9000

    router:
  • name: write_router
    default_flow: default_flow
    tracing_flow: logging
  • name: read_router
    default_flow: default_flow
    tracing_flow: logging
    <br /> 为了演示效果,只配置一个 Elasticsearch<br /> yaml
    elasticsearch:
  • name: hello_flow
    filter:
    • echo:
      message: "hello flow"

      router:
  • name: read_router
    default_flow: hello_flow
    ```
    修改配置后启动

    ![](https://cdn.guojiang.club/Fv9j ... 2neIuu)

    返回 json 数据

    返回字符串不符合标准的 restful 接口规范,怎么返回给调用方标准 json 数据?
    ```yaml
    filter:

  • set_response:
    content_type: application/json
    body: '{"message":"hello world"}'
    ```
    修改配置后启动

    ![](https://cdn.guojiang.club/FlUk ... tJalBC)

    修改路由

    我们已经新加了接口,返回 json 数据,但是接口是直接定义在 http://127.0.0.1:9000 中,之前网关的接口就无法使用,所以我们需要单独为自定义的接口指定单独的路由
    ```yaml
    router:

  • name: read_router
    default_flow: default_flow
    tracing_flow: logging
    rules:
    • method:
      • GET
        pattern:
      • "/hello"
        flow:
      • hello_flow
        ```
        default_flow: 默认的处理流,也就是业务处理的主流程,请求转发、过滤、缓存等操作都在这里面进行

        tracing_flow:用于追踪请求状态的流,用于记录请求日志、统计等

        如果我们有过开发经验,了解 MVC 模式,flow 就类似 MVC 中的 Controller,rules 中类似路由规则,当请求匹配到配置中的路由规则时,由配置的 flow 处理业务逻辑。

        数据整体流向,从服务端发到网关,网关为每个 Elasticsearch 绑定不同的 IP 地址,每个 Elasticsearch 都有唯一一个 router 和它对应,根据请求的 method 和 path 匹配到 router 中的一个 flow,flow 中包含多个 filter 处理对数据进行流式处理

        如下图所示
        ![](https://cdn.guojiang.club/FqQE ... t66soy)

        流式处理是什么,假设水从一个管子里面流出来,管子旁边每一段依次站了几个人,第一个人往水里放点鱼,鱼和水到了第二个人,第二个人往水里放点草,鱼、水和草到了第三人等等,每个人对水做一定的操作,水经过这些操作后最后到达水池里。

        我们可以把数据当成水,filter 是管子旁边的人,水池就是 Elasticsearch

        总结

        在学习了router/flow/filter后,我们已经对极限网关的配置有了初步的了解,后续开发的时候直接查阅文档。

极限网关初探(1) 安装启动

Elasticsearchxushuhui 发表了文章 • 0 个评论 • 268 次浏览 • 2022-04-06 16:54 • 来自相关话题

产品介绍

极限网关(INFINI Gateway)是一个面向 Elasticsearch 的高性能应用网关。特性丰富,使用简单。

它和其他业务型网关最大的区别是业务网关把请求转发给各个底层微服务,而它把请求转发给 Elasticsearch,更多是类似 Mycat 的中间件的作用。

没有使用网关之前,服务端请求多个节点
![](https://cdn.guojiang.club/Fkfv ... j5rNgV)

使用网关后
![](https://cdn.guojiang.club/FllB ... JkCjFL)

下载地址

打开 [下载地址](http://release.infinilabs.com/gateway/stable/),根据操作系统版本选择。

Windows 安装和启动

安装

下载 gateway-1.6.0_SNAPSHOT-597-windows-amd64.zip,解压如下。
![](https://cdn.guojiang.club/Furr ... N9rc3Y)
gateway-windows-amd64.exe 是启动文件,gateway.yml 是默认配置文件。

启动失败

当 gateway.yml 的 elasticsearch 选项中的 hosts 不能正常响应请求的时候,启动界面如下。
![](https://cdn.guojiang.club/FvYi ... Iw0r-T)

为什么 elasticsearch 不能访问的时候,网关还要继续提供服务呢,为什么不像业务接口启动时在基础业务组件如 MySQL/Redis 不能正常响应就直接 panic?

一方面网关作为 elasticsearch 抵挡流量冲击的城墙,在 elasticsearch 不能提供服务的时候,对之前成功的请求缓存结果,继续提供有限度的服务,为 elasticsearch 修复后上线争取时间。

另一方面业务接口和基础组件是强耦合关系,没有基础组件就完全无法对外提供数据读写服务,而网关与 elasticsearch 是松耦合关系,网关在没有 elasticsearch 的情况下也能对外提供有限度的服务。

在 gateway.yml 的 elasticsearch 选项中的 hosts 改成能够正常响应的 elasticsearch 请求地址。

启动成功

双击 gateway-windows-amd64.exe 文件,启动成功界面如下

![](https://cdn.guojiang.club/Figt ... intqJr)

访问

API 访问

由启动后终端显示可知,网关的 API 接口地址是 http://localhost:2900
sh<br /> [api.go:262] api listen at: <a href="http://0.0.0.0:2900" rel="nofollow" target="_blank">http://0.0.0.0:2900</a><br />
打开浏览器输入 http://localhost:2900,显示所有可以对外提供的 API 接口
![](https://cdn.guojiang.club/FuRr ... paD-7Y)

我们选择其中一个,在浏览器中输入 http://localhost:2900/_framework/api/_version 从路由上看该接口是查询产品的版本信息,显示如下
![](https://cdn.guojiang.club/FkOZ ... eVBXkR)

gateway.yml 中可以看到有被注释掉的一段配置,看起来应该是配置 api 地址的地方。
```yaml

api:

enabled: true

network:

binding: 127.0.0.1:2900

<br /> 把注释去掉后尝试把端口改成 2901。<br /> yaml
api:
enabled: true
network:
binding: 127.0.0.1:2901
```
改完后启动
![](https://cdn.guojiang.club/FkDO ... x5XwQT)
打开浏览器先输入 http://localhost:2900,无法正常响应请求,再输入 http://localhost:2901,可以正常响应,界面和修改配置前访问 http://localhost:2900 的界面一样,说明 API 请求地址成功修改

Elasticsearch 访问

启动日志中显示监听 8000 端口,猜测应该是 elasticsearch 请求地址,打开浏览器输入 http://127.0.0.1:8000/
sh<br /> entry [my_es_entry] listen at: <a href="http://0.0.0.0:8000" rel="nofollow" target="_blank">http://0.0.0.0:8000</a><br />
![](https://cdn.guojiang.club/Foxm ... Dw9lzO)
gateway.yml 中可以看到 my_es_entry 的 network 绑定 8000 端口,显而易见的这部分就是配置代理转发给 elasticsearch 的地址,所以安装后只需要把以前请求 elasticsearch 的地址修改为该地址。
```yaml
entry:

  • name: my_es_entry
    enabled: true
    router: my_router
    max_concurrency: 10000
    network:
    binding: 0.0.0.0:8000
    ```

    总结

    我们成功安装和启动极限网关,接下来我们学习怎么根据需求修改配置。

请问如何在ES日志中打印所有查询或者操作ES的请求日志?

回复

Elasticsearchziyuan2246 发起了问题 • 1 人关注 • 0 个回复 • 223 次浏览 • 2022-04-06 15:07 • 来自相关话题

Elasticsearch nested 聚合后的排序问题

Elasticsearchduanxiaobiao 回复了问题 • 2 人关注 • 1 个回复 • 263 次浏览 • 3 天前 • 来自相关话题

elasticsearch 模糊查询

ElasticsearchJimmyGao 回复了问题 • 4 人关注 • 3 个回复 • 453 次浏览 • 2022-04-27 16:35 • 来自相关话题

elasticsearch index close 应用场景

ElasticsearchCharele 回复了问题 • 3 人关注 • 2 个回复 • 233 次浏览 • 2022-04-06 15:07 • 来自相关话题

Elastic日报 第1365期 (2021-04-02)

Elastic日报taoxiyang 发表了文章 • 0 个评论 • 250 次浏览 • 2022-04-02 11:06 • 来自相关话题

1. SpringCloud 分布式日志采集方案
   https://z.itpub.net/article/de ... 3DDE6

2. Elasticsearch与时序数据库对比
   https://db-engines.com/en/syst ... aleDB

3. 给wordpress配置Elasticserch
   https://www.cloudways.com/blog ... ress/

编辑:陶希阳
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup