Hello,World

Elastic日报 第1344期 (2021-03-12)

Elasticsearchtaoxiyang 发表了文章 • 3 个评论 • 1200 次浏览 • 2022-03-12 20:54 • 来自相关话题

1. 阿里云Elasticsearch向量检索引擎快速实现图像搜索、视频指纹采样、人脸识别、语音识别和商品推荐等向量检索场景的需求
https://www.alibabacloud.com/h ... 2.htm

2. 创建Elasticsearch数据清洗任务,将RavenDB中的数据处理到Elasticsearch
https://ravendb.net/docs/artic ... earch

3. 用DbVisualizer管理Elasticsearch的数据
https://www.dbvis.com/database/elasticsearch/

编辑:陶希阳
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup

有了这两个小脚本,不需要再傻乎乎地手动安装 Elasticsearch了

Elasticsearchspoofer 发表了文章 • 0 个评论 • 2800 次浏览 • 2022-03-11 19:40 • 来自相关话题

在学习 ES 前一般都需要安装 ES,虽然 ES 可以开箱即用,但如果要学习分布式特性的时候,需要安装多个节点,这个时候还是有点工作量的。下面提供两个小脚本,一个是在 Ubuntu 中安装 3 节点的 ES 伪集群,一个是在 docker 中安装3节点 ES 集群。除了安装 ES 外,脚本还提供了对应版本的 Kibana、Cerebro 0.9.4 的安装。

1、在 Ubuntu 中安装 ES 7.13

这里我们采取下载 ES 安装包并且解压安装的方式,并没有走 Ubuntu apt 的方式。ES 的安装非常简单,这里先献上[安装脚本](https://gitee.com/dgl/es-bookl ... rEs.sh)。

下面介绍比较重要的配置项:

  • discovery.seed_hosts 在开箱即用的情境下(本机环境)无需配置,ES 会自动扫描本机的 9300 到 9305 端口。一旦进行了网络环境配置,这个自动扫描操作就不会执行。discovery.seed_hosts 配置为 master 候选者节点即可。如果需要指定端口的话,其值可以为:["localhost:9300", "localhost:9301"]

  • cluster.initial_master_nodes 指定新集群 master 候选者列表,其值为节点的名字列表。如果配置了 node.name: my_node_1,所以其值为 ["my_node_1"],而不是 ip 列表 !

  • network.host 和 http.port 是 ES 提供服务的监听地址和端口,线上一定不能配置 ip 为 0.0.0.0,这是非常危险的行为!!!

    怎么样来理解这个 discovery.seed_hosts 和 cluster.initial_master_nodes 呢?

    cluster.initial_master_nodes 是候选者列表,一般我们线上环境候选者的数量比较少,毕竟是用来做备用的。而且这个配置只跟选举 master 有关,也就是跟其他类型的节点没有关系。就算你有100个数据节点,然后经常增加或者剔除都不需要动这个列表。

    discovery.seed_hosts 这个可以理解为是做服务或者节点发现的,其他节点必须知道他们才能进入集群~ 一般配置为集群的master 候选者的列表。

    但是这些 master 候选者(组织联系人)可能经常变化,那怎么办呢?这个配置项除了支持 ip 外还支持域名 ~所以可以用域名来解决这个问题,其他节点的配置上写的是域名,域名解析到对应的 ip,如果机器挂了,新的节点 ip 换了,就把域名解析到新的ip即可,这样其他节点的配就不用修改了。所以非 master 候选节点要配 discovery.seed_hosts (组织联系人)


    除了修改 ES 服务配置外,还需要配置 JVM 的配置,我们主要配置服务占用的堆内存的大小。JVM 配置需要以下几点:
  • 这两个 jvm 的配置必须配置一样的数值。启动时就分配好内存空间,避免运行时申请分配内存造成系统抖动。
  • Xmx不要超过机器内存的 50%,留下些内存供 JVM 堆外内存使用
  • 并且Xmx不要超过 32G。建议最大配置为 30G。接近 32G,JVM 会启用压缩对象指针的功能,导致性能下降。具体可以参考:[a-heap-of-trouble](https://www.elastic.co/cn/blog/a-heap-of-trouble)。

    安装成功后,可以访问:
    ES:localhost:9211

    Kibana: localhost:5601

    cerebro: localhost:9800


    2、在docker 中安装 ES 7.13

    在做一切工作之前,我们必须安装 docker。如果你已经安装好了 docker、docker-compose,可以访问我为你准备的 [docker-compose.yaml](https://gitee.com/dgl/es-bookl ... e.yaml) 文件。

    如果你没有安装 docker,完整的教程可以参考[在 docker 中安装 ES 文档](https://gitee.com/dgl/es-bookl ... bro.md)。

    下载此文件,将文件保存为 docker-compose.yaml 后,进入这个文件的目录,执行以下指令即可:

    <br /> docker-compose up<br />

    如果你没有下载镜像文件,docker-compose 会自动帮你下载镜像,并且启动容器。

    如果 docker-compose 启动失败,说是无权限链接 docker 的话,其报错如下:

    <br /> Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: <br /> <br /> Get " <br /> <br /> dial unix /var/run/docker.sock: connect: permission denied<br />

    可以运行以下指令临时修改:

    <br /> sudo chmod 666 /var/run/docker.sock<br /> <br />

    其原因是因为你的 docker 用了 root 启动了。

    最后可以访问:

    cerebro:ip:9000

    Kibana:ip:5601

    Elasticsearch: ip:9200,ip:9202,ip:9203

    其他学习资料

    [创建自己的 ES Docker Image](https://www.elastic.co/cn/blog ... search)

    [在 docker image 中安装 Elasticsearch 插件](https://www.elastic.co/cn/blog ... gement)

    [一个开源的 ELK docker-compose 配置](https://github.com/deviantony/docker-elk)

    [docker 中安装 ES 7.13](https://www.elastic.co/guide/e ... r.html)

    [docker 中安装 Kibana 7.13](https://www.elastic.co/guide/e ... r.html)


    最后附上[我写的小册](https://juejin.cn/book/7054754754529853475),欢迎刚入门的朋友来订阅~

    WX20220224-174733.png



社区日报 第1343期 (2022-03-11)

社区日报laoyang360 发表了文章 • 1 个评论 • 1215 次浏览 • 2022-03-11 19:40 • 来自相关话题


1、Doris + Elasticsearch 异同对比
https://db-engines.com/en/syst ... earch
2、Elasticsearch 8.1 新特性官方视频解读(梯子)
https://www.youtube.com/watch?v=upKUto3BYuQ
3、Ubuntu 18.04部署ElKB指南(详细版本)
https://www.cloudsigma.com/how ... 8-04/

编辑:铭毅天下
归档:https://ela.st/cn-daily-all 
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup

求一枚golang开发工程师(杭州),面试流程一次搞定?

回复

求职招聘iamstone 发起了问题 • 1 人关注 • 0 个回复 • 3092 次浏览 • 2022-03-11 19:40 • 来自相关话题

lucene的源码在github上怎么只能找到9的版本

回复

默认分类匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 1948 次浏览 • 2022-03-11 19:40 • 来自相关话题

Lucene源码和历史版本的问题

默认分类pzw9696 回复了问题 • 2 人关注 • 1 个回复 • 2107 次浏览 • 2022-03-13 17:46 • 来自相关话题

logstash 输出到http最近报错了

Logstashlocatelli 回复了问题 • 2 人关注 • 2 个回复 • 2987 次浏览 • 2022-03-11 07:32 • 来自相关话题

社区日报 第1342期 (2022-03-10)

社区日报Se7en 发表了文章 • 0 个评论 • 995 次浏览 • 2022-03-10 10:35 • 来自相关话题

1.在 Elasticsearch 中利用 Ingest 计算分析文档摄取延迟
https://www.elastic.co/cn/blog ... ility
2.Filebeat 系统资源使用优化
https://www.jianshu.com/p/389702465461
3.使用 Elastic Stack 进行异常值检测 - airbnb 数据分析
https://mp.weixin.qq.com/s/Bl9MdSN5U9i8qvCTBzDovw

编辑:Se7en  
归档:https://ela.st/cn-daily-all 
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup

_update_by_query 批量更新还有哪些坑?

Elasticsearchhyycy140213 回复了问题 • 3 人关注 • 3 个回复 • 2841 次浏览 • 2022-03-31 14:32 • 来自相关话题

Ingest处理的问题

Elasticsearchtongchuan1992 回复了问题 • 2 人关注 • 1 个回复 • 812 次浏览 • 2022-03-09 13:46 • 来自相关话题

Exception in thread "main" java.util.zip.ZipException: error in opening zip file

Elasticsearchlocatelli 回复了问题 • 3 人关注 • 2 个回复 • 1976 次浏览 • 2022-03-11 07:23 • 来自相关话题

社区日报 第1341期 (2021-03-09)

社区日报kin122 发表了文章 • 0 个评论 • 1626 次浏览 • 2022-03-09 10:19 • 来自相关话题

1. 【Elasticsearch源码】CCR源码分析(一)
https://blog.csdn.net/wudingme ... 50044
2. 【Elasticsearch源码】CCR源码分析(二)
https://blog.csdn.net/wudingme ... 64469
3. Elasticsearch In Action: Core Data Types(需要梯子)
https://mkonda007.medium.com/e ... f6919

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup

社区日报 第1340期 (2022-03-08)

社区日报God_lockin 发表了文章 • 0 个评论 • 963 次浏览 • 2022-03-08 19:14 • 来自相关话题

1. 用ES做近似统计(需要梯子)
https://pratik-patil.medium.co ... ad4a7

2. ES和他的挑战者们的一些性能对比(需要梯子)
https://medium.com/gigasearch/ ... 75639

3. spring + ES,你值得拥有(需要梯子)
https://medium.com/%40luthfihr ... ad9c6

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup

社区日报 第1337期 (2021-03-05)

社区日报taoxiyang 发表了文章 • 0 个评论 • 1287 次浏览 • 2022-03-07 11:52 • 来自相关话题

1. 如何在kubernates 集群上部署 ElasticSearch

   https://cloud.tencent.com/deve ... 97244

2. log4j2漏洞对Elasticsearch的影响

   https://cloud.tencent.com/deve ... 17038

3. ElasticSearch Log4j 版本升级方法

   https://shipengliang.com/softw ... .html

编辑:陶希阳
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup

社区日报 第1338期 (2022-03-07)

社区日报pangying 发表了文章 • 0 个评论 • 1032 次浏览 • 2022-03-07 11:21 • 来自相关话题

 1.EFK (Elasticsearch + Fluentd + Kibana) 日志分析系统
cnblogs.com/zongxiang/p/14745073.html

2.Kibana 数据的批量导入
https://www.cnblogs.com/momo6656/p/15155755.html

3.Kibana:如何让用户匿名访问 Kibana 中的 Dashboard
https://www.cnblogs.com/sanduz ... .html


编辑:pangying
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup