本次活动由 搜索客社区、极限科技（INFINI Labs）联合举办，活动主题将深入探讨 Elasticsearch 的两个核心方面：代码结构以及写入和查询的关键流程。本次活动将为 Elasticsearch 初学者和有经验的用户提供宝贵的见解，欢迎大家报名参加、交流学习。

活动主题：Elasticsearch 的代码结构和写入查询流程的解读 - 下篇
活动时间：2024 年 8 月 28 日 19:00-20:00（周三）
活动形式：微信视频号（极限实验室）直播
报名方式：关注或扫码海报中的二维码进行预约

嘉宾介绍

张磊，极限科技搜索引擎研发负责人，对 Elasticsearch 和 Lucene 源码比较熟悉，目前主要负责公司的 Easysearch 产品的研发以及客户服务工作。

主题摘要

本次分享将探讨 Elasticsearch 的代码结构及其写入和查询流程。内容包括：项目架构、核心模块、插件系统，以及文档索引和查询的各个阶段与分布式查询协调。

活动亮点

1. 深入解析 Elasticsearch 代码结构：

   • 项目的整体结构：了解 Elasticsearch 项目的组织方式。
   • 核心模块及其职责：学习 Elasticsearch 的核心模块及其在系统中的具体角色。
   • 插件系统的设计：探索 Elasticsearch 灵活的插件系统设计及其扩展方式。

2. 详细解读 Elasticsearch 写入和查询流程：

   • 文档索引过程的各个阶段：跟随文档从初始接收至最终存储的索引过程。
   • 查询解析和执行的步骤：理解 Elasticsearch 中查询解析和执行的各个步骤。
   • 分布式查询的协调过程：学习 Elasticsearch 如何在分布式架构中协调查询，以提供高效且准确的搜索结果。

参与有奖

直播中将设有福袋抽奖环节，参与就有机会获得 INFINI Labs 周边纪念品，包括 T 恤、鸭舌帽、咖啡杯、指甲刀套件等等（图片仅供参考，款式、颜色与尺码随机）。

活动交流

本活动设有 Meetup 技术交流群，可添加小助手微信入群。

本次 Meetup 是深入了解 Elasticsearch 内部工作机制、提升使用技能的绝佳机会。不要错过！

Meetup 讲师招募

搜索客社区 Meetup 的成功举办，离不开社区小伙伴的热情参与。目前社区讲师招募计划也在持续进行中，我们诚挚邀请各位技术大咖、行业精英踊跃提交演讲议题，与大家分享您的经验。

讲师报名链接：http://cfp.searchkit.cn
或扫描下方二维码，立刻报名成为讲师！

Meetup 活动聚焦 AI 与搜索领域的最新动态，以及数据实时搜索分析、向量检索、技术实践与案例分析、日志分析、安全等领域的深度探讨。

我们热切期待您的精彩分享！

往期回顾

• 【第 2 期】2024 搜索客 Meetup | Elasticsearch 的代码结构和写入查询流程的解读 - 上篇
• 【第 1 期】2024 搜索客 Meetup | Easysearch 结合大模型实现 RAG

关于 搜索客（SearchKit）社区

搜索客社区由 Elasticsearch 中文社区进行全新的品牌升级，以新的 Slogan：“搜索人自己的社区” 为宣言。汇集搜索领域最新动态、精选干货文章、精华讨论、文档资料、翻译与版本发布等，为广大搜索领域从业者提供更为丰富便捷的学习和交流平台。

社区官网：https://searchkit.cn 。

随着《黑神话：悟空》游戏的正式发售，我们 INFINI Labs 组织的 Easysearch 有奖征文大赛也圆满落幕。本次征文活动自启动以来，收到了众多创作者的热情投稿。在此，我们衷心感谢每一位参与活动的作者，是你们的才华和热情让这次征文活动异彩纷呈。

经过专业评审团的认真评选，最终确定了以下获奖作品及作者，现予以公布：

恭喜以上获奖作者，你们的作品不仅展现了 Easysearch 的强大功能，也为社区成员提供了宝贵的学习资源。我们将会通过小助手微信联系各位获奖者，安排奖品的发放。

同时，我们也要感谢所有参与本次征文活动的作者，你们的每一篇 Easysearch 投稿都是对社区的一份贡献。我们期待在未来的活动中再次与大家相遇。

请继续关注 INFINI Labs，我们将持续为大家带来更多优质的产品和精彩的活动。再次感谢大家的参与和支持！

如有疑问或想加入 Easysearch 用户交流群请联系我们小助手！

附征文活动原文：

天命人, 你在吗？快拿走你的《黑神话:悟空》游戏，去开启神话冒险！

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://infinilabs.cn

2024 年 8 月 14 日，由搜索客社区和极限科技（INFINI Labs）联合举办的第 2 期线上 Meetup 技术交流直播活动圆满结束。本期 Meetup 直播活动吸引了超过 500+ 人次的技术爱好者参与，共同学习和交流了 Elasticsearch 源码结构、写入流程、插件开发、性能优化等。

主题：Elasticsearch 的代码结构和写入查询流程的解读

本期 Meetup 活动由极限科技搜索引擎研发负责人 张磊老师 为大家带来了主题为《Elasticsearch 的代码结构和写入查询流程的解读》精彩分享。

张磊老师首先对 ES 项目架构、核心模块、插件系统进行分析和解读，然后深入讲解了 ES 的写入流程，同时结合 ES 源代码进行 Demo 演示。以下为摘取 PPT 部分内容截图：

直播间的小伙伴对分享内容非常感兴趣，纷纷在评论区留言提问，下面摘取部分提问：

• 如何学习 ES 源码？
• 开发 ES 插件有什么需要注意的地方吗
• bulk 请求有没有请求大小或者文档数的优化参数？
• bulk 写入数据时，单次写入的条数一般限制到多少？
• 在大数据请求时，一直内存熔断，内存已经给到了 32GB，怎么排查是哪里的问题？
• es8.x 的 knn 和 os 的 knn 有些什么区别？

张磊老师从专业的角度热情耐心的一一进行了解答，获得了大家的点赞好评。

同时，在整个直播过程中，主持人进行了多轮激动人心的抽奖活动，为参会小伙伴带来了额外的惊喜，将活动气氛推向了高潮。

本期 Meetup 旨在为 ES 初学者和有经验的用户提供深入见解，随着活动的圆满结束，参会小伙伴们不仅收获和提升在 ES 使用和开发方面的能力，还共同推动了技术的进步和社区的发展。

最后感谢大家的参与和支持，让我们共同期待下一次 搜索客 Meetup 活动带来更多的精彩内容！

本期 Meetup 的 PPT 下载

本期 PPT 下载的链接：https://searchkit.cn/slides/326

本期 Meetup 视频回放

扫码关注极限实验室视频号查看直播回放，或者扫码关注极限实验室 B 站 账号，可查看本期 Meetup 活动视频。我们也会在视频号、B 站持续更新最新技术视频，欢迎通过点赞、投币，收藏，三连来支持我们。

Meetup 活动讲师招募

搜索客社区 Meetup 的成功举办，离不开社区小伙伴的热情参与。目前社区讲师招募计划也在持续进行中，我们诚挚邀请各位技术大咖、行业精英踊跃提交演讲议题，与大家分享您的经验。

讲师报名链接：http://cfp.searchkit.cn
或扫描下方二维码，立刻报名成为讲师！

Meetup 活动聚焦 AI 与搜索领域的最新动态，以及数据实时搜索分析、向量检索、技术实践与案例分析、日志分析、安全等领域的深度探讨。

我们热切期待您的精彩分享！

关于 搜索客（SearchKit）社区

搜索客社区由 Elasticsearch 中文社区进行全新的品牌升级，以新的 Slogan：“搜索人自己的社区” 为宣言。汇集搜索领域最新动态、精选干货文章、精华讨论、文档资料、翻译与版本发布等，为广大搜索领域从业者提供更为丰富便捷的学习和交流平台。社区官网：https://searchkit.cn 。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://infinilabs.cn

1、什么是 Easysearch

Easysearch 是极限科技研发的一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。 同时也是一款具备自主可控的分布式近实时搜索型数据库产品，具备高性能、高可用、弹性伸缩、高安全性等特性，具备支持丰富的个性化搜索及聚合分析能力，可部署在物理机、虚拟机、容器、私有云和公有云，能承载 PB 级别的海量业务数据，为金融核心系统、运营商、制造业和政企业务系统提供安全、稳定、可靠的快速检索和实时数据探索分析能力，可满足不同业务场景的各项复杂需求。

2、前期准备

在安装 Easysearch 之前，确保您的 MacOS 系统符合以下要求：

• MacOS 操作系统版本应为最新或推荐稳定版本。
• 确保系统上已安装 Java 运行环境，因为 Easysearch 是基于 Java 开发的。

3、下载 Easysearch

打开浏览器，访问 Easysearch 官方下载页面。

找到 MacOS 版本安装包，然后根据自己电脑 CPU 架构选择对应的 Easysearch 安装包。我自己的电脑是 Intel X86 架构，直接选择默认的 amd64，点击下载即可。如果你的电脑是 Apple 的自己的 M 系列芯片，请选择 arm64 版本安装包。

4、安装 Easysearch

打开终端（Terminal）并导航到下载目录，找到 Easysearch 的压缩包，然后双击解压到您选择的目录。或者使用以下命令解压文件：

unzip ./easysearch-1.8.3-265-mac-amd64.zip

5、启动 Easysearch

1. 执行初始化脚本：

由于 Easysearch 默认自带了安全模块，所以在启动之前需要先执行初始化脚本，脚本里会自动帮我们处理好 Easysearch 安全证书、下载基本的 plugins 插件以及初始用户名和密码等，方便省心。

cd ./easysearch-1.8.3-265-mac-amd64 && bin/initialize.sh

执行过程中遇到 [y/N] 询问，输入 y 即可。最后执行完初始化脚本之后，我们可以在输出的 log 日志中看到 easysearch 的访问用户名和密码，需要注意的是，这个用户名和密码需要自己保存好。 如下图所示：

2. 启动 Easysearch： 使用以下命令启动 Easysearch：

./bin/easysearch

启动后，Easysearch 将在终端中输出运行日志，您可以在此查看启动过程中的详细信息。

6、验证安装

1. 检查运行状态：

打开浏览器，访问 https://localhost:9200，输入上面提到的用户名密码，如果您看到类似以下的 JSON 响应，说明 Easysearch 已成功启动：

2. 检查集群健康状况：

在浏览器中输入 https:/localhost:9200/_cluster/health?pretty 或者在终端中执行以下命令来检查集群的健康状况：

curl -ku admin:4395c2f67208ca5ad7de https://localhost:9200/_cluster/health?pretty"

这将返回集群的详细健康信息，status 为 green 表示集群状态正常。如下图所示：

7、总结

通过上述步骤，可以轻松地在 MacOS 环境下安装和部署 Easysearch，享受它带来的强大功能和便捷体验。Easysearch 作为 Elasticsearch 的替代产品，不仅在功能上保持了高效和稳定，还进一步优化了搜索业务场景，使其更适合企业级应用。现在，您可以进一步配置集群，开始索引数据，并探索 Easysearch 提供的强大搜索和分析功能。建议参考 官网文档，深入了解并实践更多高级功能。

关于 Easysearch 有奖征文活动

无论你是 Easysearch 的老用户，还是第一次听说这个名字，只要你对 INFINI Labs 旗下的 Easysearch 产品感兴趣，或者是希望了解 Easysearch，都可以参加这次活动。

详情查看：Easysearch 征文活动

作者：Keep simple
原文：https://blog.csdn.net/weixin_48688147/article/details/141238374

随着企业对数据搜索和分析需求的增加，高效的搜索引擎解决方案变得越来越重要。Easysearch 作为一款强大的企业级搜索引擎，可以帮助企业快速构建高性能、可扩展的数据检索系统。在云计算的背景下，使用容器化技术来部署和管理这些解决方案已经成为主流选择，而 Amazon Elastic Kubernetes Service (EKS) 则提供了一个强大且易于使用的平台来运行容器化的应用程序。

本文旨在探索如何在 AWS EKS 上部署 Easysearch，并通过实践操作展示从集群配置到服务部署的完整过程。通过本文，读者可以了解如何在云环境中快速搭建高效的搜索服务，最大化利用云资源的弹性和可扩展性。

准备工作

1. 准备一个 AWS Global 账户，本文选择东京区域（ap-northeast-1）进行部署。
2. 部署 EKS 集群版本为 1.30，同时需要在 Linux 环境中安装 AWS CLI、Helm、eksctl 和 kubectl 等命令行工具。本文使用 eksctl 管理 EKS 集群，eksctl 是 AWS 官方推出的高效管理 EKS 集群的命令行工具。
3. 本文将使用 EBS-CSI-Driver 作为存储驱动来部署 Easysearch 服务，并通过 AWS LoadBalancer Controller 将 Easysearch Console 服务以 AWS 负载均衡器的方式对外提供服务，连接集群内部的 Easysearch。

命令行工具的安装

安装 AWS CLI：

curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
./aws/install -i /usr/local/aws-cli -b /usr/local/bin
aws --version

安装 Helm：

curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 > get_helm.sh
chmod 700 get_helm.sh
./get_helm.sh

安装 eksctl：

# 对于 ARM 系统，设置 ARCH 为：`arm64`、`armv6` 或 `armv7`
ARCH=amd64
PLATFORM=$(uname -s)_$ARCH

curl -sLO "https://github.com/eksctl-io/eksctl/releases/latest/download/eksctl_$PLATFORM.tar.gz"

# （可选）验证校验和
curl -sL "https://github.com/eksctl-io/eksctl/releases/latest/download/eksctl_checksums.txt" | grep $PLATFORM | sha256sum --check

tar -xzf eksctl_$PLATFORM.tar.gz -C /tmp && rm eksctl_$PLATFORM.tar.gz

sudo mv /tmp/eksctl /usr/local/bin

安装 kubectl：

curl -O https://s3.us-west-2.amazonaws.com/amazon-eks/1.30.2/2024-07-12/bin/linux/amd64/kubectl
chmod +x ./kubectl
mkdir -p $HOME/bin && cp ./kubectl $HOME/bin/kubectl && export PATH=$HOME/bin:$PATH

配置 EKS 集群环境

我们使用 eksctl 创建一个 1.30 版本的集群，这里通过 YAML 模板定义 EKS 集群的 VPC 网络配置，并根据 eksctl 官方文档调整相关字段。将以下模板保存为 my-cluster.yaml 文件：

# 创建一个包含 2 个 m5.2xlarge 实例的节点组
apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig

metadata:
  name: LAB-1-30
  region: ap-northeast-1

vpc:
  subnets:
    private:
      ap-northeast-1a: { id: subnet-11223344 }
      ap-northeast-1c: { id: subnet-55667788 }
      ap-northeast-1d: { id: subnet-99001122 }

nodeGroups:
  - name: managed-workers-01
    labels: { role: workers }
    instanceType: m5.2xlarge
    minSize: 2
    maxSize: 4
    desiredCapacity: 3
    privateNetworking: true
    volumeSize: 30

通过以下命令创建集群：

eksctl create cluster -f my-cluster.yaml

集群创建完成后，使用以下命令检查集群是否就绪：

# 更新 kubeconfig 的凭证文件
aws eks update-kubeconfig --name LAB-1-30 --region ap-northeast-1
kubectl get node
[ec2-user@ip-10-0-0-84 ~]$ kubectl get node
NAME                                              STATUS   ROLES    AGE   VERSION
ip-10-0-100-132.ap-northeast-1.compute.internal   Ready    <none>   16m   v1.30.2-eks-1552ad0
ip-10-0-101-148.ap-northeast-1.compute.internal   Ready    <none>   16m   v1.30.2-eks-1552ad0

安装 EBS-CSI-Driver 插件，后续部署时可以指定 StorageClass 来使用亚马逊云的 EBS 块存储服务：

eksctl utils associate-iam-oidc-provider --region=ap-northeast-1 --cluster=LAB-1-30 --approve
eksctl create iamserviceaccount \
        --name ebs-csi-controller-sa \
        --namespace kube-system \
        --cluster LAB-1-30 \
        --region ap-northeast-1 \
        --role-name AmazonEKS_EBS_CSI_DriverRole \
        --role-only \
        --attach-policy-arn arn:aws:iam::aws:policy/service-role/AmazonEBSCSIDriverPolicy \
        --approve

eksctl create addon --cluster LAB-1-30 --name aws-ebs-csi-driver --version latest --region ap-northeast-1 \
  --service-account-role-arn arn:aws:iam::112233445566:role/AmazonEKS_EBS_CSI_DriverRole --force

[ec2-user@ip-10-0-0-84 ~]$ kubectl get pod -n kube-system | grep -i ebs
ebs-csi-controller-868598b64f-pwmxq   6/6     Running   0          11m
ebs-csi-controller-868598b64f-qn2lz   6/6     Running   0          11m
ebs-csi-node-fplxg                    3/3     Running   0          11m
ebs-csi-node-v6qwj                    3/3     Running   0          11m

安装 AWS LoadBalancer Controller 组件：

eksctl create iamserviceaccount \
  --cluster=LAB-1-30 \
  --region ap-northeast-1 \
  --namespace=kube-system \
  --name=aws-load-balancer-controller \
  --role-name AmazonEKSLoadBalancerControllerRole_130 \
  --attach-policy-arn=arn:aws:iam::112233445566:policy/AWSLoadBalancerControllerIAMPolicy \
  --approve

helm repo add eks https://aws.github.io/eks-charts
helm repo update eks
wget https://raw.githubusercontent.com/aws/eks-charts/master/stable/aws-load-balancer-controller/crds/crds.yaml
kubectl apply -f crds.yaml

helm install aws-load-balancer-controller eks/aws-load-balancer-controller \
  -n kube-system \
  --set clusterName=LAB-1-30 \
  --set serviceAccount.create=false \
  --set serviceAccount.name=aws-load-balancer-controller  \
  --set region=ap-northeast-1

# 验证安装
kubectl get deployment -n kube-system aws-load-balancer-controller
NAME                           READY   UP-TO-DATE   AVAILABLE   AGE
aws-load-balancer-controller   2/2     2            2           39s

至此，我们已经完成了 EKS 集群的配置。

安装 Easysearch 服务

本文中，将通过 AWS LoadBalancer 部署 Console 服务。首先，通过 Helm 将 Console 相关的模板文件拉取到本地，执行以下命令：

helm pull infinilabs/console
tar -zxvf console-0.2.0.tgz
cd console

目录结构如下：

[ec2-user@ip-10-0-0-84 console]$ tree
.
├── Chart.yaml
├── templates
│   ├── NOTES.txt
│   ├── _helpers.tpl
│   ├── hpa.yaml
│   ├── ingress.yaml
│   ├── service.yaml
│   ├── serviceaccount.yaml
│   └── statefulset.yaml
└── values.yaml

我们需要修改 service.yaml 和 values.yaml 中的部分配置：

# serivce.yaml
# 参考 AWS Load Balancer Controller 的文档，配置负载均衡器面向公网
metadata:
  annotations:
    service.beta.kubernetes.io/aws-load-balancer-scheme: internet-facing
    service.beta.kubernetes.io/aws-load-balancer-nlb-target-type: instance
    service.beta.kubernetes.io/aws-load-balancer-subnets: subnet-11223344, subnet-55667788, subnet-9911223344

# values.yaml
# 使用 GP2 StorageClass，并指定 Service Type 为 LoadBalancer
service:
  type: LoadBalancer
storageClassName: gp2

使用 Helm 部署 console 服务：

kubectl create ns Easysearch
helm upgrade --install console . -f values.yaml -n Easysearch

# 检查是否创建了 Service 并获取负载均衡器的 DNS 地址
kubectl get svc -n Easysearch
NAME         TYPE           CL

USTER-IP       EXTERNAL-IP                                               PORT(S)             AGE
console      LoadBalancer   172.20.237.237   k8s-xxxx.elb.ap-northeast-1.amazonaws.com                 9000:32190/TCP      6h49m

接下来是创建 Easysearch 单节点集群服务。创建一个新的 values.yaml 文件并定义使用 GP2 类型的 StorageClass，如下：

cd ~
echo 'storageClassName: gp2' > values.yaml
cat << EOF | kubectl apply -n Easysearch -f -
apiVersion: cert-manager.io/v1
kind: Issuer
metadata:
  name: Easysearch-ca-issuer
spec:
  selfSigned: {}
---
apiVersion: cert-manager.io/v1
kind: Certificate
metadata:
  name: Easysearch-ca-certificate
spec:
  commonName: Easysearch-ca-certificate
  duration: 87600h0m0s
  isCA: true
  issuerRef:
    kind: Issuer
    name: Easysearch-ca-issuer
  privateKey:
    algorithm: ECDSA
    size: 256
  renewBefore: 2160h0m0s
  secretName: Easysearch-ca-secret
EOF
helm install Easysearch infinilabs/Easysearch -n Easysearch -f values.yaml

至此，我们已在 AWS EKS 平台上完成了 Easysearch 的部署。可以通过 Kubernetes 中的 Service DNS 地址在 Console 中验证连接到内部的 Easysearch 服务。本文中使用的地址为：Easysearch.Easysearch.svc.cluster.local:9200。

也可以在 Easysearch 的 Pod 中使用命令进行连接验证：

kubectl exec -n Easysearch Easysearch-0 -it -- curl -ku 'admin:admin' https://Easysearch.Easysearch.svc.cluster.local:9200
{
  "name" : "Easysearch-0",
  "cluster_name" : "infinilabs",
  "cluster_uuid" : "fq3r_ZaHSFuZDjDtKyJY_w",
  "version" : {
    "distribution" : "Easysearch",
    "number" : "1.6.0",
    "distributor" : "INFINI Labs",
    "build_hash" : "e5d1ff9067b3dd696d52c61fbca1f8daed931fb7",
    "build_date" : "2023-09-22T00:55:32.292580Z",
    "build_snapshot" : false,
    "lucene_version" : "8.11.2",
    "minimum_wire_lucene_version" : "7.7.0",
    "minimum_lucene_index_compatibility_version" : "7.7.0"
  },
  "tagline" : "You Know, For Easy Search!"
}

总结

通过本文的实践操作，我们成功地在 AWS EKS 平台上部署了 Easysearch 服务，验证了其在云环境中的高效运行能力。从 EKS 集群的配置、存储和网络资源的准备，到最终的 Easysearch 部署与测试，整个过程展示了如何利用 AWS 提供的工具和服务，快速构建企业级搜索引擎解决方案。

通过这次部署，我们不仅了解了 Easysearch 在 Kubernetes 环境中的部署方法，还深入体验了 AWS EKS 平台的强大功能。未来，随着企业数据量的不断增长，结合云计算的弹性和容器化技术的优势，将会为企业的数据管理和搜索提供更加高效的解决方案。

参考文档

1. AWS 命令行界面
2. Helm
3. eksctl
4. Helm Chart 部署 Easysearch

关于 Easysearch 有奖征文活动

无论你是 Easysearch 的老用户，还是第一次听说这个名字，只要你对 INFINI Labs 旗下的 Easysearch 产品感兴趣，或者是希望了解 Easysearch，都可以参加这次活动。

详情查看：Easysearch 征文活动

作者：韩旭，亚马逊云技术支持，亚马逊云科技技领云博主，目前专注于云计算开发和大数据领域。
原文：https://infinilabs.cn/blog/2024/deploy-easysearch-using-aws-eks/

1. 引言：数据库的定义与作用

1.1 数据库的定义

数据库是一个专门用于组织、存储和管理数据的系统（Database System，简称 DBS），它以高效的方式为用户提供数据的存储、访问和管理功能。数据库的定义涵盖了各种数据模型和结构，主要可以分为关系型数据库（RDBMS）和非关系型数据库（NoSQL）两大类。

• 关系型数据库：以二维表格的形式组织数据，通过主键、外键来维持表与表之间的关系。这种数据库模型擅长处理结构化数据，并且通过 SQL（Structured Query Language）来管理数据。其最大的优势在于数据的一致性和完整性，但在处理大量非结构化数据时可能表现不佳。

• 非关系型数据库：也称为 NoSQL 数据库，适合存储和处理非结构化或半结构化数据，如文档、键值对、图形和列族等。NoSQL 数据库通常具有更高的灵活性和扩展性，尤其适合处理大规模分布式数据集和实时数据处理任务。

1.2 数据库在现代计算中的作用

在现代计算环境中，数据库是信息系统的核心。无论是互联网企业，还是传统行业的数字化转型，都依赖于强大的数据库系统来支撑各种应用程序的运行。数据库的作用包括：

• 数据存储：数据库能够安全地存储大规模数据，无论是结构化数据如表格，还是非结构化数据如图像和文本。

• 数据管理：数据库提供了复杂的查询、排序、更新、删除等操作，确保数据可以被有效地管理和利用。

• 数据分析：借助数据库中的索引和搜索功能，用户可以对海量数据进行快速检索和分析，从而支持实时决策和业务优化。

• 数据安全：数据库系统通常包含访问控制、加密、备份和恢复等功能，保护数据的机密性、完整性和可用性。

数据库已经成为现代企业运作的基石，为电子商务、社交媒体、金融服务、健康医疗等领域提供了不可或缺的数据支持。

2. 数据库的演变

2.1 关系型数据库的崛起

数据库的发展主要历经三个阶段，前关系型、关系型和后关系型。

20 世纪 70 年代，埃德加·科德提出了关系型数据库模型的概念，这一创新彻底改变了数据管理的方式。关系型数据库以关系代数为理论基础，将数据组织为多个相互关联的二维表格，这种模型极大简化了数据存储与检索的复杂性。

• 表格结构：数据以表的形式存储，每个表由行和列组成，行代表记录，列代表字段。表与表之间通过主键和外键来建立关系。

• SQL 的引入：为了管理关系型数据库，科德引入了结构化查询语言（SQL），这是一种强大的数据操作语言，允许用户通过简单的语句执行复杂的查询操作。

• 数据的一致性和完整性：关系型数据库通过事务处理机制（ACID 特性：原子性、一致性、隔离性和持久性），确保数据在并发操作和系统故障情况下保持一致性和完整性。

由于其高效的数据管理能力和强大的查询功能，关系型数据库迅速成为企业级应用的主流选择，在银行、保险、制造业等领域得到了广泛应用。

2.2 关系型数据库的局限性

随着信息技术的飞速发展，数据量呈现爆炸式增长，数据类型也日益多样化，这使得关系型数据库逐渐暴露出其局限性。

• 扩展性不足：关系型数据库通常依赖垂直扩展（增加单个服务器的硬件能力）来提升性能，但这种方式在面对海量数据时成本高昂且效率有限。而对于需要分布式处理的大规模数据集，关系型数据库的横向扩展能力（增加服务器节点）较弱，难以满足分布式系统的需求。

• 非结构化数据处理困难：关系型数据库擅长处理结构化数据，但对于文本、图像、视频等非结构化数据的处理效率较低，需要额外的处理步骤和存储空间。这种局限性使其在面对现代大数据环境时显得捉襟见肘。

• 灵活性不足：关系型数据库的表结构和模式是预定义的，这意味着在数据模型发生变化时，修改数据库结构的成本和风险都较高，影响了系统的灵活性和适应性。

这些局限性推动了新型数据库技术的发展，尤其是 NoSQL 数据库的兴起，它们能够更好地处理分布式环境下的大规模非结构化数据。

3. 搜索型数据库的兴起

3.1 非结构化数据处理的需求

随着互联网和信息技术的发展，数据的类型和规模发生了巨大变化。除了传统的结构化数据，非结构化数据（如文本、图像、音频、视频等）也在迅速增长。这类数据并不适合存储在传统的关系型数据库中，因为它们无法以固定的表格形式进行有效的组织和管理。

在这种背景下，企业和组织对非结构化数据的处理和分析需求日益强烈。例如，社交媒体平台需要实时分析大量用户生成的文本内容，电子商务网站需要对用户的搜索和购买历史进行个性化推荐。这些需求促使数据库技术朝着更灵活和高效的方向发展。

为了应对这一挑战，NoSQL 数据库应运而生。NoSQL 数据库不依赖于固定的表格结构，而是支持多种数据模型，如文档、键值对、列族和图数据库等。它们在处理大规模分布式数据和非结构化数据时表现优异，尤其是在扩展性和灵活性方面。

然而，随着搜索需求的日益复杂，简单的 NoSQL 数据库已无法满足企业对快速全文检索、实时分析以及复杂查询的需求。这时，搜索型数据库逐渐成为焦点。它们不仅能够处理大规模数据，还能在数秒内从庞大的数据集中检索出相关信息，大大提升了数据的利用价值。

3.2 搜索型数据库的定义与特点

搜索型数据库是一类专门设计用于处理和检索大量非结构化数据的数据库系统。与传统的关系型数据库不同，搜索型数据库的主要功能是快速、准确地进行全文检索和复杂查询，尤其是在处理文本数据时表现出色。

核心技术与特点：

• 倒排索引：这是搜索型数据库的核心技术，它通过为每个单词建立索引来加速查询过程。当用户输入查询时，系统可以直接通过索引定位相关文档，而无需逐个扫描整个数据库。

• 分布式架构：搜索型数据库通常采用分布式架构，以便能够处理大规模的数据集。它们将数据分布在多个节点上，确保即使在高并发或大数据量的情况下，系统仍然能够高效运行。

• 实时数据处理：现代搜索型数据库不仅支持批量数据处理，还能处理实时数据，这使得它们非常适合用于日志管理、监控和数据流分析等场景。

• 可扩展性：由于采用了分布式设计，搜索型数据库可以通过增加节点轻松扩展，从而处理日益增长的数据量和查询需求。

通过这些特点，搜索型数据库已经成为处理海量非结构化数据的关键工具，为企业和组织提供了强大的数据检索和分析能力。

4. Elasticsearch：革命性的搜索型数据库

4.1 Elasticsearch 的背景与发展

Elasticsearch 是由 Shay Banon 于 2010 年基于开源搜索引擎库 Apache Lucene 开发的。它的出现，标志着搜索型数据库进入了一个新的时代。Elasticsearch 旨在为现代数据驱动的应用程序提供高效、灵活的搜索和分析功能。由于其强大的功能和易用性，Elasticsearch 迅速在全球范围内获得了广泛的采用。

Elasticsearch 的诞生源于对大规模数据处理和全文检索的需求。随着互联网的快速发展，企业需要一种能够高效处理和搜索海量数据的工具，而传统的关系型数据库和早期的 NoSQL 解决方案无法满足这一需求。Elasticsearch 在此背景下应运而生，成为解决这些挑战的理想选择。

4.2 核心特性与架构

Elasticsearch 之所以能够在众多搜索型数据库中脱颖而出，主要得益于其强大的核心特性和先进的架构设计。

核心特性：

• 分布式架构：Elasticsearch 的分布式设计使其能够在多个节点上分片存储数据，从而实现高可用性和可扩展性。每个分片都是一个独立的搜索引擎，可以在多个节点之间进行复制，以确保数据的冗余和安全。

• RESTful API：Elasticsearch 提供了一个易于使用的 RESTful API，开发者可以通过简单的 HTTP 请求与其进行交互。这种设计使得 Elasticsearch 可以轻松集成到各种应用程序中。

• 实时索引和搜索：Elasticsearch 支持实时数据索引，这意味着数据在写入后几乎可以立即被搜索到。这一特性使其非常适合用于日志管理、监控和实时分析等需要快速响应的场景。

• 灵活的查询语言：Elasticsearch 提供了功能强大的查询 DSL（Domain Specific Language），允许用户进行复杂的查询操作，如布尔查询、范围查询、模糊查询等。它还支持聚合查询，使用户能够对数据进行高级分析。

架构设计：

Elasticsearch 的架构基于分片（Shard）和副本（Replica）的概念。每个索引被划分为若干个分片，每个分片可以有一个或多个副本。这种设计不仅提高了数据的可用性和容错性，还使得系统能够轻松处理大规模数据集。

此外，Elasticsearch 还使用了 Apache Lucene 作为底层搜索库，充分利用了 Lucene 强大的全文检索能力和索引机制。这使得 Elasticsearch 在处理复杂搜索任务时表现得非常高效。

4.3 典型应用场景

Elasticsearch 在多个行业和场景中得到了广泛应用，其灵活性和强大的搜索能力使其成为许多企业的首选解决方案。

• 日志和基础设施监控：在 IT 运维中，Elasticsearch 常用于收集和分析系统日志、应用日志和安全日志。通过与 Kibana（一个开源的分析和可视化平台）结合，用户可以实时监控系统状态，并快速识别和解决问题。

• 企业搜索：Elasticsearch 被广泛应用于企业内部文档和数据的搜索管理。无论是知识管理系统还是文档管理平台，Elasticsearch 都能够提供高效的全文检索和信息聚合能力，帮助企业提升工作效率。

• 电子商务搜索：在电子商务领域，Elasticsearch 用于实现快速、精确的产品搜索和推荐系统。它不仅可以处理大量产品数据，还能根据用户行为提供个性化推荐，提升用户体验和转化率。

5. Elasticsearch 的挑战与发展

5.1 扩展性问题

尽管 Elasticsearch 在处理大规模数据方面表现优异，但在面对极端大规模的应用场景时，其扩展性仍然是一个挑战。由于分布式系统的复杂性，网络分区、节点故障等问题可能导致数据不一致，甚至影响系统的整体性能。

为了应对这些挑战，开发者们引入了多种扩展性优化措施，例如改进分片管理策略、优化分布式查询算法等。这些改进旨在提高 Elasticsearch 在大规模集群中的稳定性和效率，但随着数据量的持续增长，扩展性问题仍然是一个需要持续关注和解决的问题。

5.2 性能优化

随着使用 Elasticsearch 的企业和应用越来越多，性能优化成为了一个关键议题。为了保证 Elasticsearch 在大规模数据处理中的高效性，开发者们采取了多种优化手段，包括改进索引策略、调整缓存机制、优化查询执行路径等。

此外，为了满足不同场景下的性能需求，Elasticsearch 还引入了多种配置选项，允许用户根据具体应用场景进行调整。例如，通过调整分片数量和副本数，用户可以在性能和数据冗余之间找到平衡。

5.3 安全与合规

随着全球数据隐私和安全法律法规的日益严格，Elasticsearch 在安全和合规性方面的挑战也日益凸显。企业在使用 Elasticsearch 时，必须确保数据的安全性和合规性，尤其是在处理敏感数据时。

为了解决这些问题，Elasticsearch 提供了一系列安全功能，如访问控制、数据加密、审计日志等。此外，开发者们还可以通过配置和插件，实现更高级别的安全措施，以满足特定行业和地区的合规要求。

但是，Elasticsearch 的安全性和合规性仍然是一个需要不断优化的领域。近几年 ES 数据泄露事件频发，很多 ES 库连基本的安全认证都没有，导致很多企业直接把 ES 当做存储库，数据泄露后直接被黑客利用。

结合今年 OpenAi 停止对中国内地和香港地区提供 API 服务可以看出，依赖国外技术可能带来技术封锁风险，一旦国外企业因政治或经济原因停止服务，中国企业的业务连续性和数据安全性将受到威胁。

6. 国内搜索型数据库的发展

6.1 中国搜索数据库的发展背景

随着国家对科技自主创新的重视，中国的数据库技术在过去十年中取得了显著进展。尤其是在中美技术竞争加剧的背景下，减少对国外技术的依赖成为了中国科技发展的战略目标。这种背景促使了国产数据库的加速发展，特别是在搜索型数据库领域。众多中国企业开始自主研发具备核心技术的数据库产品，试图在这一领域实现突破。

政策推动与市场需求

中国政府出台了一系列政策，鼓励本土企业在关键技术领域实现自主可控。这些政策不仅为企业提供了资金支持和政策优惠，还明确了在一些关键行业中优先使用国产软件的导向。同时，随着中国企业在互联网、电子商务、智能制造等领域的快速发展，对高效搜索和数据处理的需求愈发迫切，这也成为国产搜索型数据库发展的强大推动力。

6.2 Easysearch 的兴起

在此背景下，Easysearch 作为中国本土开发的搜索型数据库脱颖而出。Easysearch 的设计目标是为中国企业提供一个高效、可靠且适应本土需求的搜索与数据分析解决方案。与国外的 Elasticsearch 相似，Easysearch 基于分布式架构和倒排索引技术，能够处理大规模数据，并支持复杂的全文搜索和分析。

然而，Easysearch 并非只是简单的模仿或复制 Elasticsearch。它在多个方面进行了本地化优化，以更好地适应中国市场的独特需求。例如，在处理中文文本时，Easysearch 针对中文的特殊语法结构进行了优化，增强了中文分词的准确性和查询效率。此外，Easysearch 还在性能和可扩展性上进行了改进，使其能够更好地应对大规模企业级应用的需求。

不仅如此，Easysearch 还是国内首个通过搜索型数据库产品能力测试的国产搜索型数据库。自 2023 年 10 月起，Easysearch 凭借其卓越的性能和深度的本土化优化，成功在墨天轮搜索型数据库排行榜上长期占据榜首位置。这一成绩不仅体现了 Easysearch 在技术层面的突破，也反映了市场对其产品的高度认可。在短短几个月的时间里，Easysearch 以其稳定的表现和不断创新的步伐，赢得了众多企业用户的信赖。

6.3 Easysearch 与 Elasticsearch 的对比

虽然 Easysearch 与 Elasticsearch 在架构和基本功能上有很多相似之处，但它们在具体的实现和应用场景中表现出了一些显著的差异。

• 中文文本处理：Elasticsearch 虽然支持多语言环境，但其在中文处理上的表现并不如 Easysearch 那么出色。Easysearch 针对中文的语法和分词进行了专门的优化，尤其是在处理同义词、短语匹配和模糊查询时，能够提供更高的准确性。

• 本地化支持：Easysearch 提供了更强的本地化支持，包括符合中国法律法规的安全和合规性功能。此外，它还集成了许多国内常用的第三方系统，简化了企业的集成和部署过程。

• 性能优化：在处理大规模数据集时，Easysearch 通过定制化的优化策略，如特定的索引压缩技术和内存管理方案，提升了系统的响应速度和资源利用率。这使得它在某些特定应用场景下，能够提供比 Elasticsearch 更高的性能和稳定性。

• 安全可靠：Easysearch 提供了多种安全和合规性功能，如 TLS 加密、磁盘加密等。此外，它还支持多种第三方认证方式，如 LDAP、AD

6.4 国产搜索型数据库的未来

根据第一新声研究，2022-2027 年中国数据库整体市场将维持增长态势 ，2024 年整体市场规模预计为 543.1 亿，到 2027 年将增长至 1183.8 亿，2022-2027 年复合增长率达到 30.67%。

随着全球对数据安全和本地化需求的不断增加，国产搜索型数据库在未来有望占据更大的市场份额。

Easysearch 及其他国产数据库将进一步提升技术水平，持续创新，以满足不断变化的市场需求。

全球化与竞争力

虽然当前 Easysearch 主要面向国内市场，但其潜在的全球化前景不容小觑。通过持续的技术创新和市场拓展，Easysearch 及其他国产数据库有望在全球范围内与国际巨头展开竞争，特别是在亚非拉等新兴市场。这不仅有助于提升中国数据库技术的国际影响力，也将推动全球数据库产业的多样化发展。

7. 结论

通过对搜索型数据库的发展历程和未来趋势的探讨，可以看出，随着大数据和人工智能技术的不断进步，搜索型数据库将在更多领域发挥重要作用。Elasticsearch 作为全球领先的搜索型数据库，其开创性的架构和功能为行业树立了标杆。而以 Easysearch 为代表的国产数据库，也正在迅速崛起，展现出强大的竞争力。未来，搜索型数据库将继续朝着多模态、智能化、本地化的方向发展，为全球信息技术的发展提供更加坚实的基础。

参考资料

1. 搜索引擎数据库
2. 搜索型数据库的技术发展历程与趋势前瞻
3. 数据库行业分析：国产数据库百花齐放，搜索引擎数据库风口已至
4. 浅谈搜索引擎和传统数据库（ES,solr）
5. 什么是 Elasticsearch？
6. INFINI Labs 产品更新 | 重磅推出 Easysearch v1.1
7. 墨天轮中国数据库流行度排行
8. 喜讯！INFINI Easysearch 在墨天轮搜索型数据库排名中荣登榜首
9. 《2024 年中国数据库市场研究报告》重磅发布 | 第一新声
10. 国内首家 | 极限科技率先完成信通院搜索型数据库行业标准测试
11. 危险！超 9000 个 Elasticsearch 集群暴露在公网上
12. 从 OpenAI 停服看中国市场：国产替代崛起的机遇与挑战
13. 什么是数据库
14. 数据库发展史

关于 Easysearch 有奖征文活动

无论你是 Easysearch 的老用户，还是第一次听说这个名字，只要你对 INFINI Labs 旗下的 Easysearch 产品感兴趣，或者是希望了解 Easysearch，都可以参加这次活动。

详情查看：Easysearch 征文活动

作者：李家兴

原文：https://infinilabs.cn/blog/2024/from-elasticsearch-to-easysearch-the-rise-and-future-prospects-of-domestic-search-databases/

探索 Easysearch 的无限可能，与 INFINI Labs 共赴搜索技术前沿！

随着数字化转型的加速，搜索技术已成为企业数据洞察的核心。INFINI Labs 作为搜索创新技术的引领者，诚邀所有对 Easysearch 搜索引擎感兴趣的开发者、技术爱好者及合作伙伴，参加我们即将于 2024 年 8 月 17 日至 18 日举办的 第二期 Easysearch 线上免费培训活动。这不仅是一场知识的盛宴，更是技能提升的加速器，将助您在职业道路上迈出坚实的一步！

活动亮点

• 系统课程，全面深入：从 Easysearch 的基本概念到环境搭建，再到高级功能的实战应用，INFINI Labs 的技术专家将为您带来全面而深入的讲解，确保每位参与者都能收获满满。
• 实战导向，解决痛点：课程设计紧贴实际需求，旨在帮助学员掌握 Easysearch 的核心技术，有效解决工作中的搜索需求和技术难题，让理论知识迅速转化为实践能力。
• 认证证书，助力进阶：后期 INFINI Labs 将推出 Easysearch 认证考试。通过考试的学员将获得官方认证的 Easysearch 证书，为您的职业发展增添强力背书，开启职业生涯的新篇章。

培训时间

2024 年 8 月 17 日至 18 日（周六、周日）共两天，每天具体培训时间：

• 上午 09:30 ~ 11:30
• 下午 14:00 ~ 16:00

培训内容概览

第一阶段：初识 Easysearch

• Easysearch 环境搭建与对比，了解其与 Elasticsearch 的差异；
• 功能初探：身份验证、数据脱敏、权限控制等，全面掌握 Easysearch 的基础功能；
• 容灾技术：兼容性验证、跨集群复制等，确保您的搜索服务稳定可靠；

第二阶段：Easysearch 高阶使用

• 深度探析：性能压测、数据迁移、请求管理等，提升 Easysearch 的使用效率；
• 高级功能：快照管理、可视化看板、告警功能等，让您的搜索服务更加智能；
• 生态集成：Filebeat、Logstash、LangChain 等，轻松实现 Easysearch 与其他工具的集成；

参与方式

本次活动完全免费，名额有限，请尽快报名，同时微信扫码添加小助手进群（培训会议地址将在微信群公布），锁定您的学习席位！

扫码或点击 我要报名

👉 立即行动：不要错过这次提升自我、与行业精英共成长的宝贵机会。让我们相聚云端，共同探索 Easysearch 的无限可能，开启技术进阶的新篇章！

参会提示

• 培训内容涉及动手实践，请务必自备电脑（Windows 系统环境请提前安装好 Linux 虚拟机）；
• 请提前在 INFINI Labs 官网下载对应平台最新安装包（INFINI Easysearch、INFINI Gateway、INFINI Console）；
• 下载地址：https://infinilabs.cn/download

联系我们

如有任何疑问，欢迎通过微信添加 [小助手：INFINI-Labs] 与我们联系。

INFINI Labs 期待与您相约，共赴这场技术盛宴！

关于 Easysearch

Easysearch 是一个分布式的近实时搜索与分析引擎，基于开源的 Apache Lucene 构建。它旨在提供一个自主可控、轻量级的 Elasticsearch 可替代版本，并不断完善和支持更多的企业级功能。与 Elasticsearch 相比，Easysearch 更注重搜索业务场景的优化，同时保持其产品的简洁与易用性。

详情参见：Easysearch 介绍

Easysearch 有奖征文活动推荐

无论你是 Easysearch 的老用户，还是第一次听说这个名字，只要你对 INFINI Labs 旗下的 Easysearch 产品感兴趣，或者是希望了解 Easysearch，都可以参加这次活动。

详情查看：Easysearch 征文活动

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://infinilabs.cn

故障现象

近日有客户找到我们，说有个 ES 集群节点，磁盘利用率达到了 82% ，而其节点才 63% ，想处理下这个节点，降低节点的磁盘利用率。

起初以为是没有打开自动平衡导致的，经查询，数据还是比较平衡的。 利用率较高的是 76 节点，如果 76 节点的分片比其他节点多，好像还比较合乎逻辑，但它反而比其他节点少了 12-15 个分片。那是 76 节点上的分片比较大？

索引情况

图中都是较大的索引，1 个索引 25TB 左右，共 160 个分片。

分片大小

节点 64 节点 77 节点 75 问题节点 76 可以看出分片大小没有出现较大的倾斜，分片大小和数据平衡的原因都被排除。

换个方向思考，节点 76 比其他节点多使用了磁盘空间 8 个 TB 左右，集群最大分片大小约 140GB ，8000/140=57 ，即节点 76 至少要比其他节点多 57 个分片才行，啊这...

会不会有其他的文件占用了磁盘空间？

我们登录到节点主机，排查是否有其他文件占用了磁盘空间。

结果：客户的数据路径是单独的数据磁盘，并没有其他文件，都是 ES 集群索引占用的空间。

现象总结

分片大小差不多的情况下，节点 76 的分片数还比别的节点还少 10 个左右，它的磁盘空间反而多占用了 8TB 。

这是不是太奇怪了？事出反常必有妖，继续往下查。

原因定位

通过进一步排查，我们发现节点 76 上有一批索引目录，在其他的节点上没有，而且也不在 GET \_cat/indices?v 命令的结果中。说明这些目录都是 dangling 索引占用的。

dangling 索引产生的原因

当 Elasticsearch 节点脱机时，如果删除的索引数量超过 Cluster.indes.tombstones.size，就会发生这种情况。

解决方案

通过命令删除 dangling 索引：

DELETE /\_dangling/<index-uuid>?accept_data_loss=true

最后

这次的分享就到这里了，欢迎与我一起交流 ES 的各种问题和解决方案。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://infinilabs.cn