是时候用 ES 拯救发际线啦

Easysearch 数据可视化和管理平台:INFINI Console 使用介绍

EasysearchINFINI Labs 小助手 发表了文章 • 0 个评论 • 3228 次浏览 • 2024-07-10 16:26 • 来自相关话题

![](https://infinilabs.cn/img/blog ... bg.png)

上次在《[INFINI Easysearch 尝鲜 Hands on](https://infinilabs.cn/blog/202 ... ds-on/)》中,我们部署了两个节点的 Easysearch,并设置了 Console 进行集群监控。今天,我们将介绍 [INFINI Console](https://infinilabs.cn/products/console/) 的使用。

Dashboard


INFINI Console 是一个功能强大的数据管理和分析平台,其仪表盘页面提供了直观简洁的界面,使用户能够快速了解系统状态并进行管理操作。本文将详细介绍仪表盘页面的各项功能。

![](https://infinilabs.cn/img/blog ... /1.png)

仪表盘顶部显示系统的实时告警、通知和待办事项的数量,当前数据显示:

  • 告警:0 条
  • 通知:0 条
  • 待办:0 条

    在仪表盘的中心区域,用户可以看到几项关键的系统概览信息:

  • 集群数量:当前有 3 个集群正在运行。
  • 节点数量:系统中有 16 个节点。
  • 主机数量:共有 3 台主机。
  • 已用存储:系统已使用存储空间为 2.0GB。

    仪表盘页面还提供了几个常用操作的快速入口,方便用户迅速访问常用功能:

  • 集群注册:用户可以通过此入口快速注册新的集群。
  • 数据探索:用户可以访问数据探索工具,对系统中的数据进行分析和查询。
  • 告警管理:提供对告警信息的管理功能,用户可以查看和处理告警。
  • 安全管理:安全管理入口帮助用户维护系统的安全设置和策略。

    仪表盘右侧显示了集群的动态信息,包括最近的操作日志。例如:

  • 2024-07-03 22:43:43,index medcl 在 cluster infiniLabs 中的状态更新。
  • 2024-07-03 22:06:43,index medcl 在 cluster infiniLabs 中被创建。

    集群管理页面


    集群管理页面主要分为几个部分:顶部的功能选项卡、中部的集群列表、以及右侧的筛选和排序选项。

    ![](https://infinilabs.cn/img/blog ... /2.png)

    页面顶部的功能选项卡包括以下几项:

  • Clusters (集群):显示当前系统中的所有集群。
  • Nodes (节点):显示集群中的节点详细信息。
  • Indices (索引):显示集群中的索引信息。
  • Hosts (主机):显示系统中的主机信息。

    集群列表展示了每个集群的详细信息,包括:

  • 集群名称:每个集群的名称,如 “infinilabs”、“mycluster”、“INFINI_SYSTEM (JeanGrey)”。
  • 集群健康状态:以颜色条的形式显示最近 14 天的集群健康状态(绿色表示健康,黄色表示有警告)。
  • 节点数量:集群中包含的节点数量。
  • 索引数量:集群中的索引数量。
  • 分片数量:集群中的分片数量。
  • 文档数量:集群中存储的文档数量。
  • 磁盘使用率:集群的磁盘使用情况。
  • JVM 堆内存使用率:集群的 JVM 堆内存使用情况。
  • 索引速率:当前集群的索引速率(每秒索引数)。
  • 搜索速率:当前集群的搜索速率(每秒搜索数)。

    页面右侧提供了丰富的筛选和排序选项,可以根据以下条件筛选和排序集群:

  • 健康状态 (Health Status):根据集群的健康状态筛选,如绿色(健康)和黄色(警告)。
  • 分布 (Distribution):根据集群的分布类型筛选,如 “easysearch” 和 “elasticsearch”。
  • 版本 (Version):根据集群使用的软件版本筛选,如 Easysearch 1.8.2 和 Elasticsearch 7.10.2。
  • 区域 (Region):根据集群所在的区域筛选,如 “china” 和 “default”。
  • 标签 (Tags):根据自定义标签进行筛选。

    接下来分别介绍节点、索引和主机层面的信息,这些监控指标与集群层面大同小异。

    节点监控


    ![](https://infinilabs.cn/img/blog ... /3.png)

    索引监控


    ![](https://infinilabs.cn/img/blog ... /4.png)

    主机监控


    包括了常规的 CPU、内存、磁盘、网络的监控。

    ![](https://infinilabs.cn/img/blog ... /5.png)

    监控指标页面


    监控报表页面提供了对集群运行状况的详细监控和分析功能。用户可以选择最近 15 分钟、1 小时、24 小时等不同时间范围查看数据,并手动点击刷新按钮更新数据,以获取最新的监控信息。

    ![](https://infinilabs.cn/img/blog ... /6.png)

    概览信息


    显示当前集群的基本状态,包括:

  • 集群名称:如 “infinilabs”。
  • 在线时长:如 “3 天”。
  • 集群版本:如 “1.8.2”。
  • 健康状态:如 “green”。
  • 节点数:如 “2”。
  • 索引数:如 “38”。
  • 主/总分片:如 “38/76”。
  • 未分配分片:如 “0”。
  • 文档数:如 “656,803”。
  • 存储空间:如 “1007.2MB/385.4GB”。
  • JVM 内存:如 “1023.0MB/2.0GB”。

    监控报表页面还提供了多个性能指标的图表,包括:

    索引吞吐 (doc/s)

  • Total Indexing:总索引吞吐量。
  • Primary Indexing:主分片的索引吞吐量。

    查询吞吐 (query/s)

  • Total Query:总查询吞吐量。

    索引延迟 (ms)

  • Indexing Latency:索引延迟时间。
  • Delete Latency:删除操作的延迟时间。

    查询延迟 (ms)

  • Query Latency:查询延迟时间。
  • Fetch Latency:获取操作的延迟时间。
  • Scroll Latency:滚动操作的延迟时间。

    点击“Advance”可以查看更多监控指标:

    ![](https://infinilabs.cn/img/blog ... /7.png)

    节点级别性能监控


    包括 CPU、负载、JVM 内存、剩余使用空间及磁盘空间、集群启动时间和索引读写情况。

    ![](https://infinilabs.cn/img/blog ... /8.png)

    索引级别监控


    包括集群内索引的数量、状态、主分片和副本分片数量、文档条数和占用空间。

    ![](https://infinilabs.cn/img/blog ... /9.png)

    集群动态页面


    提供集群中各类事件和活动的详细记录和监控功能。

    ![](https://infinilabs.cn/img/blog ... 10.png)

    别名管理


    别名管理页面提供了对索引别名的管理功能,使用户可以方便地管理和配置 Elasticsearch/EasySearch 的索引别名。

    创建别名


    可以通过 DSL 创建别名。例如,创建一个名为 my_index_alias 的别名指向 my_index

    <br /> POST /_aliases<br /> {<br /> "actions": [<br /> {<br /> "add": {<br /> "index": "my_index",<br /> "alias": "my_index_alias"<br /> }<br /> }<br /> ]<br /> }<br />

    删除别名


    删除一个别名同样可以通过 REST API 实现:

    <br /> POST /_aliases<br /> {<br /> "actions": [<br /> {<br /> "remove": {<br /> "index": "my_index",<br /> "alias": "my_index_alias"<br /> }<br /> }<br /> ]<br /> }<br />

    索引轮换


    索引轮换是一种常用的索引管理策略,特别适用于日志和时间序列数据的场景。通过索引轮换,用户可以在索引达到一定条件(如大小或文档数量)时,创建一个新的索引来继续存储数据,而旧的索引可以继续用于查询。

    1. 设置写别名:创建一个指向当前写入索引的别名,例如 current_write_index。
    2. 定义索引轮换条件:可以基于索引的大小、文档数量或时间来定义轮换条件。
    3. 索引并更新写别名指向这个新索引。

      创建初始索引并设置写别名:

      <br /> PUT /my_index-000001<br /> {<br /> "aliases": {<br /> "current_write_index": {}<br /> }<br /> }<br />

      使用 /_rollover API 定义轮换条件并执行轮换:

      <br /> POST /current_write_index/_rollover<br /> {<br /> "conditions": {<br /> "max_age": "7d",<br /> "max_docs": 1000000<br /> },<br /> "settings": {<br /> "number_of_shards": 1<br /> },<br /> "aliases": {<br /> "current_write_index": {}<br /> }<br /> }<br />

      通过这种方式,查询操作可以透明地访问所有历史数据,而写操作总是指向最新的索引。

      在 INFINI Console 中提供了可视化创建索引及别名的方式。页面右上角提供了新建按钮,用户可以通过点击该按钮创建新的索引别名,填写别名名称、关联索引、索引路由、搜索路由和过滤查询等配置。

      ![](https://infinilabs.cn/img/blog ... 11.png)

      平台监控


      展示了多个关键指标的监控图表,包括:

  • 健康状态 (Health):显示系统当前的健康状态。如果没有数据,则显示“暂无数据”。
  • 引擎分布 (Engines):展示系统中不同搜索引擎的分布情况,例如 EasySearch 和 Elasticsearch 的比例。图表显示当前 EasySearch 占 67%,Elasticsearch 占 33%。
  • 提供商 (Providers):显示系统中使用的云服务提供商信息。在示例中,所有资源都托管在 AWS 上。
  • JDK 版本 (JDK):显示系统中使用的 JDK 版本信息。在示例中,所有节点都使用 JDK 版本 11.0.20。
  • 磁盘使用情况 (Disk Utilization) - Top 10:显示磁盘使用率最高的前 10 个节点。在示例中,easysearch-node1 和 easysearch-node2 的磁盘使用率均为 4%。
  • JVM 使用情况 (JVM Utilization) - Top 10:展示 JVM 使用率最高的前 10 个节点。在示例中,infinilabs 集群的 easysearch-node1 和 easysearch-node2 节点的 JVM 使用情况有详细的时间序列数据,显示了不同时间点的使用率变化。

    ![](https://infinilabs.cn/img/blog ... 12.png)

    我们还能够看到更多指标:

    ![](https://infinilabs.cn/img/blog ... 13.png)

    数据探索


    在数据探索里,可以根据时间、字段等条件对索引或者视图下的数据进行搜索查询和分析,类似 Kibana 的 Discover。

    ![](https://infinilabs.cn/img/blog ... 14.png)

    这里可以看到集群的警报,目前集群运行良好,没有任何警报。

    ![](https://infinilabs.cn/img/blog ... 15.png)

    内部会预设一些警报规则,如下:

    ![](https://infinilabs.cn/img/blog ... 16.png)

    点进去一个请求,比如磁盘的警告,可以针对不同的使用量设置不同的警告级别和通知。

    ![](https://infinilabs.cn/img/blog ... 17.png)

    这里针对警报设置警报,可以看到现在支持很多平台,Discord、飞书、邮件、微信、Slack 以及钉钉。

    ![](https://infinilabs.cn/img/blog ... 18.png)

    点击进去可以查看,对于社交软件而言,其实是使用 Webhook 进行通知,除此之外也支持配置邮件服务器和自定义的 Webhook 进行通知。

    ![](https://infinilabs.cn/img/blog ... 19.png)

    开发工具


    Console 的开发工具相当于 Kibana DevTool 的升级版,使用上基本没有大的区别,除了支持 DSL 之外,还支持多集群 Tab 切换、常用命令快速 Load、SQL 查询等。

    ![](https://infinilabs.cn/img/blog ... 20.png)

    集群连接凭证管理


    可以看到连接这三个集群的凭证管理,目前都是有效的。

    ![](https://infinilabs.cn/img/blog ... 21.png)

    后台用户授权


    可以添加用户以及修改 Console 管理界面的密码。目前设置了 admin 账号。

    ![](https://infinilabs.cn/img/blog ... 22.png)

    审计日志


    追踪对集群的操作,捕获查看集群监控信息以及集群索引的操作。

    ![](https://infinilabs.cn/img/blog ... 23.png)

    结论


    INFINI Console 的仪表盘页面集成了系统的关键信息和快捷操作入口,使用户可以高效地管理和监控系统。通过详细的概览信息、实时的告警通知、快速的功能入口和动态日志,用户能够对系统的运行状态一目了然,并快速响应各种管理需求。这个设计不仅提升了用户的工作效率,还确保了系统的安全和稳定运行。

    INFINI Console 的集群管理页面提供了对系统集群的全面监控和管理功能。通过详细的集群信息展示、便捷的功能选项卡切换以及丰富的筛选和排序功能,用户可以高效地管理和监控系统中的集群状态。这不仅提升了运维效率,还确保了系统的稳定运行和高效管理。

    INFINI Console 的节点管理页面提供了对集群节点的全面监控和管理功能。通过详细的节点信息展示、便捷的功能选项卡切换以及丰富的筛选和搜索功能,用户可以高效地管理和监控系统中的节点状态,从而提升运维效率,确保系统的稳定运行和高效管理。

    INFINI Console 的监控报表页面提供了对集群运行状况的全面监控和分析功能。通过详细的概览信息和多个性能指标图表,用户可以高效地监控和管理集群的运行状态。这不仅提升了系统运维效率,还确保了集群的稳定运行和高效管理。

    通过这些功能,INFINI Console 为用户提供了全面的系统管理工具,帮助他们高效地应对各种运维挑战,确保系统的高效、安全、稳定运行。

    关于 Easysearch 有奖征文活动


    ![黑神话悟空](https://infinilabs.cn//img/blo ... er.png)

    无论你是 Easysearch 的老用户,还是第一次听说这个名字,只要你对 INFINI Labs 旗下的 Easysearch 产品感兴趣,或者是希望了解 Easysearch,都可以参加这次活动。

    详情查看:[Easysearch 征文活动](https://infinilabs.cn/blog/202 ... ukong/)

    作者:韩旭,亚马逊云技术支持,亚马逊云科技技领云博主,目前专注于云计算开发和大数据领域。

    原文:https://blog.csdn.net/weixin_3 ... 77785

INFINI Easysearch 尝鲜 Hands on

EasysearchINFINI Labs 小助手 发表了文章 • 0 个评论 • 2866 次浏览 • 2024-07-10 14:43 • 来自相关话题

![](https://infinilabs.cn/img/blog ... bg.png)

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎,核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个自主可控的轻量级的 Elasticsearch 可替代版本,并继续完善和支持更多的企业级功能。与 Elasticsearch 相比,Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。

Easysearch 支持原生 Elasticsearch 的 DSL 查询语法,确保原业务代码无需调整即可无缝迁移。同时,极限科技还支持 SQL 查询,为熟悉 SQL 的开发人员提供更加便捷的数据分析方式。此外,Easysearch 兼容 Elasticsearch 的 SDK 和现有索引存储格式,支持冷热架构和索引生命周期管理,确保用户能够轻松实现数据的无缝衔接。

安装


安装脚本


无论是 Linux 还是 Mac 都是这个一键脚本

bash<br /> curl -sSL <a href="http://get.infini.cloud" rel="nofollow" target="_blank">http://get.infini.cloud</a> | bash -s -- -p easysearch<br />

同时也提供了二进制的安装包:

![](https://infinilabs.cn/img/blog ... /1.png)

如果不想整理 JAVA 环境问题,还可以使用这个
[https://release.infinilabs.com ... ndle/](https://release.infinilabs.com ... undle/)

docker 部署


官方提供了 Docker Compose 样例,包括三个服务:

  • easysearch-node1
  • easysearch-node2
  • console

    以下是详细说明:

    版本控制:


  • version: '3' 表示使用 Docker Compose 文件的第 3 版格式。

    服务定义:


  • easysearch-node1 和 easysearch-node2:

    • 这两个服务使用相同的 Docker 镜像 infinilabs/easysearch:latest 来组成双节点的集群。
    • 容器运行时使用用户和组 ID 602:602。
    • 设置了 ES_JAVA_OPTS 环境变量以配置 Java 虚拟机的内存。
    • ulimits 选项配置了内存锁定和文件描述符的限制,以提升性能。
    • 容器内的配置、数据和日志目录通过卷映射到主机目录中,以便于数据持久化。
    • 服务暴露特定端口,使外部能够访问容器中的服务。
    • 两个节点均加入名为 esnet 的自定义网络中。

  • console:

    • 该服务使用镜像 infinilabs/console:1.26.0-1552(该镜像没有 latest,需要手动把 latest 更改位特定的版本号)。
    • 同样通过卷将数据和日志目录映射到主机。
    • 暴露 9000 端口用于 Web 界面访问。
    • 使用 links 功能链接到 easysearch-node1 和 easysearch-node2,简化容器之间的通信。
    • 设置了时区环境变量 TZ 为 Asia/Shanghai。

      网络配置:


  • esnet 网络使用 bridge 驱动,提供一个隔离的网络环境,配置了特定的子网 172.24.0.0/16,以确保服务之间的网络通信。

    ```ymal
    version: '3'
    services:
    easysearch-node1:
    user: "602:602"
    image: infinilabs/easysearch:latest
    container_name: easysearch-node1
    hostname: easysearch-node1
    environment:
    • "ES_JAVA_OPTS=-Xms1g -Xmx1g"
      ulimits:
      memlock:
      soft: -1
      hard: -1
      nofile:
      soft: 65536
      hard: 65536
      volumes:
    • $PWD/ezs1/config:/app/easysearch/config
    • $PWD/ezs1/data:/app/easysearch/data
    • $PWD/ezs1/logs:/app/easysearch/logs
      ports:
    • 9201:9200
    • 9301:9300
      networks:
    • esnet
      easysearch-node2:
      user: "602:602"
      image: infinilabs/easysearch:latest
      container_name: easysearch-node2
      hostname: easysearch-node2
      environment:
    • "ES_JAVA_OPTS=-Xms1g -Xmx1g"
      ulimits:
      memlock:
      soft: -1
      hard: -1
      nofile:
      soft: 65536
      hard: 65536
      volumes:
    • $PWD/ezs2/config:/app/easysearch/config
    • $PWD/ezs2/data:/app/easysearch/data
    • $PWD/ezs2/logs:/app/easysearch/logs
      ports:
    • 9202:9200
    • 9302:9300
      networks:
    • esnet
      console:
      image: infinilabs/console:1.26.0-1552
      container_name: console
      hostname: console
      volumes:
    • $PWD/console/data:/data
    • $PWD/console/log:/log
      networks:
    • esnet
      ports:
    • 9000:9000
      links:
    • easysearch-node1:es1
    • easysearch-node2:es2
      environment:
    • TZ=Asia/Shanghai

      networks:
      esnet:
      driver: bridge
      ipam:
      config:
      • subnet: 172.24.0.0/16
        <br /> <br /> 尽管在这里官方提供了详细的命令,完全可以使用这个 docker-compose up 来进行替代。其他的脚本解释如下:<br /> <br /> **init.sh**<br /> <br /> bash

        !/bin/bash


        获取当前脚本所在目录的绝对路径


        CUR_DIR=$(cd $(dirname $0); pwd)

        创建必要的目录结构


        mkdir -p $CUR_DIR/console/{data,log}
        mkdir -p $CUR_DIR/{ezs1,ezs2}/{data,logs}

        设置目录的拥有者和权限


        chown -R 1000:1000 $CUR_DIR/console
        chown -R 602:602 $CUR_DIR/{ezs1,ezs2}
        chmod -R 0600 $CUR_DIR/{ezs1,ezs2}/config

        设置 config 目录的子目录权限


        find $CUR_DIR/{ezs1,ezs2}/config -type d -print0 | xargs -0 chmod 750
        <br /> <br /> **reset.sh**<br /> <br /> bash

        !/bin/bash


        获取当前脚本所在目录的绝对路径


        CUR_DIR=$(cd $(dirname $0); pwd)

        定义确认函数

        function confirm() {
        display_str=$1
        default_ans=$2
        if [[ $default_ans == 'y/N' ]]; then
        must_match='[yY]'
        else
        must_match='[nN]'
        fi
        read -p"${display_str} [${default_ans}]:" ans
        [[ $ans == $must_match ]]
        }

        提示用户确认删除所有数据

        confirm "RISK WARN: Delete all data!!!" 'y/N' && echo || exit

        删除 console、ezs1 和 ezs2 的数据和日志文件

        rm -rvf $CUR_DIR/console/{data,log}/
        rm -rvf $CUR_DIR/{ezs1,ezs2}/{data,logs}/

        <br /> <br /> **start.sh**<br /> <br /> bash

        !/bin/bash


        使用 Docker Compose 启动 ezs2 项目中的服务

        docker-compose -p ezs2 up
        <br /> <br /> **stop.sh**<br /> <br /> bash

        !/bin/bash


        使用 Docker Compose 关闭并移除 ezs2 项目中的所有服务


        docker-compose -p ezs2 down
        ```

        在我的电脑中,可以看到成功启动的容器。

        ![](https://infinilabs.cn/img/blog ... /2.png)

        https://infinilabs.cn/docs/lat ... pose/

        Console 连接


        设置集群连接参数,比如域名端口,用户名密码。

        ![](https://infinilabs.cn/img/blog ... /3.png)

        初始化,这里会新建索引,写一些 sample 数据。

        ![](https://infinilabs.cn/img/blog ... /4.png)

        设置后台管理的密码,后期使用这个登录控制台。

        ![](https://infinilabs.cn/img/blog ... /5.png)

        检查配置,完成集群关联。

        ![](https://infinilabs.cn/img/blog ... /6.png)

        这个是后台管理界面,除了用户名密码之外,也支持单点登录:

        ![](https://infinilabs.cn/img/blog ... /7.png)

        跨引擎、跨版本、跨集群 独一份!

        ![](https://infinilabs.cn/img/blog ... /8.png)

        使用自带的面板进行查看节点数量:

        ![](https://infinilabs.cn/img/blog ... /9.png)

        同时也支持 REST 风格的 API 来进行查询。

        ![](https://infinilabs.cn/img/blog ... 10.png)

        接下来使用 Console 连接 Amazon 的 OpenSearch:

        同样是输入集群的 URL,用户名和密码。

        ![](https://infinilabs.cn/img/blog ... 11.png)

        然后可以拿到集群的信息,比如地址,版本号,集群状态,节点数量。

        ![](https://infinilabs.cn/img/blog ... 12.png)

        最后看到连接成功的信息。

        ![](https://infinilabs.cn/img/blog ... 13.png)

        我们可以在集群管理中看到 Easysearch 的集群和我们刚刚添加的 OpenSearch 集群。

        ![](https://infinilabs.cn/img/blog ... 14.png)

        是否开源?目前还没有开放源代码。

        关于 Easysearch 有奖征文活动


        ![黑神话悟空](https://infinilabs.cn//img/blo ... er.png)

        无论你是 Easysearch 的老用户,还是第一次听说这个名字,只要你对 INFINI Labs 旗下的 Easysearch 产品感兴趣,或者是希望了解 Easysearch,都可以参加这次活动。

        详情查看:[Easysearch 征文活动](https://infinilabs.cn/blog/202 ... ukong/)

        作者:韩旭,亚马逊云技术支持,亚马逊云科技技领云博主,目前专注于云计算开发和大数据领域。

        原文:https://blog.csdn.net/weixin_3 ... 77785

搜索客社区日报 第1856期 (2024-07-10)

社区日报kin122 发表了文章 • 0 个评论 • 2508 次浏览 • 2024-07-10 12:14 • 来自相关话题

1.用 Apache OpenNLP 和 Spring Boot 去创建一个chat应用(搭梯)
https://medium.com/%40tobintom ... 7d3f6
2.一文详谈20多种RAG优化方法
https://mp.weixin.qq.com/s/xMsPh8qicRD395vjFR250A
3.使用 Elasticsearch 进行大规模向量搜索的设计原则
https://cloud.tencent.com/deve ... 33788
4.Elasticsearch:结合稀疏、密集和地理字段
https://blog.csdn.net/UbuntuTo ... 70973


编辑:kin122 
更多资讯:http://news.searchkit.cn

【搜索客社区日报】第1855期 (2024-07-09)

社区日报God_lockin 发表了文章 • 0 个评论 • 2443 次浏览 • 2024-07-09 09:08 • 来自相关话题

1. 中文版提示工程指南
https://www.promptingguide.ai/zh
2. 一些优秀的prompt示例和优化的技巧
https://github.com/sarthakrastogi/quality-prompts
3. 一组很有参考价值的prompt组织技巧(需要梯子)
https://www.youtube.com/watch?v=2djqKsRXt_Q
编辑:斯蒂文
更多资讯:http://news.searchkit.cn
 

【搜索客社区日报】第1854期 (2024-07-08)

社区日报searchkit 发表了文章 • 0 个评论 • 2612 次浏览 • 2024-07-08 20:33 • 来自相关话题

1. Easysearch 数据可视化和管理平台:INFINI Console 使用介绍 | 征文系列
https://mp.weixin.qq.com/s/4JuN2xFLv8nrtbBiRG3-kw

2. 认识新的 Google AI 助手 Gemini
https://www.sqlservercentral.c ... emini

3. 理解和实施 Medprompt
https://towardsdatascience.com ... 77c91

4. 人工智能中的性别偏见简介
https://thegradient.pub/gender-bias-in-ai/

5. GraphRAG:用于复杂数据发现的新工具现已在 GitHub 上发布
https://www.microsoft.com/en-u ... thub/

编辑:Muse 
更多资讯:http://news.searchkit.cn

从 OpenAI 停服看中国市场:国产替代崛起的机遇与挑战

EasysearchINFINI Labs 小助手 发表了文章 • 0 个评论 • 3061 次浏览 • 2024-07-05 11:50 • 来自相关话题

![INFINI Easysearch](https://infinilabs.cn/img/blog ... bg.jpg)

一、OpenAI 停服事件背景


OpenAI 自 2020 年推出 GPT-3 以来,在全球范围内引起了极大的反响。其强大的自然语言处理能力使其成为许多企业和开发者的首选工具。然而,2024 年 6 月 25 日,许多中国用户收到了一封来自 OpenAI 的邮件,邮件中明确表示,自 2024 年 7 月 9 日起,OpenAI 将停止对中国内地和香港地区提供 API 服务。

![INFINI Easysearch](https://infinilabs.cn/img/blog ... p1.jpg)

这一事件引发了国内开发者和企业的广泛讨论,特别是在人工智能技术应用逐渐深入的背景下,OpenAI 的停服无疑会对中国市场产生一定的影响。在 AI 技术迅猛发展的当下,许多中国企业和开发者依赖 OpenAI 的 API 进行各种应用的开发。尤其是在大模型技术领域,不少初创公司通过“套壳”OpenAI 技术快速推向市场。所谓“OpenAI 套壳”,是指一些公司仅对 OpenAI 的技术进行表面包装和小改动,而未进行深度创新 。OpenAI CEO 山姆·奥特曼曾明确指出,简单包装 OpenAI 技术的公司难以长久生存。此次 API 服务的终止,意味着这些企业需要寻找新的技术支持,或者在短时间内加速自主研发 。

二、国产替代的挑战与机遇


OpenAI 停止对中国提供 API 服务将对国内 AI 行业带来短期冲击,但从长远来看,这也可能成为推动国内 AI 技术自主创新和研发的契机。国内企业将被迫加大自主研发力度,减少对外部技术的依赖,从而推动国产 AI 技术的发展 。虽然目前国内大模型企业在技术上与 OpenAI 存在一定差距,但已有不少公司在不断赶超。例如,百度的文心大模型、科大讯飞的星火大模型以及清华智谱的 ChatGLM 基础模型,都在性能上逐渐逼近甚至超过了 GPT-4 。从现状来看,国内大模型厂商已经逐步进入了性能提升的关键期,应用场景从办公、生活拓展到医疗、工业、教育等领域。

三、Elasticsearch 国产化替代的需求


![INFINI Easysearch](https://infinilabs.cn/img/blog ... p3.png)

Elasticsearch(简称 ES)作为一种开源的分布式搜索和分析引擎,以其强大的搜索能力和高效的数据处理能力,广泛应用于各种大数据和搜索相关业务场景。然而,随着国际政治环境的变化和技术壁垒的加剧,依赖国外技术的风险日益凸显。在这种背景下,推动 Elasticsearch 的国产化替代至关重要,既能保障国家信息安全,也能促进国内技术自主创新和产业发展。

首先,依赖国外技术可能带来技术封锁风险,一旦国外企业因政治或经济原因停止服务,中国企业的业务连续性和数据安全性将受到威胁。推动国产化替代有助于规避这些风险,保障数据安全和业务的稳定运行。国外搜索引擎和数据库系统通常为西方市场优化,未必适合中国市场。例如,Elasticsearch 在处理中文信息时需要额外的插件和调整,而国产替代方案可以更好地适应本地化需求,同时确保数据存储和处理符合国家法律法规。

其次,推动 Elasticsearch 的国产化替代有助于激发国内企业的创新活力,减少对国外技术的依赖,提升在搜索和大数据领域的核心竞争力。采用国产替代方案不仅能够降低企业的技术成本,还能构建自主的技术生态系统,减少对外部的依赖。与此同时国产化替代也有助于提升国内技术人才水平,通过自主研发和技术创新培养出高水平的技术人才,推动技术创新和产业升级。

在性能和安全方面,Elasticsearch 在数据保护和性能方面存在不足。开源版本不具备数据保护功能,用户必须付费获得相关的安全功能。2021 年 Elastic 公司将其开源软件许可证变更为双授权许可,可能带来安全风险。此外,Elasticsearch 在数据读写性能和集群扩展上也存在技术挑战,进一步推动了国产替代的需求。

四、Easysearch:国产替代的优秀范例


![INFINI Easysearch](https://infinilabs.cn/img/blog ... er.png)

在 OpenAI 退出中国市场的背景下,国产技术的重要性日益凸显。作为国产搜索引擎技术的代表,[Easysearch](https://infinilabs.cn/products/easysearch/) 展示了强大的替代潜力。

[Easysearch](https://infinilabs.cn/products/easysearch/) 是一款基于国内自主研发的高性能搜索引擎,其核心引擎基于开源的 Apache Lucene。与 Elasticsearch 相比,Easysearch 不仅提供了相当的功能,还进行了更具针对性的优化。

  • 轻量级:Easysearch 的安装包小于 50MB,部署安装简单,适合企业快速上手。

  • 跨平台支持:Easysearch 支持主流操作系统和 CPU 架构,兼容国产信创环境,确保多样化环境下的稳定运行。

  • 高性能:Easysearch 针对不同的使用场景进行了优化,以更低的硬件成本提供更高的服务性能,从而实现降本增效。

  • 安全增强:Easysearch 默认提供完整的企业级安全功能,支持 LDAP/AD 集成,能够对索引、文档和字段级别进行粒度化权限管控,确保数据的安全性和隐私性。

  • 稳定可靠:Easysearch 修复了大量内核问题,解决了内存泄露、集群卡顿和查询缓慢等问题,经过严苛的业务环境考验,保证了其稳定性和可靠性。

  • 简单易用:Easysearch 提供了企业级管理后台,运营标准化和自动化,使用户能够通过简单的页面操作实现专家级的运维管理工作。

    Easysearch 特别注重数据安全和隐私保护,所有数据都在国内处理和存储,符合数据主权要求。这对关注数据安全和隐私的企业尤为重要,能够有效保障数据的安全性和合规性。

    Easysearch 致力于构建一个开放的技术生态,通过丰富的开发者资源和支持,为国内开发者提供了一个强大的技术平台。

  • 兼容性:Easysearch 兼容 Elasticsearch 的语法,支持 Elasticsearch 原有的 Query DSL 和 SQL 语法,并且兼容现有的 Elasticsearch SDK。这样,企业和开发者可以平滑地迁移到 Easysearch,无需修改现有代码。

  • 中文适配:Easysearch 在功能上进行了中文适配,能够更好地支持中文搜索和分析,满足本地化需求。

  • 功能增强:Easysearch 不断完善和增强企业级功能,使其在搜索业务场景中保持简洁与易用性,同时提升功能的丰富度和深度。

  • 信创适配:Easysearch 支持信创环境,确保在国产环境中也能平稳运行和使用。

  • 平滑迁移:Easysearch 基于网关实现了无缝的跨版本迁移与升级,用户可以随时安全回退,确保系统的持续稳定性。

    Easysearch 作为国产搜索引擎技术的代表,展示了国产替代的强大潜力。通过自主研发和技术创新,Easysearch 不仅提供了强大的功能和性能,还确保了数据安全和隐私保护。它为国内企业和开发者提供了一个可靠的技术平台,推动了国产技术的发展和应用。未来,随着更多国产技术的崛起,中国将在全球技术领域占据更加重要的地位。

    五、结束语


    随着 OpenAI 服务在国内的终止,中国 AI 市场迎来了自主创新的机遇。国内企业如百度、科大讯飞等正加速自主研发,缩小技术差距。同时,在搜索引擎领域,极限科技推出 Easysearch 搜索引擎为 Elasticsearch 国产替代提供了新的选择。展望未来,国产技术的持续创新将助力中国在全球技术领域占据更重要的地位。

    关于极限科技(INFINI Labs)


    ![INFINI Labs](https://infinilabs.cn/img/blog ... bs.png)

    极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

    极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

    官网:[https://www.infinilabs.cn](https://www.infinilabs.cn)

    ![联系我们](https://infinilabs.cn/img/blog ... us.png)

    作者:Muses

    原文:https://infinilabs.cn/blog/202 ... sing/

【搜索客社区日报】第1853期 (2024-07-05)

社区日报Fred2000 发表了文章 • 0 个评论 • 2430 次浏览 • 2024-07-05 09:26 • 来自相关话题

Gitee 两大指标超越 GitHub,携手中国开源共绘新篇章
https://mp.weixin.qq.com/s/J92AOb9HGQDb4FqqJUPGhQ

前沿重器[51] | 聊聊搜索系统4:query理解
https://mp.weixin.qq.com/s/R4njGbiz_yT0wqN4by0uDg

Elasticsearch 是什么?工作原理是怎么样的?
https://mp.weixin.qq.com/s/UXzFg6LbHCifeObiLsXAMA

INFINI Easysearch 尝鲜 Hands on
https://mp.weixin.qq.com/s/OLdD3KkgXK5Q4e2RDzMD8Q

编辑:Fred 
更多资讯:http://news.searchkit.cn

【搜索客社区日报】第1852期 (2024-07-04)

社区日报Se7en 发表了文章 • 0 个评论 • 2305 次浏览 • 2024-07-04 12:43 • 来自相关话题

1.在 Warp 终端工具中使用 Agent 模式
https://www.warp.dev/blog/agent-mode
2.为什么都放弃了LangChain?
https://mp.weixin.qq.com/s/mtaXOGFw3852F1RsZNqF4Q
3.Kimi 推出上下文缓存
https://mp.weixin.qq.com/s/GCluooWoeMoZHPAtKeiSDA
4.如何用 AI 打造全能网页抓取工具?
https://mp.weixin.qq.com/s/JZskQhlntazMLBVjVt4RmA

编辑:Se7en  
更多资讯:http://news.searchkit.cn

【搜索客社区日报】 第1851期 (2024-07-03)

社区日报kin122 发表了文章 • 0 个评论 • 2440 次浏览 • 2024-07-03 16:48 • 来自相关话题

1.相似性搜索, Part 1: kNN & 倒排索引(搭梯)
https://towardsdatascience.com ... c0e79
2.相似性搜索, Part 2: 乘积量化(搭梯)
https://towardsdatascience.com ... 97701
3.相似性搜索, Part 3: 混合倒排索引和乘积量化(搭梯)
https://towardsdatascience.com ... 765fa
4.相似性搜索, Part 4: Hierarchical Navigable Small World (HNSW)(搭梯)
https://towardsdatascience.com ... 87d37
5.相似性搜索, Part 5: 局部敏感哈希 (LSH)
https://towardsdatascience.com ... 88203




编辑:kin122 
更多资讯:http://news.searchkit.cn

【搜索客社区日报】第1850期 (2024-07-02)

社区日报God_lockin 发表了文章 • 0 个评论 • 2515 次浏览 • 2024-07-02 17:32 • 来自相关话题

1. booking的架构设计(需要梯子)
https://medium.com/%40sahintal ... 03d94
2. ElasticSearch 和 [Mistral.AI](http://Mistral.AI) 产生的奇妙的化学反应(需要梯子)
https://medium.com/%40felixpra ... 92dbf
3. 一个agent搭建教程,还挺详细的
https://fw7qiozbnjr.feishu.cn/ ... 6an4b
编辑:斯蒂文
更多资讯:http://news.searchkit.cn
 

【搜索客社区日报】第1849期 (2024-07-01)

社区日报searchkit 发表了文章 • 0 个评论 • 2473 次浏览 • 2024-07-01 10:53 • 来自相关话题

1、LLM Agent的规划能力如何重塑AI的未来
https://mp.weixin.qq.com/s/7dPr0B4-Pb8q9_ouaoM8Cg

2、【ClickHouse招贤贴】Senior Software Engineer (C++)- Mandarin Speaking
https://mp.weixin.qq.com/s/5016wk5nXiH0OoxWmrysOQ

3、相当广泛的数据库技术内容,包括数据库管理、优化、和最新趋势
https://www.databasejournal.com/

4、使用 GPT-4 查找 GPT-4 的错误
https://openai.com/index/findi ... pt-4/

5、Distill,一个结合可视化和互动内容,侧重于解释人工智能和深度学习技术的网站
https://distill.pub/

6、Docker 终极初学者指南
https://machinelearningmastery ... cker/

编辑:Muse 
更多资讯:http://news.searchkit.cn

【搜索客社区日报】第1848期 (2024-06-28)

社区日报Fred2000 发表了文章 • 0 个评论 • 2400 次浏览 • 2024-06-28 11:08 • 来自相关话题

1、搜索型数据库的技术发展历程与趋势前瞻
https://infinilabs.cn/blog/202 ... ases/

2、RAG 标准和腾讯云 ES 的技术实践
https://mp.weixin.qq.com/s/mY2KgCon6T7_OsJThVerRA

3、AI颠覆摩尔定律,未来超线性发展趋势预测,2028达到临界点
https://mp.weixin.qq.com/s/tY1TEFSkKPwYqzlf9whjDQ

4、一个 AI 搜索引擎 ThinkAny
https://mp.weixin.qq.com/s/25eXZi1QgGYIPpXeDzkQrg

编辑:Fred 
更多资讯:http://news.searchkit.cn

【搜索客社区日报】第1844期 (2024-06-24)

社区日报searchkit 发表了文章 • 0 个评论 • 2404 次浏览 • 2024-06-28 11:07 • 来自相关话题

1、Elasticsearch 使用误区之一——将 Elasticsearch 视为关系数据库
https://mp.weixin.qq.com/s/D_urlhWTJN-F4tPd7OyYfw

2、国内AI大模型已近80个,哪个最有前途?
https://www.zhihu.com/question ... 23584

3、DB 大咖对话 | 数据要素与人工智能对我国数据库技术和产业的影响
https://www.infoq.cn/article/OVogOUR5HtKoou9x8ugC

4、一文掌握大模型数据准备、模型微调、部署使用全流程
https://blog.csdn.net/qq_35082 ... 83093

编辑:Muse
更多资讯:http://news.searchkit.cn

一个山寨的Lucene ------- Tantivy

LuceneCharele 回复了问题 • 2 人关注 • 2 个回复 • 2841 次浏览 • 2024-06-29 17:15 • 来自相关话题

【搜索客社区日报】第1847期 (2024-06-27)

社区日报Se7en 发表了文章 • 0 个评论 • 2422 次浏览 • 2024-06-27 11:51 • 来自相关话题

1.OpenAI 不可用?通过 WasmEdge 使用开源模型一键替换 OpenAI API
https://mp.weixin.qq.com/s/owmZbeGstpMbCBCPaK7tqw
2.从 OpenAI 到其他大模型,使用 Higress 30 秒完成迁移
https://mp.weixin.qq.com/s/flJqyljT8AebrFFKG1LZIg
3.4 万 star!一款快如闪电的开源搜索引擎,太快了!
https://mp.weixin.qq.com/s/udeF1B_LJ3GBOPc6GAniSg
4.我体验完刚发布的Claude3.5,发现最强的是这个新功能
https://mp.weixin.qq.com/s/BojNcrz1gZi1aJ__jJWUmg
5.百度和阿里的前高管都来卷AI搜索了,Genspark 和 kFind 打得过 Perplexity 么?
https://mp.weixin.qq.com/s/-pjSJFJ-tzkg-oPxoX1-Cg
6.干货下载|腾讯云 ES RAG 如何支持微信读书实现AI问书功能?
https://mp.weixin.qq.com/s/QoazoK3RGmZI9ZflnUdM1A

编辑:Se7en  
更多资讯:http://news.searchkit.cn