使用netstat -lntp来看看有侦听在网络某端口的进程。当然,也可以使用 lsof。

换掉ES? Redis官方搜索引擎,效率大幅提升

默认分类Fred2000 发表了文章 • 1 个评论 • 85 次浏览 • 8 小时前 • 来自相关话题

RediSearch是一个Redis模块,为Redis提供查询、二次索引和全文搜索。要使用RediSearch,首先要在Redis数据上声明索引。然后可以使用重新搜索查询语言来查询该数据。

RedSearch使用压缩的反向索引进行快速索引,占用内存少。RedSearch索引通过提供精确的短语匹配、模糊搜索和数字过滤等功能增强了

![](https://elasticsearch.cn/uploa ... 66.jpg)

实现特性


  • 基于文档的多个字段全文索引
  • 高性能增量索引
  • 文档排序(由用户在索引时手动提供)
  • 在子查询之间使用 AND 或 NOT 操作符的复杂布尔查询
  • 可选的查询子句
  • 基于前缀的搜索
  • 支持字段权重设置
  • 自动完成建议(带有模糊前缀建议)
  • 精确的短语搜索
  • 在许多语言中基于词干分析的查询扩展
  • 支持用于查询扩展和评分的自定义函数
  • 将搜索限制到特定的文档字段
  • 数字过滤器和范围
  • 使用 Redis 自己的地理命令进行地理过滤
  • Unicode 支持(需要 UTF-8 字符集)
  • 检索完整的文档内容或只是ID 的检索
  • 支持文档删除和更新与索引垃圾收集
  • 支持部分更新和条件文档更新

    对比 Elasticsearch


    如下图所示,RediSearch 构建索引的时间为 221 秒,而 Elasticsearch 为 349 秒,快了 58%。

    ![](https://elasticsearch.cn/uploa ... f2.jpg)

    索引构建测试



    我们模拟了一个多租户电子商务应用程序,其中每个租户代表一个产品类别并维护自己的索引。对于此基准测试,我们构建了 50K 个索引(或产品),每个索引最多存储 500 个文档(或项目),总共 2500 万个文档。

    RediSearch 仅用了 201 秒就构建了索引,平均每秒运行 125K 个索引。然而,Elasticsearch 在 921 个索引后崩溃了,显然它不是为应对这种负载而设计的。

    ![](https://elasticsearch.cn/uploa ... 95.jpg)

    查询性能测试


    一旦数据集被索引,我们就使用在专用负载生成器服务器上运行的 32 个客户端启动两个单词的搜索查询。如下图所示,RediSearch 吞吐量达到了 12.5K 操作/秒,而 Elasticsearch 为 3.1K 操作/秒,速度提高了 4 倍。

    此外,RediSearch 延迟稍好一些,平均为 8 毫秒,而 Elasticsearch 为 10 毫秒。

    安装

    安装目前分为源码和docker安装两种方式。

    源码安装

    bash<br /> git clone <a href="https://github.com/RediSearch/RediSearch.git" rel="nofollow" target="_blank">https://github.com/RediSearch/RediSearch.git</a><br /> cd RediSearch # 进入模块目录<br /> make setup<br /> make install<br />

    docker安装

    bash<br /> note: RediSearch的安装比较复杂原包无法进行编译操作所以我们使用docker安装<br /> docker run -p 6379:6379 redislabs/redisearch:latest<br />

    判断是否安装成功

    bash<br /> 127.0.0.1:0>module list<br /> 1) 1) "name"<br /> 2) "ReJSON"<br /> 3) "ver"<br /> 4) "20007"<br /> <br /> 2) 1) "name"<br /> 2) "search"<br /> 3) "ver"<br /> 4) "20209"<br />
    返回数组存在“ft”或 “search”(不同版本),表明 RediSearch 模块已经成功加载。

    命令行操作


    1、创建


    1.1 创建索引

    创建索引不妨想象成创建表结构,表一般基本属性有表名、字段和字段类别等,所以我们可以考虑将索引名代表表名,字段代表字段,属性即表示属性。
    bash<br /> xxx.xxx.xxx.xxx:0>ft.create "student" schema "name" text weight 5.0 "sex" text "desc" text "class" tag<br /> "OK"<br />
    student 表示索引名,name、sex、desc表示字段,text表示类型(这样表示只是为了便于理解)

    “weight”为权重,默认值为 1.0
    bash<br /> type student<br /> "none"<br />
    我们创建的索引redis是不认识的,这证明使用的是插件。

    1.2 创建文档

    创建文档上下文的过程不妨想想成向表中插入数据,这里请注意字段名可以使用双引号但切记一定要用英文,这里之所以着重提出是因为有些编译器中文双引号和英文双引号用肉眼实在难以辨认否则会出现 “Fields must be specified in FIELD VALUE pairs”(其实是将“ 当作内容处理了以至于缺少了字段)
    bash<br /> ft.add student 001 1.0 language "chinese" fields name "张三" sex "男" desc "这是一个学生" class "一班"<br /> "OK"<br />
    其中001为文档ID,"1.0"为评分缺少此值会报"Could not parse document score"异常,language 指明使用的语言默认是英文编码 如果没有此标记存储是没有问题的但不可以通过中文字符查询

    1.3 查询

    1.3.1 基本查询

    1.3.1.1 全量查询

    bash<br /> xxx.xxx.xxx.xxx:0>FT.SEARCH student * SORTBY sex desc RETURN 3 name sex desc<br /> 1) "2"<br /> 2) "001"<br /> 3) 1) "name"<br /> 2) "张三"<br /> 3) "sex"<br /> 4) "男"<br /> 5) "desc"<br /> 6) "这是一个学生"<br /> <br /> 4) "002"<br /> 5) 1) "name"<br /> 2) "张三"<br /> 3) "sex"<br /> 4) "男"<br /> 5) "desc"<br /> 6) "这是一个学生"<br />
    1.3.1.2 匹配查询
    bash<br /> xxx.xxx.xxx.xxx:0>ft.search student "张三" limit 0 10 RETURN 3 name sex desc<br /> 1) "2"<br /> 2) "001"<br /> 3) 1) "name"<br /> 2) "张三"<br /> 3) "sex"<br /> 4) "男"<br /> 5) "desc"<br /> 6) "这是一个学生"<br /> <br /> 4) "002"<br /> 5) 1) "name"<br /> 2) "张三"<br /> 3) "sex"<br /> 4) "男"<br /> 5) "desc"<br /> 6) "这是一个学生"<br /> <br />
    limit 与mysql相识主要用于分页,此处是全量匹配,如果没有设置language “chinese” 此处查询为0,

    1.3.2 模糊匹配

    1.3.2.1 后置匹配

    bash<br /> ft.search student "李*" SORTBY sex desc RETURN 3 name sex desc<br /> 1) "1"<br /> 2) "003"<br /> 3) 1) "name"<br /> 2) "李四"<br /> 3) "sex"<br /> 4) "男"<br /> 5) "desc"<br /> 6) "这是一个学生"<br />

    1.3.2.2 模糊搜索

    bash<br /> xxx.xxx.xxx.xxx:0>FT.SEARCH beers "%%张店%%"<br /> 1) "1"<br /> 2) "beer:1"<br /> 3) 1) "name"<br /> 2) "集团本部已发布【文明就餐公约】,2号楼办公人员午餐的就餐时间是11:45~13:00,现经行政服务部进行抽查,发现我们部门有员工违规就餐现象。请大家务必遵守,相互转告,对于外地回到集团办公的同事,亦请遵守,谢谢!"<br /> 3) "org"<br /> 4) "山东省淄博市张店区"<br /> 5) "school"<br /> 6) "山东理工大学"<br />

    别高兴太早全量模糊匹配是由很大限制的,他基于Levenshtein距离(LD)进行模糊匹配。术语的模糊匹配是通过在术语周围加“%”来实现的,模糊匹配的最大LD为3,确切的说这只是一种相识度查询,并非一般意义上的模糊搜索,但是如果仔细观察会发现通过精确匹配时不仅能够将完整value值查询出来而且还查询出其他处于文档某个位置的key请看官方提供的一个例子:
    <br /> FT.CREATE idx SCHEMA txt TEXT<br /> FT.ADD idx docCn 1.0 LANGUAGE chinese FIELDS txt<br />

    Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步,从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。从盘可以有意无意的对数据进行写操作。

    由于完全实现了发布/订阅机制,使得从数据库在任何地方同步树时,可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助。

    ```
    FT.CREATE idx SCHEMA txt TEXT
    FT.ADD idx docCn 1.0 LANGUAGE chinese FIELDS txt "Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步,从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。从盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制,使得从数据库在任何地方同步树时,可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助。[8]"
    FT.SEARCH idx "数据" LANGUAGE chinese HIGHLIGHT SUMMARIZE

    Outputs:

    数据?... 数据进行写操作。由于完全实现了发布... 数据冗余很有帮助。[8...

    <br /> 之所以会出现这样的效果是因为redisearch对文本进行了分词,其使用的工具是friso相比es的ik还是弱一些前者主要是对中文分词,体积小可移植性强。<br /> <br /> 从而我们可以结合后后置匹配算法<br /> <br /> bash
    xxx.xxx.xxx.xxx:0>FT.SEARCH idx "数" LANGUAGE chinese HIGHLIGHT
    1) "1"
    2) "docCn"
    3) 1) "txt"
    2) "Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步,从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。从盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制,使得从数据库在任何地方同步树时,可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助。[8]"

    <br /> <br /> 或者结合Levenshtein算法这样基本上能够满足业务查询需求<br /> <br /> bash
    xxx.xxx.xxx.xxx:0>FT.SEARCH idx "%%单的树%%" LANGUAGE chinese HIGHLIGHT
    1) "1"
    2) "docCn"
    3) 1) "txt"
    2) "Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步,从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层复制。从盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制,使得从数据库在任何地方同步时,可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助。[8]"
    <br /> <br /> 1.3.2.3 字段查询<br /> <br /> 通过字段查询也可以实现模糊搜索,直接给例子,后面跟着官网上给的sql 和 redisearch的对照表<br /> <br /> bash
    ft.search student

    1) "2"
    2) "doudou"
    3) 1) "name"
    2) "豆豆"
    3) "jtzz"
    4) "“检索”是很多产品中"
    5) "phone"
    6) "18563717107"

    4) "ttao"
    5) 1) "name"
    2) "姚元涛"
    3) "jtzz"
    4) "一个生病的人只"
    5) "phone"
    6) "18563717107"

    ft.search student '@phone:185* @name:豆豆'
    1) "1"
    2) "doudou"
    3) 1) "name"
    2) "豆豆"
    3) "jtzz"
    4) "“检索”是很多产品中"
    5) "phone"
    6) "18563717107"
    <br /> <br /> **1.4 删除**<br /> <br /> 1.4.1 删除文档<br /> bash
    xxx.xxx.xxx.xxx:0>ft.del student 002
    "1"
    <br /> <br /> 1.4.3 删除索引<br /> bash
    xxx.xxx.xxx.xxx:0>ft.drop student
    "OK"
    <br /> <br /> **1.5 查看**<br /> <br /> 1.5.1 查看所有索引<br /> bash
    xxx.xxx.xxx.xxx:0>FT._LIST
    1) "student1"
    2) "ttao"
    3) "idx"
    4) "student"
    5) "myidx"
    6) "123"
    7) "myIndex"
    8) "testung"
    9) "student2"
    <br /> <br /> 1.5.2 查看索引文档中的数据<br /> <br /> 1.5.2.1 获取单条数据<br /> <br /> bash
    xxx.xxx.xxx.xxx:0>ft.get student 001
    1) "name"
    2) "张三"
    3) "sex"
    4) "男"
    5) "desc"
    6) "这是一个学生"
    7) "class"
    8) "一班"
    <br /> <br /> 1.5.2.2 获取多条数据<br /> <br /> bash
    xxx.xxx.xxx.xxx:0>ft.mget student 001 002
    1) 1) "name"
    2) "张三"
    3) "sex"
    4) "男"
    5) "desc"
    6) "这是一个学生"
    7) "class"
    8) "一班"

    2) 1) "name"
    2) "张三"
    3) "sex"
    4) "男"
    5) "desc"
    6) "这是一个学生"
    7) "class"
    8) "一班"
    <br /> <br /> **1.6 索引别名操作**<br /> <br /> 1.6.1 添加别名<br /> <br /> bash
    123.232.112.84:0>FT.ALIASADD xs student
    "OK"
    <br /> 给索引student起个xs的别名,一个索引可以起多个别名<br /> <br /> 1.6.2 修改别名<br /> <br /> 1.6.3 删除别名<br /> <br /> bash
    123.232.112.84:0>FT.ALIASDEL xs
    "OK"
    ```

    作者:架构师公众号

    来源:https://mp.weixin.qq.com/s/TmCXx3rLjLPggvOFjGqS9w

    版权申明:内容来源网络,仅供学习研究,版权归原创者所有。如有侵权烦请告知,我们会立即删除并表示歉意。谢谢!

搜索客社区日报 第1828期 (2024-05-30)

社区日报Se7en 发表了文章 • 0 个评论 • 61 次浏览 • 8 小时前 • 来自相关话题

1.GitHub 爆款项目:详解 llama3 实现,已获 8.7k Star!
https://mp.weixin.qq.com/s/JG9sZe-Dm3iFg2BuS4Yk_Q
2.一手体验Suno v3.5版本,生成音乐的门槛再一次被AI拉低了
https://mp.weixin.qq.com/s/Eu9Pe_FE1mJBD4OsrxtiuQ
3.Ahrefs不上云,省下四亿美元
https://mp.weixin.qq.com/s/csQmMrSGg5ukDgS06h8xXw
4.基于大模型LLM + LangChain的知识库检索优化探究
https://blog.csdn.net/qq_51495 ... 81292
5.【硬核科普】从零开始认识显卡
https://www.bilibili.com/video/BV1xE421j7Uv

编辑:Se7en  
更多资讯:http://news.searchkit.cn

搜索客社区日报 第1827期 (2024-05-29)

社区日报kin122 发表了文章 • 0 个评论 • 189 次浏览 • 1 天前 • 来自相关话题

1.在Elasticsearch中如何选择精确和近似的kNN搜索原创
https://cloud.tencent.com/deve ... 21569
2.回顾相关性:平衡关键字和语义搜索
https://blog.csdn.net/UbuntuTo ... 10975
3.如何为 kNN 搜索选择最佳 k 和 num_candidates
https://blog.csdn.net/UbuntuTo ... 90096
4.基于LlamaParse, Langchain 和 Groq,如何实现复杂PDF的RAG
https://medium.com/the-ai-foru ... 1f9f3
5.ElastAlert使用小指南
https://medium.com/%40musabdog ... 32598

编辑:kin122
更多资讯:http://news.searchkit.cn
 

有没有es和大模型结合的案例,入门级别的,求分享

回复

Elasticsearchcaster_QL 发起了问题 • 1 人关注 • 0 个回复 • 369 次浏览 • 2 天前 • 来自相关话题

【搜索客社区日报】第1826期 (2024-05-28)

社区日报God_lockin 发表了文章 • 0 个评论 • 349 次浏览 • 2 天前 • 来自相关话题

1. 网易做日志系统的技术选型以及其中缘故(需要梯子)
https://medium.com/%40ApacheDo ... 0b2d1

2. Ilya 列的AI必修课(论文)清单
https://arc.net/folder/D0472A2 ... A9FEE

3. 把AI相关的文章用AI做成博客的形式,挺有意思的(需要梯子)
https://illuminate.withgoogle.com/home?pli=1

编辑:斯蒂文
更多资讯:http://news.searchkit.cn

[搜索客社区日报】第1825期(2024-05-27)

社区日报Muses 发表了文章 • 0 个评论 • 543 次浏览 • 3 天前 • 来自相关话题

1、Elastic 利用 Elasticsearch 相关性引擎为生成式 AI 模型提供支持(需要梯子)
https://siliconangle.com/2023/ ... gine/
 
2、Azure OpenAI 服务利用 Elasticsearch 扩展“基于您的数据”,彻底改变对话式 AI(需要梯子)
https://techcommunity.microsof ... 97023
 
3、矢量数据库与 Elasticsearch:比较 AI 应用的性能(需要梯子)
https://www.capellasolutions.c ... tions
 
4、RAG 与 Vector Search:携手为 AI 助力(需要梯子)
https://www.capellasolutions.c ... or-ai
 
5、一个完全免费的在线增强和自动裁剪截图工具
https://socialscreenshots.com/

编辑:Muse
更多资讯:http://news.searchkit.cn

xdm这两个有什么区别嘛???

回复

ElasticsearchCharele 发起了问题 • 1 人关注 • 0 个回复 • 607 次浏览 • 4 天前 • 来自相关话题

【搜索客社区日报】 第1824期 (2024-05-24)

社区日报searchkit 发表了文章 • 0 个评论 • 803 次浏览 • 6 天前 • 来自相关话题

1、从企业搜索到 RAG
https://mp.weixin.qq.com/s/BHghJG4IIe6X9J9ththxkw

2、深度解析:Elasticsearch 写入请求处理流程
https://mp.weixin.qq.com/s/hZ_ZOLFUoRuWyqp47hqCgQ

3、基于 LangChain 的 Elasticsearch Agent(需要梯子)
https://medium.com/%40gil.fern ... 17e85

4、基于极限网关实现 ES 容灾方案
https://www.infinilabs.com/blo ... eway/

编辑:Fred
更多资讯:http://news.searchkit.cn

【搜索客社区日报】 第1823期 (2024-05-23)

社区日报Se7en 发表了文章 • 0 个评论 • 936 次浏览 • 2024-05-23 09:40 • 来自相关话题

1.基于火山引擎云搜索的混合搜索实战
https://mp.weixin.qq.com/s/yoTYyrMLBqIQVVm1oi07-A
2.如何跨越 LangChain 应用研发的最后一公里
https://juejin.cn/post/7369620466396758066
3.程序员如何提升个人技术影响力
https://mp.weixin.qq.com/s/6DwN_rLhzHfKE-eg46ec2A
4.MySQL 开源到商业
https://sourl.cn/WXSCzz

编辑:Se7en  
更多资讯:http://news.searchkit.cn

es怎么分析内存问题

ElasticsearchCharele 回复了问题 • 2 人关注 • 6 个回复 • 1220 次浏览 • 6 天前 • 来自相关话题

有没有人用CreateDB啊???

回复

开源项目Charele 发起了问题 • 1 人关注 • 0 个回复 • 1156 次浏览 • 2024-05-21 13:56 • 来自相关话题

【搜索客社区日报】 第1822期 (2024-05-21)

社区日报God_lockin 发表了文章 • 0 个评论 • 1168 次浏览 • 2024-05-21 09:34 • 来自相关话题


1、西瓜书的课后练习
https://github.com/hanmq/Machi ... mSets
2. 一本讲大语言模型的书,中文的
https://github.com/LLMBook-zh/LLMBook-zh.github.io
3. 每天生成HackerNews top帖子的中文摘要
https://www.supertechfans.com/cn/

编辑:斯蒂文
更多资讯:http://news.searchkit.cn
 

【搜索客社区日报】 第1821期 (2024-05-20)

社区日报yuebancanghai 发表了文章 • 0 个评论 • 1254 次浏览 • 2024-05-20 12:08 • 来自相关话题

1、Elasticsearch集群“脑裂”现象
https://blog.csdn.net/qq_60735 ... 26464
2、ElasticSearch源码:Cluster--ClusterState
https://zhuanlan.zhihu.com/p/629394258
3、使用 Ingest Pipeline 来对 Elasticsearch 中数据进行预处理
https://mp.weixin.qq.com/s/1AFNEO25uEkTAF50FYHWIA
 
 
 
编辑:yuebancanghai
更多资讯:http://news.searchkit.cn

Lucene里面关于存储压缩的疑问

回复

LuceneCharele 回复了问题 • 1 人关注 • 4 个回复 • 1412 次浏览 • 2 天前 • 来自相关话题

关于Lucene的正则查询

回复

LuceneCharele 回复了问题 • 1 人关注 • 4 个回复 • 1661 次浏览 • 6 天前 • 来自相关话题