【搜索客社区日报】第1903期 (2024-09-20)
社区日报 • Fred2000 发表了文章 • 0 个评论 • 90 次浏览 • 12 小时前
https://opensearch.org/blog/Ho ... arch/
2、一网打尽!处理 Elasticsearch 中未分配的分片问题(附完整 DSL 示例)
https://mp.weixin.qq.com/s/NUyQk_2LUITJG19YXf1WoQ
3、【老杨玩搜索】2. Easysearch 增删改查 | 从零开始实现页面搜索功能
https://www.bilibili.com/video/BV12M4m1S7H4/
4、RankRAG指令微调框架:让LLM在检索增强任务中更高效
https://mp.weixin.qq.com/s/FqUNHygaCIuQmeLxYRqyHw
5、编程语言之争:Rust 社区活跃开发者 Ed Page 谈 Rust 与 C++ 的未来
https://blog.csdn.net/GOSIM202 ... 36175
编辑:Fred
更多资讯:http://news.searchkit.cn
【第4期】搜索客 Meetup | INIFNI Pizza 网站 SVG 动画这么炫,我教你啊!
活动 • searchkit 发表了文章 • 0 个评论 • 106 次浏览 • 12 小时前
本次 Meetup 活动由 搜索客社区、极限科技(INFINI Labs)联合举办,活动主题将从设计师的角度出发,探讨如何在零编程基础下,借助 ChatGPT 和 SVG,搞定 INIFNI Pizza 首页动效,从设计到实现,探索 AI 的更多玩法。欢迎大家预约报名参加和交流。
活动主题:INIFNI Pizza 网站 SVG 动画这么炫,我教你啊!
活动时间:2024 年 9 月 25 日 19:00-20:00(周三)
活动形式:微信视频号(极限实验室)直播
报名方式:关注或扫码海报中的二维码进行预约
![](https://infinilabs.cn/img/blog ... /1.png)
嘉宾介绍
邹稳安,拥有多年 UI/UE 设计经验。现任极限科技设计团队负责人,负责公司产品、UI 设计,致力于通过设计提升用户体验。
主题摘要
什么?一个设计师,让我干前端的活?
当前端工程师无法及时接手项目时,设计师能否独立完成网页动效?本次 Meetup 将分享设计师如何在零编程基础下,借助 ChatGPT 和 SVG,搞定 INIFNI Pizza 首页动效。从设计到实现,探索 AI 的更多玩法。
![](https://infinilabs.cn/img/blog ... /2.gif)
图:Pizza 官网(https://pizza.rs)首页动画效果
参与有奖
本次直播活动将设有福袋抽奖环节,参与就有机会获得 INFINI Labs 周边纪念品,包括 T 恤、鸭舌帽、咖啡杯、指甲刀套件等等(图片仅供参考,款式、颜色与尺码随机)。
![](https://infinilabs.cn/img/blog ... ts.png)
活动交流
本活动设有 Meetup 技术交流群,可添加小助手微信拉群,与更多小伙伴一起学习交流。
![](https://infinilabs.cn/img/comp ... at.jpg)
Meetup 讲师招募
![](https://infinilabs.cn/img/blog ... ng.png)
搜索客社区 Meetup 的成功举办,离不开社区小伙伴的热情参与。目前社区讲师招募计划也在持续进行中,我们诚挚邀请各位技术大咖、行业精英踊跃提交演讲议题,与大家分享您的经验。
讲师报名链接:[http://cfp.searchkit.cn](http://cfp.searchkit.cn)
或扫描下方二维码,立刻报名成为讲师!
![](https://infinilabs.cn/img/blog ... de.jpg)
Meetup 活动聚焦 AI 与搜索领域的最新动态,以及数据实时搜索分析、向量检索、技术实践与案例分析、日志分析、安全等领域的深度探讨。
我们热切期待您的精彩分享!
往期回顾
- [【第 3 期】搜索客 Meetup | Elasticsearch 的代码结构和写入查询流程的解读 - 下篇](https://infinilabs.cn/blog/2024/searchkit-meetup-3/)
- [【第 2 期】搜索客 Meetup | Elasticsearch 的代码结构和写入查询流程的解读 - 上篇](https://infinilabs.cn/blog/2024/searchkit-meetup-2/)
- [【第 1 期】搜索客 Meetup | Easysearch 结合大模型实现 RAG](https://infinilabs.cn/blog/2024/searchkit-meetup-1/)
关于 搜索客(SearchKit)社区
搜索客社区由 Elasticsearch 中文社区进行全新的品牌升级,以新的 Slogan:“搜索人自己的社区” 为宣言。汇集搜索领域最新动态、精选干货文章、精华讨论、文档资料、翻译与版本发布等,为广大搜索领域从业者提供更为丰富便捷的学习和交流平台。
社区官网:[https://searchkit.cn](https://searchkit.cn) 。
【搜索客社区日报】第1902期 (2024-09-19)
社区日报 • Se7en 发表了文章 • 0 个评论 • 250 次浏览 • 1 天前
https://learn.deeplearning.ai/ ... ideos
2.Qwen2.5感觉成了,热泪眼眶
https://mp.weixin.qq.com/s/nGhkIyelt5OdwSUGx7FQcg
3.SiliconCloud上线Flux.1:文生图比肩MJ v6,免费尝鲜
https://mp.weixin.qq.com/s/zyg3wDPMaLPwac_UYjB6uQ
4.如何在MindSearch中集成新的搜索API,全面提升智能搜索能力!https://mp.weixin.qq.com/s/jCe5ii1TO88tEtsYDOYo9w
编辑:Se7en
更多资讯:http://news.searchkit.cn
【第3期】INFINI Easysearch 免费认证培训开放报名
Easysearch • INFINI Labs 小助手 发表了文章 • 0 个评论 • 1262 次浏览 • 2024-09-13 17:43
探索 Easysearch 的无限可能,与 INFINI Labs 共赴搜索技术前沿!
随着数字化转型的加速,搜索技术已成为企业数据洞察的核心。INFINI Labs 作为搜索创新技术的引领者,诚邀所有对 Easysearch 搜索引擎感兴趣的开发者、技术爱好者及合作伙伴,参加我们即将于 2024 年 10 月 19 日至 20 日举办的第 3 期 Easysearch 线上免费培训活动。这不仅是一场知识的盛宴,更是技能提升的加速器,将助您在职业道路上迈出坚实的一步!
活动亮点
- 系统课程,全面深入:从 Easysearch 的基本概念到环境搭建,再到高级功能的实战应用,INFINI Labs 的技术专家将为您带来全面而深入的讲解,确保每位参与者都能收获满满。
- 实战导向,解决痛点:课程设计紧贴实际需求,旨在帮助学员掌握 Easysearch 的核心技术,有效解决工作中的搜索需求和技术难题,让理论知识迅速转化为实践能力。
- 认证证书,助力进阶:后期 INFINI Labs 将推出 Easysearch 认证考试。通过考试的学员将获得官方认证的 Easysearch 证书,为您的职业发展增添强力背书,开启职业生涯的新篇章。
培训时间
2024 年 10 月 19 日至 20 日(周六、周日)共两天,每天具体培训时间:
- 上午 09:30 ~ 11:30
- 下午 14:00 ~ 16:00
培训内容概览
第一阶段:初识 Easysearch
- Easysearch 环境搭建与对比,了解其与 Elasticsearch 的差异;
- 功能初探:身份验证、数据脱敏、权限控制等,全面掌握 Easysearch 的基础功能;
- 容灾技术:兼容性验证、跨集群复制等,确保您的搜索服务稳定可靠;
第二阶段:Easysearch 高阶使用
- 深度探析:性能压测、数据迁移、请求管理等,提升 Easysearch 的使用效率;
- 高级功能:快照管理、可视化看板、告警功能等,让您的搜索服务更加智能;
- 生态集成:Filebeat、Logstash、LangChain 等,轻松实现 Easysearch 与其他工具的集成;
参与方式
本次活动完全免费,名额有限,请尽快报名,同时微信扫码添加小助手进群(培训会议地址将在微信群公布),锁定您的学习席位!
扫码或点击 [我要报名](https://hdxu.cn/Qo9UJ)
![报名](https://infinilabs.cn/img/blog ... up.jpg)
👉 立即行动:不要错过这次提升自我、与行业精英共成长的宝贵机会。让我们相聚云端,共同探索 Easysearch 的无限可能,开启技术进阶的新篇章!
参会提示
- 培训内容涉及动手实践,请务必自备电脑(Windows 系统环境请提前安装好 Linux 虚拟机);
- 请提前在 INFINI Labs 官网下载对应平台最新安装包(INFINI Easysearch、INFINI Gateway、INFINI Console);
- 下载地址:[https://infinilabs.cn/download](https://infinilabs.cn/download)
联系我们
如有任何疑问,欢迎通过微信添加 [小助手:INFINI-Labs] 与我们联系。
INFINI Labs 期待与您相约,共赴这场技术盛宴!
关于 Easysearch
![Easysearch](https://infinilabs.cn/img/blog ... er.png)
Easysearch 是一个分布式的近实时搜索与分析引擎,基于开源的 Apache Lucene 构建。它旨在提供一个自主可控、轻量级的 Elasticsearch 可替代版本,并不断完善和支持更多的企业级功能。与 Elasticsearch 相比,Easysearch 更注重搜索业务场景的优化,同时保持其产品的简洁与易用性。
详情参见:[Easysearch 介绍](https://infinilabs.cn/products/easysearch)
关于极限科技(INFINI Labs)
![INFINI Labs](https://infinilabs.cn/img/blog ... bs.png)
极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。
极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。
官网:[https://infinilabs.cn](https://infinilabs.cn)
【搜索客社区日报】第1901期 (2024-09-13)
社区日报 • Fred2000 发表了文章 • 0 个评论 • 1317 次浏览 • 2024-09-13 17:13
https://mp.weixin.qq.com/s/O7JjH182dyIP7bgSaYomBg
2、RankRAG 指令微调框架:让 LLM 在检索增强任务中更高效
https://mp.weixin.qq.com/s/FqUNHygaCIuQmeLxYRqyHw
3、如何用 Scrapy 爬取网站数据并在 Easysearch 中进行存储检索分析
https://mp.weixin.qq.com/s/8M0a3NbLvRJNyAepp1N_hA
4、【老杨玩搜索】1.Easysearch 安装 | 从零开始实现页面搜索功能
https://mp.weixin.qq.com/s/utLpCdaonOjpMucQ-k7CgA
编辑:Fred
更多资讯:http://news.searchkit.cn
如何用 Scrapy 爬取网站数据并在 Easysearch 中进行存储检索分析
Easysearch • INFINI Labs 小助手 发表了文章 • 0 个评论 • 1303 次浏览 • 2024-09-13 12:28
![](https://infinilabs.cn/img/blog ... bg.png)
做过数据分析和爬虫程序的小伙伴想必对 Scrapy 这个爬虫框架已经很熟悉了。今天给大家介绍下,如何基于 Scrapy 快速编写一个爬虫程序并利用 Easysearch 储存、检索、分析爬取的数据。我们以极限科技的官网 Blog 为数据源([https://infinilabs.cn/blog](https://infinilabs.cn/blog)) ,做下实操演示。
1、安装 scrapy
使用 Scrapy 可以快速构建一个爬虫项目,从目标网站中获取所需的数据,并进行后续的处理和分析。
```python
pip install scrapy
新建项目 infini_spiders
scrapy startproject infini_spiders
初始化爬虫
cd infini_spiders/spiders
scrapy genspider blog infinilabs.cn
```
2、爬虫编写
编写一个爬虫文件 blog.py ,它会首先访问 start_urls 指定的地址,将结果发给 parse 函数解析。通过这一步解析,我们得到了每一篇博客的地址。然后我们对每个博客的地址发送请求,将结果发给 parse_blog 函数进行解析,在这里才会真正提取每篇博客的 title、tag、url、date、content 内容。
python<br /> from typing import Any, Iterable<br /> import scrapy<br /> from bs4 import BeautifulSoup<br /> from scrapy.http import Response<br /> <br /> class BlogSpider(scrapy.Spider):<br /> name = "blog"<br /> allowed_domains = ["infinilabs.cn"]<br /> start_urls = ["<a href="https://infinilabs.cn/blog/"" rel="nofollow" target="_blank">https://infinilabs.cn/blog/"</a>]<br /> <br /> def parse(self, response):<br /> links = response.css("div.blogs a")<br /> yield from response.follow_all(links, self.parse_blog)<br /> <br /> def parse_blog(self, response):<br /> title = response.xpath('//div[@class="title"]/text()').extract_first()<br /> tags = response.xpath('//div[@class="tags"]/div[@class="tag"]/text()').extract()<br /> url = response.url<br /> author = response.xpath('//div[@class="logo"]/div[@class="name"]//text()').extract_first()<br /> date = response.xpath('//div[@class="date"]/text()').extract_first()<br /> all_text = response.xpath('//p//text() | //h3/text() | //h2/text() | //h4/text() | //ol/li//text()').extract()<br /> content = '\n'.join(all_text)<br /> <br /> yield {<br /> 'title': title,<br /> 'tags': tags,<br /> 'url': url,<br /> 'author': author,<br /> 'date': date,<br /> 'content': content<br /> }<br />
提取完我们想要的内容后,接下来就要考虑存储了。考虑到要对内容进行检索、分析,接下来我们将内容直接存放到 Easysearch 当中。
3、安装插件
通过安装 ScrapyElasticsearch pipeline 可将 scrapy 爬取的内容存入到 Easysearch 中。
python<br /> pip install ScrapyElasticSearch<br />
修改 scrapy 自带的配置文件 settings.py ,添加以下内容。
python<br /> ITEM_PIPELINES = {<br /> 'scrapyelasticsearch.scrapyelasticsearch.ElasticSearchPipeline': 10<br /> }<br /> <br /> ELASTICSEARCH_SERVERS = ['http://192.168.56.3:9210']<br /> ELASTICSEARCH_INDEX = 'scrapy'<br /> ELASTICSEARCH_INDEX_DATE_FORMAT = '%Y-%m-%d'<br /> ELASTICSEARCH_TYPE = '_doc'<br /> ELASTICSEARCH_USERNAME = 'admin'<br /> ELASTICSEARCH_PASSWORD = '9423d1d5345ed6d0db19'<br />
ScrapyElasticSearch 会以 bulk 方式写入 Easysearch,每次批量的大小由 scrapyelasticsearch.scrapyelasticsearch.ElasticSearchPipeline 参数控制,大家可自行修改。
在上述配置中,我们会将爬到的数据存放到 scrapy-yyyy-mm-dd 索引中。
4、启动爬虫
在 infini_spiders/spiders 目录下,使用命令启动爬虫。
bash<br /> scrapy crawl blog<br />
blog 就是爬虫的名字,对应到 blog.py 里面的 name 变量。运行完成后,就可以去 Easysearch 里查看数据了,当然我们还是使用 Console 进行查看。
5、查看数据
先查看下索引情况,scrapy 索引已经生成,里面有 129 篇博客。
![](https://infinilabs.cn/img/blog ... /1.png)
查看详细内容,确保博客正文已经保存。
![](https://infinilabs.cn/img/blog ... /2.png)
到了这一步,我们就能使用 [Console](https://infinilabs.cn/products/console) 对博客进行搜索、分析了。
![](https://infinilabs.cn/img/blog ... /3.png)
![](https://infinilabs.cn/img/blog ... /4.png)
6、结语
这次的分享就到这里了。欢迎与我一起交流 ES 的各种问题和解决方案。
![](https://infinilabs.cn/img/blog ... gf.png)
关于 Easysearch
![](https://infinilabs.cn/img/blog ... er.png)
INFINI Easysearch 是一个分布式的近实时搜索与分析引擎,核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本,并继续完善和支持更多的企业级功能。 与 Elasticsearch 相比,Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。
官网文档:<https://infinilabs.cn/docs/latest/easysearch>
作者:杨帆
原文:https://infinilabs.cn/blog/202 ... arch/
搜索客社区日报 第1899期 (2024-09-11)
社区日报 • kin122 发表了文章 • 0 个评论 • 1633 次浏览 • 2024-09-11 13:37
https://mp.weixin.qq.com/s/dGgPK5tKECrF33kziSbKuQ
2.在 Elastic 8.15 中使用最少的代码快速构建 RAG
https://blog.csdn.net/UbuntuTo ... 25165
3.RAG LLM 最佳实践(搭梯)
https://medium.com/israeli-tec ... 1201f
编辑:kin122
更多资讯:http://news.searchkit.cn
【搜索客社区日报】第1898期 (2024-09-10)
社区日报 • God_lockin 发表了文章 • 0 个评论 • 1815 次浏览 • 2024-09-10 08:23
1. 用够浪+redis+es搭的实时告警…很强(需要梯子)
https://levelup.gitconnected.c ... c9cef
2. 日志处理里ES是最好的选择吗?(需要梯子)
https://medium.com/%40greptime ... e690e
3. 给你的程序配一个搜索引擎需要多久?最多45分钟!(需要梯子)
https://medium.com/%40danielre ... 45761
编辑:斯蒂文
更多资讯:http://news.searchkit.cn
【搜索客社区日报】第1897期 (2024-09-09)
社区日报 • Muses 发表了文章 • 0 个评论 • 1914 次浏览 • 2024-09-09 15:43
https://mp.weixin.qq.com/s/_j1gpz_rNVO8-V1JPwvOgA
2. 基于 INFINI Pizza 为 Hugo 静态站点添加搜索功能
https://infinilabs.cn/blog/202 ... izza/
3. 搜索引擎原理解析:从0开始实现一个搜索引擎
https://cloud.tencent.com/deve ... 72543
4. 利用MongoDB进行数据治理,防范构建生成式AI应用程序时的潜在安全风险
https://www.modb.pro/db/182607 ... x_hot
5. 一篇文章让你彻底掌握 Shell
https://mp.weixin.qq.com/s/GmSqHJiBToncvcpFAJUZbw
编辑:Muse
更多资讯:http://news.searchkit.cn
【搜索客社区日报】第1896期 (2024-09-06)
社区日报 • Fred2000 发表了文章 • 0 个评论 • 1907 次浏览 • 2024-09-09 15:31
https://www.mongodb.com/zh-cn/ ... arch/
2、Elasticsearch 8 让企业更快更好地落地 RAG 应用
https://mp.weixin.qq.com/s/smR2Q_HarUFA4pSCoN8tNA
3、OpenSearch:通过并发段搜索提高矢量搜索性能
https://opensearch.org/blog/bo ... -css/
4、多模态大型语言模型 (LLM) 的工作原理
https://mp.weixin.qq.com/s/1qYuYa-L53M9WwfvHNvl_Q
编辑:Fred
更多资讯:http://news.searchkit.cn
【搜索客社区日报】第1895期 (2024-09-05)
社区日报 • Se7en 发表了文章 • 0 个评论 • 2624 次浏览 • 2024-09-05 13:41
https://mp.weixin.qq.com/s/qosGdlMJO_w2Ge3i0hdHlA
2.深入体验全新 Cursor AI IDE 后,说杀疯了真不为过!
https://mp.weixin.qq.com/s/CnKMYjpn3YeoHYpoZ7iGIw
3.KubeCon China 回顾|快手的 100% 资源利用率提升:从裸机迁移大规模 Redis 到 Kubernetes
https://mp.weixin.qq.com/s/UGqzq1L2Hu1PjF3Y08XT5Q
编辑:Se7en
更多资讯:http://news.searchkit.cn
搜索客社区日报 第1894期 (2024-09-04)
社区日报 • kin122 发表了文章 • 0 个评论 • 2813 次浏览 • 2024-09-04 11:13
https://zhuanlan.zhihu.com/p/714675735
2.时隔3年重新开源,这些 ElasticSearch 应用技能运维必会?
https://mp.weixin.qq.com/s/vGbH-rkurt2ydRBPiVrC4w
3.Elasticsearch 回顾:向量搜索创新的时间线
https://blog.csdn.net/UbuntuTo ... 68994
编辑:kin122
更多资讯:http://news.searchkit.cn
_reindex时怎样判断当目标记录中某个字段值大于原记录字段时跳过不更新?
回复Elasticsearch • wangxinrong 发起了问题 • 1 人关注 • 0 个回复 • 2885 次浏览 • 2024-09-03 22:29
【搜索客社区日报】第1893期 (2024-09-03)
社区日报 • God_lockin 发表了文章 • 0 个评论 • 2972 次浏览 • 2024-09-03 09:24
https://medium.com/%40imriqwe/ ... f7622
2. ES里的搜索上下文和filter上下文是啥?(需要梯子)
https://mahajanjatin-14.medium ... d31de
3. 来来来,老司机教你几步解决未分配的分片(需要梯子)
https://medium.com/%40yago82/a ... 33d9d
编辑:斯蒂文
更多资讯:http://news.searchkit.cn
【搜索客社区日报】第1892期 (2024-09-02)
社区日报 • Muses 发表了文章 • 0 个评论 • 3082 次浏览 • 2024-09-02 16:49
https://blog.csdn.net/tMb8Z9Vd ... 61894
2. 【2024年8月】盘点国内可用的 Web Search API,仅此一家 —— 博查AI搜索,可平替Bing Search API
https://blog.csdn.net/cxk19980 ... 19049
3. 8月数据库圈值得关注的事 | 2024
https://tech.it168.com/a2024/0 ... shtml
4. 欢迎来到 AI 中心新时代——Arista EOS 系统助力构建强大的 AI 网络
https://www.bytebt.cn/bytebrid ... .html
5. 从RAG到TAG:探索AI与数据库的完美结合
https://mp.weixin.qq.com/s/o8sR4YYx71xh-IW9D00FzA
编辑:Muse
更多资讯:http://news.searchkit.cn