Q:有两个人掉到陷阱里了,死的人叫死人,活人叫什么?

搜索客社区日报 第1774期 (2024-01-17)

社区日报kin122 发表了文章 • 0 个评论 • 2247 次浏览 • 2024-01-17 14:17 • 来自相关话题

1.大白话讲清楚:什么是 Langchain 及其核心概念
https://mp.weixin.qq.com/s/7Ccflrl_AJoExAVTIc5r0A
2.Langchain 与 Elasticsearch:创新数据检索的融合实战
https://mp.weixin.qq.com/s/km4qRRuG65aieArB2s27iA
3.Elasticsearch:是时候离开了! - 在 Elasticsearch 文档上使用 TTL
https://blog.csdn.net/UbuntuTo ... 52898


编辑:kin122
更多资讯:http://news.searchkit.cn

【搜索客社区日报】第1773期 (2024-01-16)

社区日报God_lockin 发表了文章 • 0 个评论 • 2239 次浏览 • 2024-01-16 16:43 • 来自相关话题

1. 通过做项目来学习编程语言的教程(需要梯子)
https://github.com/practical-t ... rning
2. 一个可以突破ChatGPT一些限制使用的工程(需要梯子)
https://github.com/pandora-next/deploy
3. 阿里出的AI换脸工具,理论上妙鸭就是以它做核心的(需要梯子)
https://github.com/modelscope/facechain

编辑:斯蒂文
更多资讯:http://news.searchkit.cn
星球:https://t.zsxq.com/16RgqrvdZ
 

【INFINI 动手实战训练营-北京站】海量数据不再头疼,使用 Easysearch 来实现降本增效,硬件直接减半

Easysearchliaosy 发表了文章 • 0 个评论 • 2260 次浏览 • 2024-01-16 00:44 • 来自相关话题

Workshop.png



您是否遇到过以下问题?

  • 当前部分原始日志压缩归档存放到 HDFS,但不能直接灵活查询;
  • 使用 Elasticsearch 存储日志,开销较大,硬件资源投入较高;
  • 当前日志集群不断增长,存储接近 PB 量级,且还在不断接入新的数据;
  • 希望降低日志保留成本,同时满足按需查询的需求,平衡性能和成本;
  • 集群规模大,分片过多,管理存在挑战,希望降低维护成本等。

    针对使用 Elasticsearch 来作为日志存储的以上痛点,INFINI Labs 推出的 Easysearch 提供了若干存储优化的解决方案:

  • 优化措施一:集成高效压缩算法
    Easysearch 采用业界最先进的 Zstd 压缩算法,高压缩率,低 CPU 消耗,针对 Doc Values、Store 字段进行高度无缝压缩,不影响正常的使用体验,可以降低 50% 的存储开销。
  • 优化措施二:无缝去除 Source 字段
    Easysearch 利用 DocValues 和 BKD Tree 来重建 Source,合并冗余存储,不影响日志的正常检索和查看,可以大幅降低存储需求,在一些指标场景,甚至可以降低 80% 的存储开销。
  • 优化措施三:归档数据直接检索
    您是否还在通过关闭索引来降低海量数据带来的集群压力,或者您是否已经将快照备份直接放到 S3 或者 HDFS 中了,现在通过 Easysearch 提供的归档数据的直接检索能力,可以进一步释放本地节点的磁盘空间,进而释放物理机器资源,并根据需要按需查询归档索引,而不需要恢复归档再查询,简单方便。

    通过以上优化举措,我们可以用不到一半的机器即可承载原有的数据,并且结合 Easysearch 内置其它的内核优化,索引和查询性能也将大幅提升,同时集群更加稳定可靠。

    快来与 INFINI Labs 的技术专家面对面,第一时间了解极限实验室的发布最新产品和功能特性,通过动手实战,快速掌握最前沿的搜索技术,并用于实际项目中。活动免费,欢迎报名参加。

    活动时间:2024 年 1 月 18 日 13:30~17:30
    活动地点:北京市海淀区 Wework 辉煌时代大厦 3 楼 3E 会议室

    分享议题

  • Easysearch 总体介绍及搭建实战
  • Easysearch 存储优化原理与实践
  • Elasticsearch -> Easysearch 在线迁移实操
  • Console、Gateway、Loadgen 及 INFINI Labs 其他工具介绍与使用

    参会提示

  • 请务必自备电脑(Windows 系统环境请提前安装好 Linux 虚拟机)
  • 请提前在 INFINI Labs 官网下载对应平台最新安装包(INFINI Easysearch、INFINI Gateway、INFINI Console)
  • 下载地址:[https://www.infinilabs.com/download](https://www.infinilabs.com/download)
  • 如有任何疑问可添加 INFINI Labs 小助手(微信号: INFINI-Labs)进行联系

    ![微信号: INFINI-Labs](https://www.infinilabs.com/img ... de.png)

    活动报名

    名额有限,对 Easysearch 搜索引擎感兴趣的朋友们速度报名(扫描海报中二维码或点击此处 [链接](https://www.huodongxing.com/event/6733634533000) 即可免费报名)。

    20231214-095304-qrcode.jpg



请问基于es数组进行query_string查询时,如何在highlight中返回最佳匹配的数据?

ElasticsearchOmbres 回复了问题 • 2 人关注 • 2 个回复 • 2296 次浏览 • 2024-01-17 13:37 • 来自相关话题

对于update操作多,更新频繁的es索引,有没有什么可以性能调优的参数?

Elasticsearchkin122 回复了问题 • 3 人关注 • 1 个回复 • 2602 次浏览 • 2024-01-17 14:20 • 来自相关话题

【搜索客社区日报】 第1772期 (2024-01-15)

社区日报yuebancanghai 发表了文章 • 0 个评论 • 1694 次浏览 • 2024-01-15 09:59 • 来自相关话题

1. Elasticsearch 轻量级搜索中台实践--Alpha
https://mp.weixin.qq.com/s/SszyZ2Pjs6nuw0bpPyJRhA
2、Elasticsearch 读写原理、分片设计和性能优化
https://blog.csdn.net/huaxinzh ... 72294
3、Elasticsearch 跨集群数据迁移
https://blog.csdn.net/weixin_3 ... 68168
4、Elasticsearch 中实现自动完成功能 ngram
https://zhuanlan.zhihu.com/p/666108050
5、Langchain 与 Elasticsearch:创新数据检索的融合实战
https://mp.weixin.qq.com/s/km4qRRuG65aieArB2s27iA

编辑:yuebancanghai
更多资讯:http://news.searchkit.cn

ES数据备份还原的新集群首次查询慢

ElasticsearchCharele 回复了问题 • 2 人关注 • 2 个回复 • 2314 次浏览 • 2024-03-25 18:45 • 来自相关话题

【搜索客社区日报】第1771期 (2024-01-11)

社区日报Se7en 发表了文章 • 0 个评论 • 2579 次浏览 • 2024-01-11 09:12 • 来自相关话题

1.如何用 KubeBlocks 一键轻松拉起 AIGC 基础设施?
https://juejin.cn/post/7286508785104732194
2.Elasticsearch 大型集群状态 – 如何发现、解决和预防
https://opster.com/guides/elas ... rtem/
3.ElasticON EMEA:基于eBPF开箱即用的实时全栈分析(需要梯子)
https://www.youtube.com/watch?v=RCDARiYJMDQ

编辑:Se7en  
更多资讯:http://news.searchkit.cn

【搜索客社区日报】第1770期 (2024-01-09)

社区日报God_lockin 发表了文章 • 2 个评论 • 2074 次浏览 • 2024-01-10 23:31 • 来自相关话题

1. 来一手实时数据pipeline吗兄弟(需要梯子)
https://medium.com/simform-eng ... 8174f
2. 用ELK alert让你的系统监控更猴赛雷(需要梯子)
https://medium.com/%40aspirin4 ... 94461
3. 官方的GPT store还没出之前,可以用这个先凑合一下(需要梯子)
https://gptstore.ai/gpts
编辑:斯蒂文
更多资讯:http://news.searchkit.cn
 

filebeat采集mysql的slowlog时, 缺少 use [schema] 行时, 怎么从历史行中继承字段值?

回复

Beatstithonus 发起了问题 • 1 人关注 • 0 个回复 • 2504 次浏览 • 2024-01-10 12:14 • 来自相关话题

【搜索客社区日报】第1769期 (2024-01-05)

社区日报laoyang360 发表了文章 • 0 个评论 • 2785 次浏览 • 2024-01-05 15:41 • 来自相关话题


1、一个Elasticsearch 监控 vue 客户端(昨天还在更新)

https://github.com/cars10/elasticvue


2、Elasticsearch 系统设计小抄

https://betterprogramming.pub/ ... 60463

https://towardsdatascience.com ... ebfff

3、CKibana——为了能够在原生kibana上直接使用ElasticSearch语法查询ClickHouse的服务

https://github.com/TongchengOpenSource/ckibana

4、从 Elasticsearch 7.17 迁移到 Elasticsearch 8.x:陷阱和经验教训

https://engineering.zalando.co ... .html
编辑:铭毅天下 
更多资讯:http://news.searchkit.cn

【搜索客社区日报】第1768期 (2024-01-04)

社区日报Se7en 发表了文章 • 0 个评论 • 2585 次浏览 • 2024-01-04 09:43 • 来自相关话题

1.GitHub 数据库 15 年进化史:幕后英雄如何成就 Copilot 传奇
https://mp.weixin.qq.com/s/cBtvP5Cuehb6rxW_4N3yjg
2.为德语维基百科文章建立索引以进行矢量搜索
https://spinscale.de/posts/202 ... .html
3.搜索含义
https://nb.karmi.cz/semantic-s ... arch/
4.写给工程师的 MacBook 商用级大模型知识库部署方案
https://mp.weixin.qq.com/s/43tPQui6i-WgLvuxlHWLsg

编辑:Se7en  
更多资讯:http://news.searchkit.cn

搜索客社区日报 第1767期 (2024-01-03)

社区日报kin122 发表了文章 • 0 个评论 • 2241 次浏览 • 2024-01-03 23:23 • 来自相关话题

1.Manticore:一个经典的可以替代Elasticsearch的c++版本
https://manticoresearch.com/bl ... arch/
2.Elasticsearch:在不停机的情况下优化 Elasticsearch Reindex
https://blog.csdn.net/UbuntuTo ... 36303
3.Lucene编码与压缩算法
https://zhuanlan.zhihu.com/p/528406513



编辑:kin122
更多资讯:http://news.searchkit.cn

【搜索客社区日报】第1766期 (2024-01-02)

社区日报God_lockin 发表了文章 • 0 个评论 • 2507 次浏览 • 2024-01-02 13:28 • 来自相关话题


2024新年快乐!
1. 抱脸出的NLP教程(需要梯子)
https://huggingface.co/learn/nlp-course
2. 2023 AI 大事记(需要梯子)
https://journal.everypixel.com/2023-the-year-of-ai
3. AI 领域的当红炸子鸡们(需要梯子)
https://writerbuddy.ai/blog/ai-industry-analysis
编辑:斯蒂文
更多资讯:http://news.searchkit.cn
 

INFINI Labs 产品更新 | Console 数据迁移支持 Percentiles 均匀分区

资讯动态liaosy 发表了文章 • 0 个评论 • 2663 次浏览 • 2023-12-30 16:25 • 来自相关话题

![release](https://www.infinilabs.com/img ... er.png)

INFINI Labs 产品又更新啦~,包括 Console v1.14.0,Gateway 1.21.0。其中 Console 数据迁移支持 Percentiles 均匀分区,修复已知 Bug 等。以下是本次更新的详细说明。

INFINI Console v1.14.0


INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管, 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验: <http://demo.infini.cloud>; (用户名/密码:readonly/readonly)。

Console 本次更新如下:

Features


  • 数据迁移支持 decimal 类型分区设置
  • 数据迁移支持 number 类型均匀分区

    Bug fix


  • 修复告警恢复后,新周期内没有发送告警通知消息的问题

    INFINI Gateway v1.21.0


    INFINI Gateway 是一个面向搜索场景的高性能数据网关,所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

    Gateway 本次更新如下:

    Bug fix


  • fix log error when temp file was missing

    INFINI Framework


    INFINI Framework 是 INFINI Labs 各产品依赖的内部核心公共代码库。

    Framework 本次更新如下:

  • feat: support even partition
  • feat: support nested object
  • fix log error when temp file was missing

    期待反馈


    欢迎下载体验使用,如果您在使用过程中遇到如何疑问或者问题,欢迎前往 INFINI Labs Github(<https://github.com/infinilabs>;) 中的对应项目中提交 Feature Request 或提交 Bug。

  • 下载地址: <https://www.infinilabs.com/download>;

    您还可以通过邮件联系我们:hello@infini.ltd

    或者拨打我们的热线电话:(+86) 400-139-9200

    欢迎加入 Discord 聊天室:<https://discord.gg/4tKTMkkvVX>;

    也欢迎大家微信扫码添加小助手(INFINI-Labs),加入用户群一起讨论交流。

    ![联系我们](https://www.infinilabs.com/img ... ew.jpg)

    关于极限科技(INFINI Labs)


    ![INFINI Labs](https://www.infinilabs.com/img ... bs.png)

    极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

    极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

    官网:<https://www.infinilabs.com>;