es query and fetch 2个操作数据可能不一致问题
Elasticsearch • Charele 回复了问题 • 2 人关注 • 1 个回复 • 4070 次浏览 • 2024-05-06 13:19
INFINI Labs 产品更新 | Console 1.24.0 操作日志审计功能发布
资讯动态 • liaosy 发表了文章 • 0 个评论 • 3768 次浏览 • 2024-04-28 12:51

INFINI Labs 产品又更新啦~,包括 Console,Gateway 1.24.0。本次各产品更新了很多亮点功能,如 Console 增加操作日志审计功能,优化数据探索字段统计,修复 Gateway 增加认证后添加实例失败等问题。以下是本次更新的详细说明。
INFINI Console v1.24.0
INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管, 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。
Console 在线体验: <http://demo.infini.cloud> (用户名/密码:readonly/readonly)。
Console 本次更新如下:
Features
- 用户操作审计日志功能
- 新增告警规则克隆一键克隆功能,简化重复类型告警的创建
Bug fix
- 修复普通用户权限 403 问题
- 修复探针管理表格展开显示错位问题
Improvements
- 优化开发工具集群选择控件显示位置
- 优化数据探索查询控件显示宽度
- 优化数据探索字段统计功能
- 优化告警规则列表页搜索,支持远程搜索
- Discover 左侧字段聚合支持开关控制拉取本地或远程统计值
INFINI Gateway v1.24.0
INFINI Gateway 是一个面向搜索场景的高性能数据网关,所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。
Gateway 本次更新如下:
Improvements
- Refactoring http client tls config
- Write field routing to bulk metadata when field _routing exists in scrolled doc
Bug fix
- Fix(reshuffle filter): make sure queue config always have label type
- Fix rotate config usage
INFINI Framework
Improvements
- feat: allow to use default auth for agent’s auto enroll
- refactor: refactor func GetFieldCaps
- feat: register background job to clean up badger LSM tree
- fix: skip load missing wal
期待反馈
欢迎下载体验使用,如果您在使用过程中遇到如何疑问或者问题,欢迎前往 INFINI Labs Github(<https://github.com/infinilabs>) 中的对应项目中提交 Feature Request 或提交 Bug。
- 下载地址: <https://www.infinilabs.cn/download>
您还可以通过邮件联系我们:hello@infini.ltd
或者拨打我们的热线电话:(+86) 400-139-9200
欢迎加入 Discord 聊天室:<https://discord.gg/4tKTMkkvVX>
也欢迎大家微信扫码添加小助手(INFINI-Labs),加入用户群一起讨论交流。

关于极限科技(INFINI Labs)

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。
极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。
官网:<https://www.infinilabs.cn>
【搜索客社区日报】第1810期 (2024-04-16)
社区日报 • God_lockin 发表了文章 • 0 个评论 • 3790 次浏览 • 2024-04-25 16:59
1. 数据分析?一套elk全搞定(需要梯子)
https://medium.com/%40maiconsp ... ef63c
1. 一个可以生成包括歌曲、演讲、脱口秀在内的各种声音内容的AI平台
https://www.udio.com/
1. 世界主流VPS的测评
https://bigdata.icu/tools/vps.html#lisahost
编辑:斯蒂文
更多资讯:http://news.searchkit.cn
【搜索客社区日报】第1814期 (2024-04-25)
社区日报 • Se7en 发表了文章 • 0 个评论 • 3433 次浏览 • 2024-04-25 10:46
https://mp.weixin.qq.com/s/mz-MB7abcYKKbIXoGxnAHQ
2.在 Amazon EKS 上部署生成式 AI 模型
https://aws.amazon.com/cn/blog ... -eks/
3.NLP与LLMs: 了解差异
https://www.elastic.co/blog/nlp-vs-llms
4.Meta超大规模AI智算基础设施架构设计
https://mp.weixin.qq.com/s/aME8ltsRKyYGXfYZyATyxw
编辑:Se7en
更多资讯:http://news.searchkit.cn
【搜索客社区日报】第1813期 (2024-04-23)
社区日报 • God_lockin 发表了文章 • 0 个评论 • 3905 次浏览 • 2024-04-23 18:55
https://www.youtube.com/@mapsinanutshell
2. LLM 竞技场,各项任务中大语言模型的世界排名
https://chat.lmsys.org/?leaderboard
3. 热门图像生成相关论文
https://latentbox.com/zh/docs
编辑:斯蒂文
更多资讯:http://news.searchkit.cn
【搜索客社区日报】 第1812期 (2024-04-22)
社区日报 • yuebancanghai 发表了文章 • 0 个评论 • 3437 次浏览 • 2024-04-22 10:31
https://mp.weixin.qq.com/s/hIt4KYJ9CXwfic1Sm-4UKw
2、使用ElasticSearch完成大模型+本地知识库
https://blog.csdn.net/weixin_5 ... 59865
3、elasticsearch数据迁移之elasticdump
https://blog.csdn.net/weixin_5 ... 16838
编辑:yuebancanghai
更多资讯:http://news.searchkit.cn
【搜索客社区日报】第1811期 (2024-04-18)
社区日报 • Se7en 发表了文章 • 0 个评论 • 4230 次浏览 • 2024-04-18 10:16
https://www.elastic.co/blog/el ... ource
2.使用 LLM 在本地计算机上运行的 Ollama Llama2 和 LlamaIndex 构建 RAG 应用程序(需要梯子)
https://medium.com/rahasak/bui ... 3db20
3.Rerank,让RAG更近一步
https://mp.weixin.qq.com/s/UxIZwR2w5Hcp-RecsgnckA
4.LlamaIndex 与 LangChain: 了解主要区别
https://datasciencedojo.com/bl ... hain/
编辑:Se7en
更多资讯:http://news.searchkit.cn
【搜索客社区日报】 第1809期 (2024-04-15)
社区日报 • yuebancanghai 发表了文章 • 0 个评论 • 4529 次浏览 • 2024-04-15 13:29
https://mp.weixin.qq.com/s/gPQjsSkPsdbjADyXb0YHnA
2、Elasticsearch数据写入、检索流程及底层原理全方位解析
https://blog.csdn.net/qq_26664 ... 51618
3、Elasticsearch集群规模和容量规划的底层逻辑
https://cloud.tencent.com/deve ... 06001
编辑:yuebancanghai
更多资讯:http://news.searchkit.cn
回顾DTC2024大会——聚焦数据技术创新:极限科技创始人曾勇揭秘下一代纯实时搜索引擎 INFINI Pizza
资讯动态 • liaosy 发表了文章 • 0 个评论 • 5062 次浏览 • 2024-04-13 21:54
2024年4月12日至13日,备受瞩目的第十三届“数据技术嘉年华”(DTC2024)在北京新云南皇冠假日酒店盛大开幕。本次大会由中国DBA联盟(ACDU)与墨天轮社区联合主办,以“智能·云原生·一体化——DB与AI协同创新,模型与架构融合发展”为主题,旨在推动数据技术的创新与发展,为从业者带来一场知识与技术的盛宴。
在为期两天的活动中,来自业界的80余位杰出技术领袖、学术精英、行业实践者以及生态布道者齐聚一堂,共同探讨数据技术的最新趋势、前沿应用与创新实践。与会者们分享了他们对于智能云原生和一体化发展的深刻见解,以及DB与AI如何协同创新,推动模型与架构的融合发展。
大会现场,极限科技创始人曾勇带来了令人瞩目的演讲,他详细介绍了下一代纯实时搜索引擎 INFINI Pizza。曾勇表示,随着大数据时代的到来,数据的实时处理与搜索成为了行业发展的重要方向。而 INFINI Pizza 正是为了满足这一需求而诞生的创新产品,它采用了先进的设计理念和架构实现,通过自有专利解决海量数据无限伸缩的需求,利用最新的算法和数据结构来充分释放现代硬件的威力,能够实现高效、准确的实时数据搜索能力,满足核心业务场景高并发低延迟的需求,为企业提供可靠稳定的实时搜索基础底座。
部分演讲内容
完整演讲内容请查看 [PPT](https://elasticsearch.cn/slides/323)。
关于极限科技(INFINI Labs)

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。
极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。
官网:<https://www.infinilabs.com>

从 Redis 开源协议变更到 ES 国产化:一次技术自主的机遇
Easysearch • Muses 发表了文章 • 0 个评论 • 5433 次浏览 • 2024-04-11 16:05
引言
近日,Redis Labs 宣布其主导的开源项目 Redis 将采用双重源代码可用许可证(RSALv2)和服务器端公共许可证(SSPLv1)。这一重大决策标志着 Redis 从传统的 BSD 许可证向更加严格的控制权转变,同时也引发了广泛的社区和行业讨论。这不仅是一个关于许可证变更的故事,更是关于开源社区如何响应,以及这一变化如何激发对国产技术探索和发展的深刻思考。Redis,作为最受欢迎的开源键值存储数据库之一,其开源协议的变更反映了开源软件在商业化道路上的挑战和压力。Redis Labs 的 CEO Rowan Trollope 指出,这一变化旨在防止云服务提供商免费使用 Redis 代码,同时促进 Redis 社区的可持续发展和创新。

Redis 协议变更的深远影响
Redis 决定放弃 BSD 协议,转而采用双重源代码可用许可证(RSALv2 和 SSPLv1),标志着开源界的一个重要转折点。这一变化不仅影响了 Redis 本身,更引发了社区成员和技术行业的激烈讨论,许多人担心这将限制 Redis 的开源精神和广泛应用。然而,也有声音认为,这为其他开源项目,如 KeyDB、Dragonfly 和 Garnet 等,提供了发展的机遇,尤其是在提供与 Redis 兼容的替代解决方案方面。尽管 Redis 的这一变更在技术和法律上引发了争议,它也激发了开源社区对于如何在维护开源精神和寻求商业可持续性之间找到平衡的探索。此外,Redis 团队对于保持客户端库的开源许可和继续支持开源社区版的承诺,展示了一种尝试在新的许可模式下保持开放性和可接入性的方法。由于 Redis 的广泛应用,其协议变更对云服务商、Linux 发行版,甚至整个开源软件生态都产生了不小的冲击。一方面,云服务提供商需要重新评估其服务模型;另一方面,一些 Linux 发行版可能需要考虑将 Redis 从其软件仓库中移除。
ES 国产化的契机
Redis 开源协议的变更同时也让人们重新审视其他关键技术,特别是 Elasticsearch(ES)的依赖和发展。ES 作为一个强大的搜索和数据分析引擎,在全球范围内被广泛使用。随着对开源项目商业化模式的重新考量,中国开发者和企业开始寻求国产化的 ES 替代品,旨在减少对外部技术的依赖,同时推动国内技术生态的多元化和自主创新。但是国产化的探索并非没有挑战。从技术兼容性、性能优化到社区生态建设,每一步都需要深思熟虑和持续的努力。然而,Redis 的许可证变更为国内技术自主提供了一个独特的视角,鼓励开发者、企业乃至政府机构更加积极地参与到开源技术的本土化和创新中来。Redis 开源协议的变更引发的讨论和行动,凸显了开源社区对于自身未来发展方向的深刻反思。这一变革不仅关乎一个项目的许可模式转变,更触及到开源项目如何在保持开放和自由的同时,寻找到可持续发展的道路。此外,它也促使更多的开源项目和企业思考如何在全球化的技术生态中保持竞争力和影响力。
Easysearch:国产化的新选择
针对这一需求,极限科技 隆重推出了 [Easysearch](https://infinilabs.cn/docs/latest/easysearch) 搜索引擎软件,旨在提供一个与 Elasticsearch 兼容的国产化解决方案。Easysearch 不仅支持原生 Elasticsearch 的 DSL 查询语法,还提供了诸多企业级功能的增强,如更高的性能、稳定性和扩展性,以及更加丰富的安全管理和数据压缩功能。这表明,国产化技术的发展不仅是为了替代,更是在原有基础上进行创新和优化。ES 国产化解决方案 Easysearch 的推出,是响应国家对信创、自主可控战略布局的具体行动。通过提供兼容性强、功能丰富且稳定的国产技术替代品,不仅有助于减少对外部技术的依赖,也为国内技术生态的繁荣和创新贡献力量。这一过程中,既涵盖了对现有技术的深入理解和应用,也包含了对新技术、新方法的探索和实践。

结语
Redis 开源协议的变更和 Elasticsearch 国产化解决方案的兴起,共同反映了当前技术世界中开源与商业、国际与国产之间复杂而微妙的关系。这一趋势不仅仅是技术领域的变化,更是全球化背景下,各国在技术自主、安全与发展方面所做出的战略性调整。随着更多开源项目和技术面临类似的挑战,我们或许可以预见,技术自主和开源创新将成为推动未来技术发展的两大关键力量。
参考
- https://redis.com/blog/redis-a ... nsing
- https://www.elastic.co/cn/blog/licensing-change
- https://infinilabs.cn/products/easysearch
- https://infinilabs.cn/blog/202 ... ative
- https://infinilabs.cn/blog/202 ... ducts
关于极限科技(INFINI Labs)

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。
极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。
官网:<https://www.infinilabs.com>
【搜索客社区日报】第1808期 (2024-04-11)
社区日报 • Se7en 发表了文章 • 0 个评论 • 3682 次浏览 • 2024-04-11 09:38
https://github.com/microsoft/g ... nners
2.月之暗面真的很强?我们来用一个问题评测这些 ChatGPT 平替
https://mp.weixin.qq.com/s/YghsVzbW-6FZSIEhq4A_jw
3.Elasticsearch 之 match_phrase 小坑记录
https://www.cnblogs.com/pyspark/p/8817706.html
4.真的假的!有个物联网公司通过自建数据库省了 98% 的云成本?!
https://mp.weixin.qq.com/s/BB6uaYIzmixiniIbpQO11A
编辑:Se7en
更多资讯:http://news.searchkit.cn
ES中会不会出现这个问题
Elasticsearch • emmning 回复了问题 • 2 人关注 • 2 个回复 • 4622 次浏览 • 2024-04-29 10:15