你不会是程序猿吧?

INFINI Labs 产品更新 | Console/Gateway/Agent 等产品开源发布首个版本

release

INFINI Labs 产品又更新啦~,包括 Easysearch v1.9.0、Gateway、Console、Agent、Loadgen v1.27.0。本次各产品更新了很多亮点功能,如 Easysearch 新增 rollup 功能,优化了多版本兼容配置;Console/Gateway/Agent/Loadgen 及 Framework 开源后,发布首个重大更新版本,支持过期元数据删除,指标图表懒加载,指标采集协程优化等等,欢迎大家下载体验。

INFINI Easysearch v1.9.0

INFINI Easysearch 是一个分布式的搜索型数据库,实现非结构化数据检索、全文检索、向量检索、地理位置信息查询、组合索引查询、多语种支持、聚合分析等。Easysearch 可以完美替代 Elasticsearch,同时添加和完善多项企业级功能。Easysearch 助您拥有简洁、高效、易用的搜索体验。详情见:https://infinilabs.cn

Easysearch 本次更新如下:

Improvements

  • 发布 rollup 功能

    • 支持自动对 rollup 索引进行滚动,无需外部触发
    • 支持 avg sum max min value_count percentiles 指标类型的聚合
    • 支持 terms 聚合
    • 支持对指标聚合进行 Pipeline 聚合
    • 支持聚合前先对数据进行过滤
    • 进行聚合查询时支持直接搜索原始索引,不用更改搜索代码
  • 增加适配 logstash 8.x 的请求 header
  • _cat/templates 增加 lifecycle 和 rollover 列的展示

Bug fix

  • 修复 rest-api template 测试错误

INFINI Console v1.27.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管, 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。开源地址:https://github.com/infinilabs/console

Console 在线体验: http://demo.infini.cloud (用户名/密码:readonly/readonly)。

Console 本次更新如下:

Improvements

  • 代码开源,统一采用 Github 仓库进行开发
  • 指标采集优化,由原来的单一协程采集调整为每个注册的集群有单独的协程进行采集
  • 指标监控页面图表展示采用懒加载、单个图表独立加载,增强用户体验
  • 通用时间控件增加超时时间设置
  • 集群选择控件增加注册、刷新功能
  • 提供指标采集状态
  • 表格控件排版优化

Bug fix

  • 修复集群元数据更新不及时问题
  • 修复帮助文档等链接不正确问题
  • 修复节点、索引数据因随机 id 出现重复记录问题
  • 修复 Runtime、Agent 实例编辑页面出错问题
  • 修复集群、节点、索引、分片元数据无 Loading 问题
  • 修复索引健康状态指标采集失败问题
  • 修复个别菜单列未国际化问题

INFINI Gateway v1.27.0

INFINI Gateway 是一个面向搜索场景的高性能数据网关,所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。开源地址:https://github.com/infinilabs/gateway

Gateway 本次更新如下:

Improvements

  • 调整队列消费者 slice 默认配置为 1

Bug fix

  • 修复缓存数据丢失导致队列无法消费问题
  • 同步更新 Framework 修复的一些已知问题

INFINI Agent v1.27.0

INFINI Agent 是 INFINI Console 的一个可选探针组件,负责采集和上传集群指标和日志等信息,并可通过 Console 管理。Agent 支持主流操作系统和平台,安装包轻量且无任何外部依赖,可以快速方便地安装。开源地址:https://github.com/infinilabs/agent

探针 Agent 本次更新如下:

Improvements

  • 与 INFINI Console 统一版本号
  • 同步更新 Framework 修复的已知问题
  • 支持 K8S 环境指标采集

INFINI Loadgen v1.27.0

INFINI Loadgen 是一款轻量、无依赖的 Eaysearch/Elasticsearch/OpenSearch 性能压测工具,支持参数模板化配置,支持压测端均衡流量控制,可以模拟高并发请求。开源地址:https://github.com/infinilabs/loadgen

Loadgen 本次更新如下:

Improvements

  • 保持与 Console 相同版本
  • 同步更新 Framework 修复的已知问题

Bug fix

  • 修复 API 接口测试逻辑异常问题

INFINI Framework

INFINI Framework 是 INFINI Labs 各产品依赖的核心公共代码库。开源地址:https://github.com/infinilabs/framework

Improvements

期待反馈

欢迎下载体验使用,如果您在使用过程中遇到如何疑问或者问题,欢迎前往 INFINI Labs Github(https://github.com/infinilabs) 中的对应项目中提交 Feature Request 或提交 Bug。

下载地址: https://infinilabs.cn/download

邮件hello@infini.ltd

电话(+86) 400-139-9200

Discordhttps://discord.gg/4tKTMkkvVX

也欢迎大家微信扫码添加小助手(INFINI-Labs),加入用户群一起讨论交流。

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://infinilabs.cn

继续阅读 »

release

INFINI Labs 产品又更新啦~,包括 Easysearch v1.9.0、Gateway、Console、Agent、Loadgen v1.27.0。本次各产品更新了很多亮点功能,如 Easysearch 新增 rollup 功能,优化了多版本兼容配置;Console/Gateway/Agent/Loadgen 及 Framework 开源后,发布首个重大更新版本,支持过期元数据删除,指标图表懒加载,指标采集协程优化等等,欢迎大家下载体验。

INFINI Easysearch v1.9.0

INFINI Easysearch 是一个分布式的搜索型数据库,实现非结构化数据检索、全文检索、向量检索、地理位置信息查询、组合索引查询、多语种支持、聚合分析等。Easysearch 可以完美替代 Elasticsearch,同时添加和完善多项企业级功能。Easysearch 助您拥有简洁、高效、易用的搜索体验。详情见:https://infinilabs.cn

Easysearch 本次更新如下:

Improvements

  • 发布 rollup 功能

    • 支持自动对 rollup 索引进行滚动,无需外部触发
    • 支持 avg sum max min value_count percentiles 指标类型的聚合
    • 支持 terms 聚合
    • 支持对指标聚合进行 Pipeline 聚合
    • 支持聚合前先对数据进行过滤
    • 进行聚合查询时支持直接搜索原始索引,不用更改搜索代码
  • 增加适配 logstash 8.x 的请求 header
  • _cat/templates 增加 lifecycle 和 rollover 列的展示

Bug fix

  • 修复 rest-api template 测试错误

INFINI Console v1.27.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管, 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。开源地址:https://github.com/infinilabs/console

Console 在线体验: http://demo.infini.cloud (用户名/密码:readonly/readonly)。

Console 本次更新如下:

Improvements

  • 代码开源,统一采用 Github 仓库进行开发
  • 指标采集优化,由原来的单一协程采集调整为每个注册的集群有单独的协程进行采集
  • 指标监控页面图表展示采用懒加载、单个图表独立加载,增强用户体验
  • 通用时间控件增加超时时间设置
  • 集群选择控件增加注册、刷新功能
  • 提供指标采集状态
  • 表格控件排版优化

Bug fix

  • 修复集群元数据更新不及时问题
  • 修复帮助文档等链接不正确问题
  • 修复节点、索引数据因随机 id 出现重复记录问题
  • 修复 Runtime、Agent 实例编辑页面出错问题
  • 修复集群、节点、索引、分片元数据无 Loading 问题
  • 修复索引健康状态指标采集失败问题
  • 修复个别菜单列未国际化问题

INFINI Gateway v1.27.0

INFINI Gateway 是一个面向搜索场景的高性能数据网关,所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。开源地址:https://github.com/infinilabs/gateway

Gateway 本次更新如下:

Improvements

  • 调整队列消费者 slice 默认配置为 1

Bug fix

  • 修复缓存数据丢失导致队列无法消费问题
  • 同步更新 Framework 修复的一些已知问题

INFINI Agent v1.27.0

INFINI Agent 是 INFINI Console 的一个可选探针组件,负责采集和上传集群指标和日志等信息,并可通过 Console 管理。Agent 支持主流操作系统和平台,安装包轻量且无任何外部依赖,可以快速方便地安装。开源地址:https://github.com/infinilabs/agent

探针 Agent 本次更新如下:

Improvements

  • 与 INFINI Console 统一版本号
  • 同步更新 Framework 修复的已知问题
  • 支持 K8S 环境指标采集

INFINI Loadgen v1.27.0

INFINI Loadgen 是一款轻量、无依赖的 Eaysearch/Elasticsearch/OpenSearch 性能压测工具,支持参数模板化配置,支持压测端均衡流量控制,可以模拟高并发请求。开源地址:https://github.com/infinilabs/loadgen

Loadgen 本次更新如下:

Improvements

  • 保持与 Console 相同版本
  • 同步更新 Framework 修复的已知问题

Bug fix

  • 修复 API 接口测试逻辑异常问题

INFINI Framework

INFINI Framework 是 INFINI Labs 各产品依赖的核心公共代码库。开源地址:https://github.com/infinilabs/framework

Improvements

期待反馈

欢迎下载体验使用,如果您在使用过程中遇到如何疑问或者问题,欢迎前往 INFINI Labs Github(https://github.com/infinilabs) 中的对应项目中提交 Feature Request 或提交 Bug。

下载地址: https://infinilabs.cn/download

邮件hello@infini.ltd

电话(+86) 400-139-9200

Discordhttps://discord.gg/4tKTMkkvVX

也欢迎大家微信扫码添加小助手(INFINI-Labs),加入用户群一起讨论交流。

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://infinilabs.cn

收起阅读 »

「玩转社区运营,实习先行」加入极限科技(INFINI Labs)开启成长之旅!

极限科技诚招社区运营实习生!

我们为你提供全面参与国内外社区运营建设的机会,负责从内容策划到数据分析的多维度实践,与团队一起探索技术与产品的无限可能!

如果你还不了解 极限科技(INFINI Labs) 是谁,在做什么,需要什么样的小伙伴,那么请看下文:

我们是谁

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://infinilabs.cn

我们在做什么

极限科技(INFINI Labs)正在致力于以下几个核心方向:

1、开发近实时搜索引擎 INFINI Easysearch
INFINI Easysearch 是一个分布式的搜索型数据库,实现非结构化数据检索、全文检索、向量检索、地理位置信息查询、组合索引查询、多语种支持、聚合分析等。Easysearch 可以完美替代 Elasticsearch,同时添加和完善多项企业级功能。Easysearch 助您拥有简洁、高效、易用的搜索体验。详情参见:https://infinilabs.cn

2、打造下一代实时搜索引擎 INFINI Pizza
INFINI Pizza 是一个分布式混合搜索数据库系统。我们的使命是充分利用现代硬件和人工智能的潜力,为企业提供量身定制的实时智能搜索体验。我们致力于满足具有挑战性的环境中高并发和高吞吐量的需求,同时提供无缝高效的搜索功能。详情参见:https://pizza.rs

3、打造 Coco AI — 搜索、连接、协作
Coco AI 是一个人工智能驱动的统一的搜索平台,将您的所有企业应用程序和数据(如 Google Workspace、Dropbox、Confluent Wiki、GitHub 等)整合到一个强大而简洁的搜索界面中。本项目包含适用于桌面和移动端的 COCO 应用,用户可以通过该应用在不同平台上搜索并与企业数据互动。详情参见:https://coco.rs

4、积极参与全球开源生态建设
通过开源 Coco AI、Console、Gateway、Agent、Loadgen 等搜索领域产品和社区贡献,推动全球开源技术的发展,提升中国在全球开源领域的影响力。INFINI Labs Github 主页:https://github.com/infinilabs

5、提供专业服务
为客户提供包括搜索技术支持、迁移服务、定制解决方案和培训在内的全方位服务。

6、提供国产化搜索解决方案
针对中国市场的特殊需求,提供符合国产化标准的搜索产品和解决方案,帮助客户解决使用 Elasticsearch 时遇到的挑战。

极限科技(INFINI Labs)通过这些努力,旨在成为全球领先的实时搜索和数据分析解决方案提供商。

我们期待有才华、有激情的你加入我们,一起探索数据搜索的未来,共同创造无限可能!

在招岗位介绍

岗位名称

社区运营实习生

岗位职责

  1. 全面参与公司旗下国内外社区运营和建设;
  2. 负责社区内容的策划、文案、编辑,围绕团队成果产出技术解读文章,通过公众号、博客、社区等形式进行内容运营,提升公司的影响力;
  3. 数据化运营,包括分析官网访问、下载等数据指标,根据数据反馈及时调整策略,提升运营效果;
  4. 与团队合作,维护更新产品技术相关介绍文档,帮助用户深入理解技术理念和技术优势;
  5. 定期与社区用户、媒体沟通,保持通畅的聆听反馈机制;
  6. 参与策划、组织及执行团队主办或承办的各类社区活动;

岗位要求

  1. 本科及以上学历在读,新闻、营销、传媒、计算机等相关专业优先;
  2. 具备协作意识和沟通能力,能跨职能、跨部门协调跟进问题;
  3. 具备较强的创意和策划能力、应变能力、语言和文字表达能力以及敏锐的市场触角;
  4. 对搜索技术、互联网产品及工具类信息怀有浓厚兴趣,具备快速学习并熟练掌握相关知识的能力,能够紧跟行业动态;
  5. 具有用户增长、数据分析、数据挖掘、信息检索经验者优先;
  6. 具有开源社区、开发者社区、开源媒体运营经验者优先;
  7. 英语听说写流畅优先;
  8. 熟悉 Github、Git、Markdown 优先;
  9. 至少实习 6 个月以上,城市不限,可接受远程办公;

我们提供

  1. 广阔的职业发展空间和晋升机会;
  2. 与一群充满激情和创造力的团队一起工作的机会;
  3. 不断学习和成长的机会,包括内部培训和外部学习资源;

简历投递

  1. 邮件:hello@infini.ltd(邮件标题请备注姓名+求职岗位)
  2. 微信:INFINI-Labs (加微请备注求职岗位)

如果你:

  • 对互联网、搜索技术充满兴趣;
  • 擅长创意策划与内容输出;
  • 乐于跨部门协作,具备良好的沟通能力;

那就快来加入我们吧!

继续阅读 »

极限科技诚招社区运营实习生!

我们为你提供全面参与国内外社区运营建设的机会,负责从内容策划到数据分析的多维度实践,与团队一起探索技术与产品的无限可能!

如果你还不了解 极限科技(INFINI Labs) 是谁,在做什么,需要什么样的小伙伴,那么请看下文:

我们是谁

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://infinilabs.cn

我们在做什么

极限科技(INFINI Labs)正在致力于以下几个核心方向:

1、开发近实时搜索引擎 INFINI Easysearch
INFINI Easysearch 是一个分布式的搜索型数据库,实现非结构化数据检索、全文检索、向量检索、地理位置信息查询、组合索引查询、多语种支持、聚合分析等。Easysearch 可以完美替代 Elasticsearch,同时添加和完善多项企业级功能。Easysearch 助您拥有简洁、高效、易用的搜索体验。详情参见:https://infinilabs.cn

2、打造下一代实时搜索引擎 INFINI Pizza
INFINI Pizza 是一个分布式混合搜索数据库系统。我们的使命是充分利用现代硬件和人工智能的潜力,为企业提供量身定制的实时智能搜索体验。我们致力于满足具有挑战性的环境中高并发和高吞吐量的需求,同时提供无缝高效的搜索功能。详情参见:https://pizza.rs

3、打造 Coco AI — 搜索、连接、协作
Coco AI 是一个人工智能驱动的统一的搜索平台,将您的所有企业应用程序和数据(如 Google Workspace、Dropbox、Confluent Wiki、GitHub 等)整合到一个强大而简洁的搜索界面中。本项目包含适用于桌面和移动端的 COCO 应用,用户可以通过该应用在不同平台上搜索并与企业数据互动。详情参见:https://coco.rs

4、积极参与全球开源生态建设
通过开源 Coco AI、Console、Gateway、Agent、Loadgen 等搜索领域产品和社区贡献,推动全球开源技术的发展,提升中国在全球开源领域的影响力。INFINI Labs Github 主页:https://github.com/infinilabs

5、提供专业服务
为客户提供包括搜索技术支持、迁移服务、定制解决方案和培训在内的全方位服务。

6、提供国产化搜索解决方案
针对中国市场的特殊需求,提供符合国产化标准的搜索产品和解决方案,帮助客户解决使用 Elasticsearch 时遇到的挑战。

极限科技(INFINI Labs)通过这些努力,旨在成为全球领先的实时搜索和数据分析解决方案提供商。

我们期待有才华、有激情的你加入我们,一起探索数据搜索的未来,共同创造无限可能!

在招岗位介绍

岗位名称

社区运营实习生

岗位职责

  1. 全面参与公司旗下国内外社区运营和建设;
  2. 负责社区内容的策划、文案、编辑,围绕团队成果产出技术解读文章,通过公众号、博客、社区等形式进行内容运营,提升公司的影响力;
  3. 数据化运营,包括分析官网访问、下载等数据指标,根据数据反馈及时调整策略,提升运营效果;
  4. 与团队合作,维护更新产品技术相关介绍文档,帮助用户深入理解技术理念和技术优势;
  5. 定期与社区用户、媒体沟通,保持通畅的聆听反馈机制;
  6. 参与策划、组织及执行团队主办或承办的各类社区活动;

岗位要求

  1. 本科及以上学历在读,新闻、营销、传媒、计算机等相关专业优先;
  2. 具备协作意识和沟通能力,能跨职能、跨部门协调跟进问题;
  3. 具备较强的创意和策划能力、应变能力、语言和文字表达能力以及敏锐的市场触角;
  4. 对搜索技术、互联网产品及工具类信息怀有浓厚兴趣,具备快速学习并熟练掌握相关知识的能力,能够紧跟行业动态;
  5. 具有用户增长、数据分析、数据挖掘、信息检索经验者优先;
  6. 具有开源社区、开发者社区、开源媒体运营经验者优先;
  7. 英语听说写流畅优先;
  8. 熟悉 Github、Git、Markdown 优先;
  9. 至少实习 6 个月以上,城市不限,可接受远程办公;

我们提供

  1. 广阔的职业发展空间和晋升机会;
  2. 与一群充满激情和创造力的团队一起工作的机会;
  3. 不断学习和成长的机会,包括内部培训和外部学习资源;

简历投递

  1. 邮件:hello@infini.ltd(邮件标题请备注姓名+求职岗位)
  2. 微信:INFINI-Labs (加微请备注求职岗位)

如果你:

  • 对互联网、搜索技术充满兴趣;
  • 擅长创意策划与内容输出;
  • 乐于跨部门协作,具备良好的沟通能力;

那就快来加入我们吧!

收起阅读 »

活动回顾 - 第5期 搜索客 Meetup 线上直播活动圆满结束,附 PPT 下载和视频回放

2024 年 12 月 20 日,由搜索客社区和极限科技(INFINI Labs)联合举办的第 5 期线上 Meetup 技术交流直播活动圆满结束。本期 Meetup 直播活动吸引了超过 800+ 人次的技术爱好者观看参与,共同学习讨论了 Elasticsearch 多集群管理工具 INFINI Console 的使用和运维经验。

20241220-182853.png

本期 Meetup 活动主题

本期 Meetup 活动由极限科技(INFINI Labs)技术专家 罗厚付老师 为大家带来了主题为《最强开源 Elasticsearch 多集群管理工具 INFINI Console - 动手实战》精彩分享。

1735028959857.jpg

罗老师首先介绍了 INFINI Labs 最近开源的产品和基本情况。然后,详细讲解了 Agent 采集指标的配置方法,包括如何自动注册到平台、监控告警配置等。接着讲解了 INFINI Console 源码编译的步骤和要求,如创建编译路径、克隆代码等。最后回答了观众提的相关问题,并强调了开源建设的重要性。

以下为摘取 PPT 部分内容截图:

1735029060156.jpg

1735029140190.jpg

1735035341200.jpg

精选问答

分享过程中,直播间的小伙伴对分享内容非常感兴趣,纷纷在评论区留言提问,下面摘取部分问答:

问 1:Console 开源代码 web 模块没有跑起来 ‍‍‍
答:web 模块编译需要指定 node 版本 v16.20.2

问 2:开源后的 Console 所有功能都免费吗?哪些是收费功能
答:开源的代码所有功能都是免费的,收费功能后续将在企业版中提供。

问 3:Console 支持的 Elasticsearch 版本是多少?
答:支持多版本 Elasticsearch,包含 1.x、2.x、5.x、6.x、7.x、8.x;同时还支持 OpenSearch 和 Easysearch 多集群接入纳管

问 4:Console 自采与 Agent 采集监控指标有什么区别,对性能影响如何?
答:区别还是挺大的,Console 是直接从集群层面采集指标,而不是在每个节点上单独采集。这种方式可能会涉及到在整个集群中循环,收集所有节点的信息。Agent 采集方式即在每个节点上安装一个 Agent,每个 Agent 负责收集所在节点的指标,并将其推送到存储或 Gateway。这种方式可以减轻集群的压力,因为不需要在集群中循环收集数据,即使一个节点出现异常,其他节点的指标采集仍然可以正常进行。

问 5:Agent 可以采集日志吗?还是只采集指标呢?
答:都支持

问 6:生产环境是建议通过 Agent 方式采集吗?
答:是的,生产环境建议使用 Agent,稳定且内存占用低。‍‍‍‍‍‍‍‍‍‍‍ 我这边管理的一个集群的话大概是有 300 多个节点吧。大概是装 300 多个探针的样子,探针的资源消耗是有做一个限制的,内存是限制在这个 50M 以下。

问 7:如果是 k8s 的话, Agent 是怎么匹配的呢?安装在 pod 层面吗?
答:对,我们现在的打的镜像是包含了这个 Agent 的,然后可以环境变量去控制开关。

问 8:Console 后面会支持备份恢复吗?大概什么时候上线
答:‍‍‍‍‍‍‍‍ 这个目前还不支持,在计划中,没有那么快上线。如果说你只是运维的一个需求的话可以通过相关 API 命令去操作备份恢复。

问 9:Console 告警规则能多提供一些吗?
答:目前内置的告警规则主要是一些基础的通用的场景,欢迎大家提供一些实际的一些业务需求,然后提个 Issue,共同建设和维护。(https://github.com/infinilabs/console/issues

问 10:Easysearch 的审计日志采集了哪些信息?
答:主要包含用户的操作记录,然后用户的一些登录时间 IP 相关的一些信息是都有的。

罗老师从专业的角度热情耐心的一一进行了解答,获得了在线观众的点赞好评。(如大家对以上问题有见解或提出其他 Console 相关问题,也欢迎在本文评论区留言讨论,我们将从评论区中挑选精彩评论给予礼品赠送 😄)

同时,在整个直播过程中,主持人进行了多轮激动人心的抽奖活动,为参会小伙伴带来了额外的惊喜。

最后感谢大家的参与和支持,让我们共同期待下一次 搜索客 Meetup 活动带来更多的精彩内容!

本期 Meetup 的 PPT 下载

本期 PPT 下载的链接:https://searchkit.cn/slides/328

本期 Meetup 视频回放

扫码关注极限实验室视频号查看直播回放,或者扫码关注极限实验室 B 站 账号,可查看本期 Meetup 活动视频。我们也会在视频号、B 站持续更新最新技术视频,欢迎通过点赞、投币,收藏,三连来支持我们。

Meetup_视频回放.jpg

Meetup 活动讲师招募

讲师招募

搜索客社区 Meetup 的成功举办,离不开社区小伙伴的热情参与。目前社区讲师招募计划也在持续进行中,我们诚挚邀请各位技术大咖、行业精英踊跃提交演讲议题,与大家分享您的经验。

讲师报名链接:http://cfp.searchkit.cn
或扫描下方二维码,立刻报名成为讲师!

Meetup 活动聚焦 AI 与搜索领域的最新动态,以及数据实时搜索分析、向量检索、技术实践与案例分析、日志分析、安全等领域的深度探讨。

我们热切期待您的精彩分享!

关于 搜索客(SearchKit)社区

搜索客社区由 Elasticsearch 中文社区进行全新的品牌升级,以新的 Slogan:“搜索人自己的社区” 为宣言。汇集搜索领域最新动态、精选干货文章、精华讨论、文档资料、翻译与版本发布等,为广大搜索领域从业者提供更为丰富便捷的学习和交流平台。社区官网:https://searchkit.cn

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://infinilabs.cn

继续阅读 »

2024 年 12 月 20 日,由搜索客社区和极限科技(INFINI Labs)联合举办的第 5 期线上 Meetup 技术交流直播活动圆满结束。本期 Meetup 直播活动吸引了超过 800+ 人次的技术爱好者观看参与,共同学习讨论了 Elasticsearch 多集群管理工具 INFINI Console 的使用和运维经验。

20241220-182853.png

本期 Meetup 活动主题

本期 Meetup 活动由极限科技(INFINI Labs)技术专家 罗厚付老师 为大家带来了主题为《最强开源 Elasticsearch 多集群管理工具 INFINI Console - 动手实战》精彩分享。

1735028959857.jpg

罗老师首先介绍了 INFINI Labs 最近开源的产品和基本情况。然后,详细讲解了 Agent 采集指标的配置方法,包括如何自动注册到平台、监控告警配置等。接着讲解了 INFINI Console 源码编译的步骤和要求,如创建编译路径、克隆代码等。最后回答了观众提的相关问题,并强调了开源建设的重要性。

以下为摘取 PPT 部分内容截图:

1735029060156.jpg

1735029140190.jpg

1735035341200.jpg

精选问答

分享过程中,直播间的小伙伴对分享内容非常感兴趣,纷纷在评论区留言提问,下面摘取部分问答:

问 1:Console 开源代码 web 模块没有跑起来 ‍‍‍
答:web 模块编译需要指定 node 版本 v16.20.2

问 2:开源后的 Console 所有功能都免费吗?哪些是收费功能
答:开源的代码所有功能都是免费的,收费功能后续将在企业版中提供。

问 3:Console 支持的 Elasticsearch 版本是多少?
答:支持多版本 Elasticsearch,包含 1.x、2.x、5.x、6.x、7.x、8.x;同时还支持 OpenSearch 和 Easysearch 多集群接入纳管

问 4:Console 自采与 Agent 采集监控指标有什么区别,对性能影响如何?
答:区别还是挺大的,Console 是直接从集群层面采集指标,而不是在每个节点上单独采集。这种方式可能会涉及到在整个集群中循环,收集所有节点的信息。Agent 采集方式即在每个节点上安装一个 Agent,每个 Agent 负责收集所在节点的指标,并将其推送到存储或 Gateway。这种方式可以减轻集群的压力,因为不需要在集群中循环收集数据,即使一个节点出现异常,其他节点的指标采集仍然可以正常进行。

问 5:Agent 可以采集日志吗?还是只采集指标呢?
答:都支持

问 6:生产环境是建议通过 Agent 方式采集吗?
答:是的,生产环境建议使用 Agent,稳定且内存占用低。‍‍‍‍‍‍‍‍‍‍‍ 我这边管理的一个集群的话大概是有 300 多个节点吧。大概是装 300 多个探针的样子,探针的资源消耗是有做一个限制的,内存是限制在这个 50M 以下。

问 7:如果是 k8s 的话, Agent 是怎么匹配的呢?安装在 pod 层面吗?
答:对,我们现在的打的镜像是包含了这个 Agent 的,然后可以环境变量去控制开关。

问 8:Console 后面会支持备份恢复吗?大概什么时候上线
答:‍‍‍‍‍‍‍‍ 这个目前还不支持,在计划中,没有那么快上线。如果说你只是运维的一个需求的话可以通过相关 API 命令去操作备份恢复。

问 9:Console 告警规则能多提供一些吗?
答:目前内置的告警规则主要是一些基础的通用的场景,欢迎大家提供一些实际的一些业务需求,然后提个 Issue,共同建设和维护。(https://github.com/infinilabs/console/issues

问 10:Easysearch 的审计日志采集了哪些信息?
答:主要包含用户的操作记录,然后用户的一些登录时间 IP 相关的一些信息是都有的。

罗老师从专业的角度热情耐心的一一进行了解答,获得了在线观众的点赞好评。(如大家对以上问题有见解或提出其他 Console 相关问题,也欢迎在本文评论区留言讨论,我们将从评论区中挑选精彩评论给予礼品赠送 😄)

同时,在整个直播过程中,主持人进行了多轮激动人心的抽奖活动,为参会小伙伴带来了额外的惊喜。

最后感谢大家的参与和支持,让我们共同期待下一次 搜索客 Meetup 活动带来更多的精彩内容!

本期 Meetup 的 PPT 下载

本期 PPT 下载的链接:https://searchkit.cn/slides/328

本期 Meetup 视频回放

扫码关注极限实验室视频号查看直播回放,或者扫码关注极限实验室 B 站 账号,可查看本期 Meetup 活动视频。我们也会在视频号、B 站持续更新最新技术视频,欢迎通过点赞、投币,收藏,三连来支持我们。

Meetup_视频回放.jpg

Meetup 活动讲师招募

讲师招募

搜索客社区 Meetup 的成功举办,离不开社区小伙伴的热情参与。目前社区讲师招募计划也在持续进行中,我们诚挚邀请各位技术大咖、行业精英踊跃提交演讲议题,与大家分享您的经验。

讲师报名链接:http://cfp.searchkit.cn
或扫描下方二维码,立刻报名成为讲师!

Meetup 活动聚焦 AI 与搜索领域的最新动态,以及数据实时搜索分析、向量检索、技术实践与案例分析、日志分析、安全等领域的深度探讨。

我们热切期待您的精彩分享!

关于 搜索客(SearchKit)社区

搜索客社区由 Elasticsearch 中文社区进行全新的品牌升级,以新的 Slogan:“搜索人自己的社区” 为宣言。汇集搜索领域最新动态、精选干货文章、精华讨论、文档资料、翻译与版本发布等,为广大搜索领域从业者提供更为丰富便捷的学习和交流平台。社区官网:https://searchkit.cn

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://infinilabs.cn

收起阅读 »

【第5期】搜索客 Meetup | 最强开源 Elasticsearch 多集群管理工具 INFINI Console - 动手实战

本次活动由 搜索客社区、极限科技(INFINI Labs)联合举办,最近 INFINI Labs 重磅宣布旗下的产品 Console/Gateway/Agent/Framework 等在 Github 上开源了,其中 INFINI Console 作为 一款非常轻量级的多集群、跨版本的搜索基础设施统一管控工具,受到广大用户喜爱。借此开源机会,我们邀请到 INFINI Labs 的技术专家罗厚付老师跟大家分享介绍 Console 并动手实战,手把手教你从源码编译 -> 安装部署 -> 上手体验全攻略,欢迎预约直播观看~

活动主题:最强开源 Elasticsearch 多集群管理工具 INFINI Console - 动手实战
活动时间:2024 年 12 月 20 日 19:00-20:00(周三)
活动形式:微信视频号(极限实验室)直播
报名方式:关注或扫码海报中的二维码进行预约

嘉宾介绍

罗厚付,极限科技技术专家,拥有多年安全风控及大数据系统架构经验。现任极限科技云上产品设计与研发负责人,主导过多个核心产品的设计与落地。日常负责运维超大规模 ES 集群(800+节点/1PB+数据)。

主题摘要

INFINI Labs Console/Gateway/Agent/Framework 开源后,如何在本地搭建开发环境,并运行起来,使用 INFINI Easysearch 进行指标存储,使用 INFINI Console/Agent 对 Ealsticsearch 进行指标采集。

参与有奖

本次直播活动将设有福袋抽奖环节,参与就有机会获得 INFINI Labs 周边纪念品,包括 T 恤、鸭舌帽、咖啡杯、指甲刀套件等等(图片仅供参考,款式、颜色与尺码随机)。

活动交流

本活动设有 Meetup 技术交流群,可添加小助手微信拉群,与更多小伙伴一起学习交流。

Meetup 讲师招募

搜索客社区 Meetup 的成功举办,离不开社区小伙伴的热情参与。目前社区讲师招募计划也在持续进行中,我们诚挚邀请各位技术大咖、行业精英踊跃提交演讲议题,与大家分享您的经验。

讲师报名链接:http://cfp.searchkit.cn
或扫描下方二维码,立刻报名成为讲师!

Meetup 活动聚焦 AI 与搜索领域的最新动态,以及数据实时搜索分析、向量检索、技术实践与案例分析、日志分析、安全等领域的深度探讨。

我们热切期待您的精彩分享!

往期回顾

  1. 【第 4 期】搜索客 Meetup | INFINI Pizza 网站 SVG 动画这么炫,我教你啊!
  2. 【第 3 期】搜索客 Meetup | Elasticsearch 的代码结构和写入查询流程的解读 - 下篇
  3. 【第 2 期】搜索客 Meetup | Elasticsearch 的代码结构和写入查询流程的解读 - 上篇
  4. 【第 1 期】搜索客 Meetup | Easysearch 结合大模型实现 RAG

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://infinilabs.cn

继续阅读 »

本次活动由 搜索客社区、极限科技(INFINI Labs)联合举办,最近 INFINI Labs 重磅宣布旗下的产品 Console/Gateway/Agent/Framework 等在 Github 上开源了,其中 INFINI Console 作为 一款非常轻量级的多集群、跨版本的搜索基础设施统一管控工具,受到广大用户喜爱。借此开源机会,我们邀请到 INFINI Labs 的技术专家罗厚付老师跟大家分享介绍 Console 并动手实战,手把手教你从源码编译 -> 安装部署 -> 上手体验全攻略,欢迎预约直播观看~

活动主题:最强开源 Elasticsearch 多集群管理工具 INFINI Console - 动手实战
活动时间:2024 年 12 月 20 日 19:00-20:00(周三)
活动形式:微信视频号(极限实验室)直播
报名方式:关注或扫码海报中的二维码进行预约

嘉宾介绍

罗厚付,极限科技技术专家,拥有多年安全风控及大数据系统架构经验。现任极限科技云上产品设计与研发负责人,主导过多个核心产品的设计与落地。日常负责运维超大规模 ES 集群(800+节点/1PB+数据)。

主题摘要

INFINI Labs Console/Gateway/Agent/Framework 开源后,如何在本地搭建开发环境,并运行起来,使用 INFINI Easysearch 进行指标存储,使用 INFINI Console/Agent 对 Ealsticsearch 进行指标采集。

参与有奖

本次直播活动将设有福袋抽奖环节,参与就有机会获得 INFINI Labs 周边纪念品,包括 T 恤、鸭舌帽、咖啡杯、指甲刀套件等等(图片仅供参考,款式、颜色与尺码随机)。

活动交流

本活动设有 Meetup 技术交流群,可添加小助手微信拉群,与更多小伙伴一起学习交流。

Meetup 讲师招募

搜索客社区 Meetup 的成功举办,离不开社区小伙伴的热情参与。目前社区讲师招募计划也在持续进行中,我们诚挚邀请各位技术大咖、行业精英踊跃提交演讲议题,与大家分享您的经验。

讲师报名链接:http://cfp.searchkit.cn
或扫描下方二维码,立刻报名成为讲师!

Meetup 活动聚焦 AI 与搜索领域的最新动态,以及数据实时搜索分析、向量检索、技术实践与案例分析、日志分析、安全等领域的深度探讨。

我们热切期待您的精彩分享!

往期回顾

  1. 【第 4 期】搜索客 Meetup | INFINI Pizza 网站 SVG 动画这么炫,我教你啊!
  2. 【第 3 期】搜索客 Meetup | Elasticsearch 的代码结构和写入查询流程的解读 - 下篇
  3. 【第 2 期】搜索客 Meetup | Elasticsearch 的代码结构和写入查询流程的解读 - 上篇
  4. 【第 1 期】搜索客 Meetup | Easysearch 结合大模型实现 RAG

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://infinilabs.cn

收起阅读 »

极限科技三周年庆典:追求极致,共创未来科技新篇章

2024 年 12 月 3 日,一场盛大的庆典活动在香港 IFS 集团旗下长沙玛珂酒店璀璨启幕,极限科技迎来了其三周年的辉煌庆典。此次庆典不仅是对极限科技过往成就的回顾与庆祝,更是对未来科技梦想的展望并开始新的启航。

庆典现场,极限科技的全体员工、尊贵的合作伙伴以及长期以来给予我们坚定支持的客户欢聚一堂,共同见证了这一重要时刻。

活动伊始,极限科技的创始人曾勇回顾了公司创立至今的点点滴滴,他提到,“极限科技”的名称,源于公司的口号:追求极致,无限可能。这不仅是对公司理念的精准诠释,更有一层深刻的寓意,即公司坚信唯有不断打磨产品、精益求精,才能在激烈的市场竞争中立足并持续前行。

曾勇还回顾了极限科技的成长历程,作为国内为数不多的以搜索技术为核心的技术创业公司,自成立之初,极限科技便确立了“让搜索更简单”的目标,并将简单、易用、极致、创新作为产品哲学的核心。他感慨道,正是有了这样的信念和追求,极限科技才能在短短三年内取得优秀的成绩。

曾勇还表示极限科技的基因中始终与开源紧密相连。极限科技一直致力于为开发者和企业提供优质的开源工具,提升整个技术生态的活力。除了维护国内最流行的分词器 analysis-ik 和 analysis-pinyin,也在不断推动更多高质量开源产品的诞生。

在极限科技成立三周年之际,曾勇宣布以下产品和工具已全面开源:

  • INFINI Framework
  • INFINI Gateway
  • INFINI Console
  • INFINI Agent
  • INFINI Loadgen
  • INFINI Coco AI

以上开源软件都可以在 Github 上面找到: https://github.com/infinilabs

随后,极限科技的联合创始人也发表了讲话,分享了创业的艰辛与成功的喜悦,并对所有员工的辛勤付出和合作伙伴的鼎力支持表达了由衷的感谢。

此外,来自行业内外的合作伙伴们也纷纷上台发言,他们高度评价了极限科技在科技创新领域所取得的卓越成就,并对公司未来的发展寄予了厚望。在圆桌讨论环节,与会嘉宾围绕国产化、AI,出海和全球化等前沿话题展开了深入探讨,分享了各自的观点与见解,为极限科技未来的发展提供了宝贵的思路与建议。

整个庆典活动氛围热烈而欢快,与会者们在轻松愉快的氛围中交流心得、分享经验,共同探讨了科技行业的未来发展趋势与机遇。

极限科技作为一家致力于科技创新的先进性企业,坚守引领搜索数据库技术从近实时迈向实时,推动行业的技术迭代与革命为使命。在未来的日子里,极限科技将继续携手合作伙伴,共同开创科技事业的新篇章,为实现更加美好的明天而不懈努力。

此次三周年庆典不仅是对极限科技过去三年努力的肯定与庆祝,更是对未来发展的美好期许并制定航向。我们相信,在全体员工的共同努力和合作伙伴的鼎力支持下,极限科技必将迎来更加辉煌的明天!

原文:https://infinilabs.cn/blog/2024/INFINILabs-3rd-anniversary-celebration/

继续阅读 »

2024 年 12 月 3 日,一场盛大的庆典活动在香港 IFS 集团旗下长沙玛珂酒店璀璨启幕,极限科技迎来了其三周年的辉煌庆典。此次庆典不仅是对极限科技过往成就的回顾与庆祝,更是对未来科技梦想的展望并开始新的启航。

庆典现场,极限科技的全体员工、尊贵的合作伙伴以及长期以来给予我们坚定支持的客户欢聚一堂,共同见证了这一重要时刻。

活动伊始,极限科技的创始人曾勇回顾了公司创立至今的点点滴滴,他提到,“极限科技”的名称,源于公司的口号:追求极致,无限可能。这不仅是对公司理念的精准诠释,更有一层深刻的寓意,即公司坚信唯有不断打磨产品、精益求精,才能在激烈的市场竞争中立足并持续前行。

曾勇还回顾了极限科技的成长历程,作为国内为数不多的以搜索技术为核心的技术创业公司,自成立之初,极限科技便确立了“让搜索更简单”的目标,并将简单、易用、极致、创新作为产品哲学的核心。他感慨道,正是有了这样的信念和追求,极限科技才能在短短三年内取得优秀的成绩。

曾勇还表示极限科技的基因中始终与开源紧密相连。极限科技一直致力于为开发者和企业提供优质的开源工具,提升整个技术生态的活力。除了维护国内最流行的分词器 analysis-ik 和 analysis-pinyin,也在不断推动更多高质量开源产品的诞生。

在极限科技成立三周年之际,曾勇宣布以下产品和工具已全面开源:

  • INFINI Framework
  • INFINI Gateway
  • INFINI Console
  • INFINI Agent
  • INFINI Loadgen
  • INFINI Coco AI

以上开源软件都可以在 Github 上面找到: https://github.com/infinilabs

随后,极限科技的联合创始人也发表了讲话,分享了创业的艰辛与成功的喜悦,并对所有员工的辛勤付出和合作伙伴的鼎力支持表达了由衷的感谢。

此外,来自行业内外的合作伙伴们也纷纷上台发言,他们高度评价了极限科技在科技创新领域所取得的卓越成就,并对公司未来的发展寄予了厚望。在圆桌讨论环节,与会嘉宾围绕国产化、AI,出海和全球化等前沿话题展开了深入探讨,分享了各自的观点与见解,为极限科技未来的发展提供了宝贵的思路与建议。

整个庆典活动氛围热烈而欢快,与会者们在轻松愉快的氛围中交流心得、分享经验,共同探讨了科技行业的未来发展趋势与机遇。

极限科技作为一家致力于科技创新的先进性企业,坚守引领搜索数据库技术从近实时迈向实时,推动行业的技术迭代与革命为使命。在未来的日子里,极限科技将继续携手合作伙伴,共同开创科技事业的新篇章,为实现更加美好的明天而不懈努力。

此次三周年庆典不仅是对极限科技过去三年努力的肯定与庆祝,更是对未来发展的美好期许并制定航向。我们相信,在全体员工的共同努力和合作伙伴的鼎力支持下,极限科技必将迎来更加辉煌的明天!

原文:https://infinilabs.cn/blog/2024/INFINILabs-3rd-anniversary-celebration/

收起阅读 »

写在极限科技成立三周年之际 - 曾勇(Medcl)

2021 年 12 月 3 日,极限科技正式成立。

不知不觉,从所谓的创业寒冬中出来创业已有三载有余,从最初的几个人到如今的团队壮大,和一群志同道合的伙伴们在一起齐心协力,为共同的理想奋力前行,幸甚至哉。

这一路上,既有艰辛与挑战,也有无数令人欣慰和自豪的瞬间。满怀感恩、感谢、感激,我们因每一位支持者和同行者而倍感荣幸。

初心与理念:打造极致体验的产品哲学

成立之初,我就为公司确立了以下方向:

愿景

用十年时间成为全球排名第一的搜索型数据库厂商。

使命

引领搜索数据库技术从近实时迈向实时,推动行业的技术迭代与革新。

价值观

做用户需要的产品,给客户带来的价值就是我们的价值!

“极限科技”的名称,源于我们的口号:追求极致,无限可能。还有一层寓意,我们坚信,唯有不断打磨产品、精益求精,才能在激烈的市场竞争中立足并持续前行。

作为国内为数不多的以搜索技术为核心的技术创业公司,成立之初,我们便确立了“让搜索更简单”的目标,并将简单、易用、极致、创新作为产品哲学的核心。

基于我们对于客户痛点和行业的理解,我们开发了一系列围绕搜索场景及相关技术的工具与产品,致力于为企业提供更高效、更易用的企业级搜索解决方案。了解我们产品的朋友应该就会感受到我们的产品有什么不同,我们不仅关注功能,同时也关注产品的使用体验,如何让产品更小更轻量级,如何让用户更快上手,如何让操作更符合人体工学。

正是这种对极致体验的不断追求,让极限科技在市场中独树一帜,赢得了用户与行业的高度认可。未来,我们将继续秉持初心,致力于为更多用户带来更加卓越的搜索体验。

里程碑产品与技术突破

总的来说,发布了一些产品,也算是取得了一些不错的进展,在公司成立三周年之际,也简单的给大家作一下汇报和总结。

2021 年 12 月,我们发布了第一个产品叫:极限网关/INFINI Gateway,在极限网关发布的头几个月内就突破了 100 万的下载量,极限网关是一个面向搜索业务场景的网关,完全从零自研,为解决沉淀了多年来我们给客户服务过程中遇到的各种痛点而成,我们做了非常多的创新,比如我们自带浮动 IP 能力,网关双节点高可用变得非常简单,又比如我们独创的在网关层进行 Bulk 请求的无缝分拆合并,业界唯一,在大分片场景为我们某个客户提供了 200 倍的索引重建速度提升,收效明显。又比如我们首创的基于网关来进行无缝迁移和无缝重建等等,还有很多非常多场景化的功能,在此就不一一细述了。

2022 年 7 月,我们又发布了一个新产品:INFINI Console,完全从零自研,是一个面向搜索基础设施的多集群管控平台,支持同时纳管不同的搜索引擎,主要是 Elasticsearch、OpenSearch,以及我们自己后面推出的 Easysearch,她的主要特点是可以跨版本和跨引擎管理,让多集群的管理非常简单,能同时做到不同引擎不同版本可以无缝管理的,目前市面上也就只有我们的这个产品。我们提供的多 Tab 页开发工具使用起来非常方便,监控粒度指标是最全的,可以细化到分片级别的各项指标,我们的探针资源利用率低,客户在线上稳定运行两年了,内存也才 20 几 MB,CPU 更是 1%以内,告警能力也是非常灵活。社区用户反馈也是非常不错。

2023 年 5 月,后面随着业务的发展和客户的需求,我们分叉了开源的 Elasticsearch,并维护发行了自己的分支版本,取名为 INFINI Easysearch,修复完善了原生版本的不少 Bug 和内核缺陷,补齐了很多企业级必需的功能,并做了大量的性能优化,以普通 NGINX 日志数据为例,相比原生版本,我们提升了超过 70% 的索引性能,却只需要三分之一的磁盘存储需求,降本增效明显。

2023 年 7 月,Easysearch 率先通过可信数据库相关测试,荣获中国信通院颁发的《搜索型数据库基础能力专项评测证书》。同时,极限科技首批入选为数据库应用创新实验室搜索行业工作组副组长单位。这不仅是一份荣誉,更是一份沉甸甸的责任。

2023 年 9 月 Easysearch 登顶国内墨天轮搜索型数据库排行榜第一名并一直延续至今,与此同时 Easysearch 也开始被大规模采纳和使用,如公有云厂商中国移动云全面采用 Easysearch 作为国产化搜索引擎底座,已经上线了几十个可用区,线上稳定运行超过 2 年,赋能中国移动集团及 31 省其他项目中构建超大规模日志和搜索业务体系,写入延迟平均降低 45%,查询实时性提升 80% 左右;支撑移动云盘日志和搜索业务能力提升,解决了单个 ES 集群的存储瓶颈。统一对 100+ 个模块进行日志管理,查询延迟降低 45%,极大提升用户体验;接入总量过 PB 的 100+ 业务线条的监控告警、业务日志,实现业务链路数据关联查询。并与移动云团队一起获得信通院颁发的 2023 年大数据 “星河(Galaxy)案例” - 数据库标杆案例

2024 年 6 月,我们正式推出开源项目与教育机构免费许可证计划。我们始终希望将社会责任融入企业发展,因为开源项目和教育机构在技术创新人才培养中扮演着至关重要的角色。通过这一计划,我们旨在为技术进步和教育事业贡献更多力量,携手推动行业和社会的共同发展。

技术突破与开源新篇章

Pizza 搜索引擎与 Pizza WASM:小型系统的离线搜索利器

2023 年 3 月,围绕目前企业级客户存在的痛点以及针对目前搜索技术的局限性,我们正式开始进行下一代搜索引擎的研究,并制定了长期的战略规划,最开始取名为 INFINI Search,后来改名为 INFINI Pizza,这是一款基于 Rust 从零自研的下一代实时搜索引擎,希望解决目前核心搜索业务场景高并发低延迟挑战下,大规模更新效率低下以及实时性较差的问题。围绕 Pizza 设计的展开,我们进行了很多原创设计并取得了多项国家发明专利,软件架构也逐渐清晰,并取得了不错的实质性进展。

2024 年 8 月, Pizza 内核成型,我们正式对外先行推出了 Pizza 内核的衍生产品 Pizza Wasm 和开箱即用的搜索提示框组件 Pizza Searchbox,专为小型网站和嵌入系统设计。

Pizza Wasm 的核心特点包括:

  • 功能完整: 功能全面的查询能力支持,兼容 Lucene 的所有的查询语法。例如:foo bar -baz "qux",(title: concept OR title: index) OR (NOT collection),等等。
  • 轻量级嵌入:仅 200KB 的身材,Pizza WASM 可以方便地嵌入到各类网站和应用中,无需依赖外部服务器。
  • 支持完全离线:为隐私保护和资源受限场景提供了理想的搜索方案。

目前,Pizza 搜索引擎完整的分布式版本,还有少部分功能还在进一步完善中,未来待时机成熟也将正式开源,期待届时更多开发者的参与与共创。

Coco AI:企业搜索的智能助手

近期,我们发布了全新的企业搜索产品——Coco AI。作为极限科技首次面向终端用户推出的产品,Coco AI 利用大模型技术和强大的搜索引擎能力,旨在极大提升企业搜索的用户体验。通过将企业各类应用和数据统一集成,Coco AI 帮助用户更高效地访问和互动团队的独特知识,推动跨数据的协作与洞察。

Coco AI 的核心特点包括:

  • 智能问答与搜索推荐:基于企业内部知识库,结合 Easysearch 的向量搜索技术与大模型进行 RAG 整合,Coco AI 实现了企业内知识库的精准匹配与个性化知识内容生成,提升搜索和推荐的智能化水平。
  • Rust + Tauri 桌面端 App:用户可以通过桌面应用一键搜索,融合本地端+云,迅速访问并互动企业内部的知识,优化工作流程,节省时间。

Coco AI 让企业团队的知识触手可及,提升协作效率,推动业务创新。目前 Coco AI 已完成基础功能原型,欢迎各界朋友们体验这一创新产品。

产品全面开源,共创生态

极限科技的基因中始终与开源紧密相连。我们一直致力于为开发者和企业提供优质的开源工具,提升整个技术生态的活力。除了维护国内最流行的分词器 analysis-ikanalysis-pinyin,我们也在不断推动更多高质量开源产品的诞生。

在极限科技成立三周年之际,我们非常高兴地宣布以下产品和工具将全面开源:

  • INFINI Framework
  • INFINI Gateway
  • INFINI Console
  • INFINI Agent
  • INFINI Loadgen
  • INFINI Coco AI

以上开源软件都可以在我们的 Github 上面找到:https://github.com/infinilabs

我们希望通过开源,汇聚更多用户和开发者的智慧,共同完善这些工具与产品。同时,也期待这些产品能为更多企业和开发者带来价值与便利。欢迎大家体验并参与贡献,一起共创更开放、更加繁荣的技术生态。

三年为始,未来可期

三年时间,是一段成长的旅程,更是一个全新的起点。未来,我们将继续秉持初心,追求极致创新,拥抱开源,赋能企业,服务社会

在此,我想借这个机会,向所有支持极限科技的客户,以及关注我们的合作伙伴和朋友们,致以最诚挚的感谢!感谢你们一路以来的信任与陪伴,让我们不断前行。

同时,也要感谢创业路上一同成长的伙伴们,是你们的坚持与努力,让我们的梦想变为现实。

三周年只是一个起点,未来,无限可期。我们期待与大家携手同行,共创更加辉煌的明天!


极限科技创始人 & CEO - 曾勇

2024 年 12 月 3 日

原文:https://infinilabs.cn/blog/2024/INFINILabs-3rd-anniversary/

继续阅读 »

2021 年 12 月 3 日,极限科技正式成立。

不知不觉,从所谓的创业寒冬中出来创业已有三载有余,从最初的几个人到如今的团队壮大,和一群志同道合的伙伴们在一起齐心协力,为共同的理想奋力前行,幸甚至哉。

这一路上,既有艰辛与挑战,也有无数令人欣慰和自豪的瞬间。满怀感恩、感谢、感激,我们因每一位支持者和同行者而倍感荣幸。

初心与理念:打造极致体验的产品哲学

成立之初,我就为公司确立了以下方向:

愿景

用十年时间成为全球排名第一的搜索型数据库厂商。

使命

引领搜索数据库技术从近实时迈向实时,推动行业的技术迭代与革新。

价值观

做用户需要的产品,给客户带来的价值就是我们的价值!

“极限科技”的名称,源于我们的口号:追求极致,无限可能。还有一层寓意,我们坚信,唯有不断打磨产品、精益求精,才能在激烈的市场竞争中立足并持续前行。

作为国内为数不多的以搜索技术为核心的技术创业公司,成立之初,我们便确立了“让搜索更简单”的目标,并将简单、易用、极致、创新作为产品哲学的核心。

基于我们对于客户痛点和行业的理解,我们开发了一系列围绕搜索场景及相关技术的工具与产品,致力于为企业提供更高效、更易用的企业级搜索解决方案。了解我们产品的朋友应该就会感受到我们的产品有什么不同,我们不仅关注功能,同时也关注产品的使用体验,如何让产品更小更轻量级,如何让用户更快上手,如何让操作更符合人体工学。

正是这种对极致体验的不断追求,让极限科技在市场中独树一帜,赢得了用户与行业的高度认可。未来,我们将继续秉持初心,致力于为更多用户带来更加卓越的搜索体验。

里程碑产品与技术突破

总的来说,发布了一些产品,也算是取得了一些不错的进展,在公司成立三周年之际,也简单的给大家作一下汇报和总结。

2021 年 12 月,我们发布了第一个产品叫:极限网关/INFINI Gateway,在极限网关发布的头几个月内就突破了 100 万的下载量,极限网关是一个面向搜索业务场景的网关,完全从零自研,为解决沉淀了多年来我们给客户服务过程中遇到的各种痛点而成,我们做了非常多的创新,比如我们自带浮动 IP 能力,网关双节点高可用变得非常简单,又比如我们独创的在网关层进行 Bulk 请求的无缝分拆合并,业界唯一,在大分片场景为我们某个客户提供了 200 倍的索引重建速度提升,收效明显。又比如我们首创的基于网关来进行无缝迁移和无缝重建等等,还有很多非常多场景化的功能,在此就不一一细述了。

2022 年 7 月,我们又发布了一个新产品:INFINI Console,完全从零自研,是一个面向搜索基础设施的多集群管控平台,支持同时纳管不同的搜索引擎,主要是 Elasticsearch、OpenSearch,以及我们自己后面推出的 Easysearch,她的主要特点是可以跨版本和跨引擎管理,让多集群的管理非常简单,能同时做到不同引擎不同版本可以无缝管理的,目前市面上也就只有我们的这个产品。我们提供的多 Tab 页开发工具使用起来非常方便,监控粒度指标是最全的,可以细化到分片级别的各项指标,我们的探针资源利用率低,客户在线上稳定运行两年了,内存也才 20 几 MB,CPU 更是 1%以内,告警能力也是非常灵活。社区用户反馈也是非常不错。

2023 年 5 月,后面随着业务的发展和客户的需求,我们分叉了开源的 Elasticsearch,并维护发行了自己的分支版本,取名为 INFINI Easysearch,修复完善了原生版本的不少 Bug 和内核缺陷,补齐了很多企业级必需的功能,并做了大量的性能优化,以普通 NGINX 日志数据为例,相比原生版本,我们提升了超过 70% 的索引性能,却只需要三分之一的磁盘存储需求,降本增效明显。

2023 年 7 月,Easysearch 率先通过可信数据库相关测试,荣获中国信通院颁发的《搜索型数据库基础能力专项评测证书》。同时,极限科技首批入选为数据库应用创新实验室搜索行业工作组副组长单位。这不仅是一份荣誉,更是一份沉甸甸的责任。

2023 年 9 月 Easysearch 登顶国内墨天轮搜索型数据库排行榜第一名并一直延续至今,与此同时 Easysearch 也开始被大规模采纳和使用,如公有云厂商中国移动云全面采用 Easysearch 作为国产化搜索引擎底座,已经上线了几十个可用区,线上稳定运行超过 2 年,赋能中国移动集团及 31 省其他项目中构建超大规模日志和搜索业务体系,写入延迟平均降低 45%,查询实时性提升 80% 左右;支撑移动云盘日志和搜索业务能力提升,解决了单个 ES 集群的存储瓶颈。统一对 100+ 个模块进行日志管理,查询延迟降低 45%,极大提升用户体验;接入总量过 PB 的 100+ 业务线条的监控告警、业务日志,实现业务链路数据关联查询。并与移动云团队一起获得信通院颁发的 2023 年大数据 “星河(Galaxy)案例” - 数据库标杆案例

2024 年 6 月,我们正式推出开源项目与教育机构免费许可证计划。我们始终希望将社会责任融入企业发展,因为开源项目和教育机构在技术创新人才培养中扮演着至关重要的角色。通过这一计划,我们旨在为技术进步和教育事业贡献更多力量,携手推动行业和社会的共同发展。

技术突破与开源新篇章

Pizza 搜索引擎与 Pizza WASM:小型系统的离线搜索利器

2023 年 3 月,围绕目前企业级客户存在的痛点以及针对目前搜索技术的局限性,我们正式开始进行下一代搜索引擎的研究,并制定了长期的战略规划,最开始取名为 INFINI Search,后来改名为 INFINI Pizza,这是一款基于 Rust 从零自研的下一代实时搜索引擎,希望解决目前核心搜索业务场景高并发低延迟挑战下,大规模更新效率低下以及实时性较差的问题。围绕 Pizza 设计的展开,我们进行了很多原创设计并取得了多项国家发明专利,软件架构也逐渐清晰,并取得了不错的实质性进展。

2024 年 8 月, Pizza 内核成型,我们正式对外先行推出了 Pizza 内核的衍生产品 Pizza Wasm 和开箱即用的搜索提示框组件 Pizza Searchbox,专为小型网站和嵌入系统设计。

Pizza Wasm 的核心特点包括:

  • 功能完整: 功能全面的查询能力支持,兼容 Lucene 的所有的查询语法。例如:foo bar -baz "qux",(title: concept OR title: index) OR (NOT collection),等等。
  • 轻量级嵌入:仅 200KB 的身材,Pizza WASM 可以方便地嵌入到各类网站和应用中,无需依赖外部服务器。
  • 支持完全离线:为隐私保护和资源受限场景提供了理想的搜索方案。

目前,Pizza 搜索引擎完整的分布式版本,还有少部分功能还在进一步完善中,未来待时机成熟也将正式开源,期待届时更多开发者的参与与共创。

Coco AI:企业搜索的智能助手

近期,我们发布了全新的企业搜索产品——Coco AI。作为极限科技首次面向终端用户推出的产品,Coco AI 利用大模型技术和强大的搜索引擎能力,旨在极大提升企业搜索的用户体验。通过将企业各类应用和数据统一集成,Coco AI 帮助用户更高效地访问和互动团队的独特知识,推动跨数据的协作与洞察。

Coco AI 的核心特点包括:

  • 智能问答与搜索推荐:基于企业内部知识库,结合 Easysearch 的向量搜索技术与大模型进行 RAG 整合,Coco AI 实现了企业内知识库的精准匹配与个性化知识内容生成,提升搜索和推荐的智能化水平。
  • Rust + Tauri 桌面端 App:用户可以通过桌面应用一键搜索,融合本地端+云,迅速访问并互动企业内部的知识,优化工作流程,节省时间。

Coco AI 让企业团队的知识触手可及,提升协作效率,推动业务创新。目前 Coco AI 已完成基础功能原型,欢迎各界朋友们体验这一创新产品。

产品全面开源,共创生态

极限科技的基因中始终与开源紧密相连。我们一直致力于为开发者和企业提供优质的开源工具,提升整个技术生态的活力。除了维护国内最流行的分词器 analysis-ikanalysis-pinyin,我们也在不断推动更多高质量开源产品的诞生。

在极限科技成立三周年之际,我们非常高兴地宣布以下产品和工具将全面开源:

  • INFINI Framework
  • INFINI Gateway
  • INFINI Console
  • INFINI Agent
  • INFINI Loadgen
  • INFINI Coco AI

以上开源软件都可以在我们的 Github 上面找到:https://github.com/infinilabs

我们希望通过开源,汇聚更多用户和开发者的智慧,共同完善这些工具与产品。同时,也期待这些产品能为更多企业和开发者带来价值与便利。欢迎大家体验并参与贡献,一起共创更开放、更加繁荣的技术生态。

三年为始,未来可期

三年时间,是一段成长的旅程,更是一个全新的起点。未来,我们将继续秉持初心,追求极致创新,拥抱开源,赋能企业,服务社会

在此,我想借这个机会,向所有支持极限科技的客户,以及关注我们的合作伙伴和朋友们,致以最诚挚的感谢!感谢你们一路以来的信任与陪伴,让我们不断前行。

同时,也要感谢创业路上一同成长的伙伴们,是你们的坚持与努力,让我们的梦想变为现实。

三周年只是一个起点,未来,无限可期。我们期待与大家携手同行,共创更加辉煌的明天!


极限科技创始人 & CEO - 曾勇

2024 年 12 月 3 日

原文:https://infinilabs.cn/blog/2024/INFINILabs-3rd-anniversary/

收起阅读 »

喜报!极限科技(INFINI Labs)通过国家高新技术企业认定

INFINI Labs

2024 年 10 月 29 日,国家高新技术企业认定管理工作网公示了北京市认定机构 2024 年认定报备的第一批高新技术企业备案名单,极限数据(北京)科技有限公司 顺利通过本次高新技术企业评审,并获得 国家级“高新技术企业”认定

国家高新技术企业是指在《国家重点支持的高新技术领域》范围内,持续进行研究开发与技术成果转化活动,形成企业核心自主知识产权,并以此为基础开展其经营业务的企业。这类企业的认定遵循严苛的评审标准,对企业的科技创新实力,涵盖核心自主知识产权的拥有情况、科技成果的转化能力、研发组织管理水平以及多项成长性指标等,均设有明确的硬性要求,是国家衡量企业科研实力及水平的重要标志。

此次通过高新技术企业认定,是极限科技(INFINI Labs)在科技创新道路上迈出的重要一步,也是极限科技整体实力和创新能力的有力证明。未来,极限科技将继续专注于搜索型数据库技术的研发与创新,为客户提供更加优质、稳定、高效、安全的数据搜索服务和分析体验。公司也将继续坚定不移地走自主创新的道路,持续加大科研投入,强化公司的技术创新能力及科技成果转化能力,持续提升自身的核心竞争力和市场影响力,为行业的高质量发展提供坚实支撑。

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://infinilabs.cn

原文:https://infinilabs.cn/blog/2024/news-20241129/

继续阅读 »

INFINI Labs

2024 年 10 月 29 日,国家高新技术企业认定管理工作网公示了北京市认定机构 2024 年认定报备的第一批高新技术企业备案名单,极限数据(北京)科技有限公司 顺利通过本次高新技术企业评审,并获得 国家级“高新技术企业”认定

国家高新技术企业是指在《国家重点支持的高新技术领域》范围内,持续进行研究开发与技术成果转化活动,形成企业核心自主知识产权,并以此为基础开展其经营业务的企业。这类企业的认定遵循严苛的评审标准,对企业的科技创新实力,涵盖核心自主知识产权的拥有情况、科技成果的转化能力、研发组织管理水平以及多项成长性指标等,均设有明确的硬性要求,是国家衡量企业科研实力及水平的重要标志。

此次通过高新技术企业认定,是极限科技(INFINI Labs)在科技创新道路上迈出的重要一步,也是极限科技整体实力和创新能力的有力证明。未来,极限科技将继续专注于搜索型数据库技术的研发与创新,为客户提供更加优质、稳定、高效、安全的数据搜索服务和分析体验。公司也将继续坚定不移地走自主创新的道路,持续加大科研投入,强化公司的技术创新能力及科技成果转化能力,持续提升自身的核心竞争力和市场影响力,为行业的高质量发展提供坚实支撑。

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://infinilabs.cn

原文:https://infinilabs.cn/blog/2024/news-20241129/

收起阅读 »

校招回顾 | “青春不散场,梦想正起航”,极限科技(INFINI Labs)亮相湖北工业大学 2025 秋季校园招聘会

10 月 31 日,极限科技(INFINI Labs) 受邀参加 湖北工业大学 2025 届秋季校园招聘会,这不仅是一次与满怀激情的青年学子们的深度碰撞,更是一场关于青春与未来的美好邂逅。让我们一起回顾校招现场的精彩瞬间,重温那些闪耀的时刻。

一、梦想起航,共赴盛宴

怀揣着满满的诚意和期待,我们走进了这片充满梦想与希望的校园。此次校园招聘,是极限科技与湖北工业大学优秀学子们的一次珍贵相遇,为彼此带来了探索未来的无限可能。

作为公司与学生们沟通的桥梁,我们的招聘团队热切地希望能够在这片年轻的沃土上找到与极限科技共同成长的未来之星。面对面地交流、零距离的接触,让我们与这些怀抱理想的年轻人一起开启了梦想的旅程。

二、双向奔赴,精彩纷呈

招聘会活动现场人潮涌动,气氛热烈。我们提供了 Web 前端研发工程师、搜索引擎后端研发工程师等多个技术岗位,展台前围满了对岗位感兴趣的学生。

我们的招聘老师们与湖北工业大学的学子们深入交流、热情互动。从公司文化到岗位职责,从职业规划到未来前景,每一个话题都充满干货与温情。学生们积极提问,展现了他们对职场的好奇与渴望;而我们的老师们则耐心解答,用专业和热情为学子们点亮通向未来的明灯。

三、未来可期,大有可为

在这次校招活动中,我们不仅看到了学子们的青春活力和美好憧憬,也感受到了他们对未来的坚定信念。活动结束时,我们收获的不仅是优秀的人才,更是对未来的无限期待和向往。

未来,极限科技将以更加开放的姿态和更为广阔的舞台,迎接每一位有志之士的加入。我们期待着与这些年轻的力量共同奋斗,书写属于彼此的光辉篇章。

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://infinilabs.cn

原文:https://infinilabs.cn/blog/2024/infinilabs-appeared-at-HBUT-2025-fall-campus-recruitment-fair/

继续阅读 »

10 月 31 日,极限科技(INFINI Labs) 受邀参加 湖北工业大学 2025 届秋季校园招聘会,这不仅是一次与满怀激情的青年学子们的深度碰撞,更是一场关于青春与未来的美好邂逅。让我们一起回顾校招现场的精彩瞬间,重温那些闪耀的时刻。

一、梦想起航,共赴盛宴

怀揣着满满的诚意和期待,我们走进了这片充满梦想与希望的校园。此次校园招聘,是极限科技与湖北工业大学优秀学子们的一次珍贵相遇,为彼此带来了探索未来的无限可能。

作为公司与学生们沟通的桥梁,我们的招聘团队热切地希望能够在这片年轻的沃土上找到与极限科技共同成长的未来之星。面对面地交流、零距离的接触,让我们与这些怀抱理想的年轻人一起开启了梦想的旅程。

二、双向奔赴,精彩纷呈

招聘会活动现场人潮涌动,气氛热烈。我们提供了 Web 前端研发工程师、搜索引擎后端研发工程师等多个技术岗位,展台前围满了对岗位感兴趣的学生。

我们的招聘老师们与湖北工业大学的学子们深入交流、热情互动。从公司文化到岗位职责,从职业规划到未来前景,每一个话题都充满干货与温情。学生们积极提问,展现了他们对职场的好奇与渴望;而我们的老师们则耐心解答,用专业和热情为学子们点亮通向未来的明灯。

三、未来可期,大有可为

在这次校招活动中,我们不仅看到了学子们的青春活力和美好憧憬,也感受到了他们对未来的坚定信念。活动结束时,我们收获的不仅是优秀的人才,更是对未来的无限期待和向往。

未来,极限科技将以更加开放的姿态和更为广阔的舞台,迎接每一位有志之士的加入。我们期待着与这些年轻的力量共同奋斗,书写属于彼此的光辉篇章。

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://infinilabs.cn

原文:https://infinilabs.cn/blog/2024/infinilabs-appeared-at-HBUT-2025-fall-campus-recruitment-fair/

收起阅读 »

Tauri(一)——更适合 Web 开发人员的桌面应用开发解决方案 ✅

image.png

背景

我们最近决定开发一个开源的桌面端应用程序(先卖个关子,会尽快推出,敬请期待!关注一下不迷路!),并选择了 Tauri 作为技术方案。可能只有少部分人了解过它,感兴趣的朋友们可以一起深入探讨!

Tauri 介绍

image.png

官方介绍:创建小型、快速、安全、跨平台应用程序

通俗的理解

Tauri 是一个跨平台的桌面应用程序框架,它使程序员能够熟练的使用 Web 技术(例如:HTML、CSS、JS 以及流程的框架 Vue.jsSvelteReactSolidJSAngularPreact 等),轻松的去创建桌面应用程序。

对于我们这些希望深入桌面应用程序开发的 Web 开发人员来说,Tauri 是一个非常适合的选择,而且不需要面对陡峭的学习曲线。如今,Web 技术已经成为最强大的 UI 技术之一,能够在多个支持 Web 浏览器的平台上无缝运行。使用 Tauri,我们可以完全按照在 Web 上设想的方式来设计 UI,这意味着可以继续使用熟悉的 Web 开发技能,打造出色且用户友好的界面。

在某些情况下,桌面应用程序的性能确实优于 Web 应用程序。选择桌面应用的一个关键原因是,Web 应用通常受限于浏览器内的本机 API,无法像桌面应用那样与操作系统深入交互。(例如,使用 Web 应用时,我们无法在后台访问文件系统或读取剪贴板数据。)而桌面应用则能更好地访问本机 API,甚至可以通过比 JavaScript 更高效的语言来实现性能的提升(例如:Rust)。因此,如果一个桌面框架既能利用灵活的 UI 和庞大的 Web 生态系统,又能提供对本机 API 的全面访问(Web + Native APIs),那将是一个完美的选择。

image.png

Tauri 结合了两个主要生态系统,并提供了对本机 API 的访问,让开发体验更加完善。

Tauri 的架构由两个核心组件构成:

  1. 是基于 Web 构建的前端
  2. 是使用 Rust 编程语言开发的后端,称为 Tauri Core。

前端允许我们使用自己擅长的 Web 技术(如 React 和 Vue)创建灵活且富有视觉吸引力的 UI,而 Rust 后端通过进程间通信打开了通向本机 API 的大门。(比如,能够访问剪贴板或进行文件系统操作。)借助 Rust 的高性能,即使在处理计算密集型任务时,我们的应用程序也能高效、平稳地运行。

这就是为什么我们认为 Tauri 是在 Web 技术基础上构建跨平台桌面应用程序的理想选择(技术选型)。

VS Electron

Electron 简介

image.png

在此,我们必须提到 Electron,它可能是当今最流行的跨平台框架。从其版本的迭代,Star 的数量都不难看出。Electron 已经凭借成为众多知名应用程序的基础证明了自己的价值。如上图, 进入该网址 https://www.electronjs.org/apps 可以看到广泛的案例,每一个使用的应用都证明了 Electron 的强大功能和受欢迎程度。开发社区也对 Electron 所取得的成就给予了高度认可。

不过,在讨论任何技术细节之前,我觉得有必要对比一下 Electron 和其他框架,帮助我们更好地判断哪个框架最适合我们的需求,并做出明智的选择。

image.png

State of JavaScript 用户数据对比

对比这个事,肯定不能听一家之言,所以还是看看更多的数据,那就先看看 State of JavaScript 调查统计结果。分别从使用度、认知度、关注度、保留度、积极性等方面做了调查统计。

统计数据地址:https://2023.stateofjs.com/zh-Hans/libraries/mobile_desktop/

  1. 使用度 image.png

  2. 认知度 image.png

  3. 关注度 image.png

  4. 保留度 image.png

  5. 积极性 image.png

技术对比

对于技术方向对比,我也是刚开始接触,具体也不清楚,也给不出太多的建议,但是网上依然有很多人给出了对比结果,我们一起来看看。

下面是 ElectronJSTauri 的对比表格,从多个维度展示它们的差异:

特性 ElectronJS Tauri
框架体积 应用体积较大,通常超过 100MB 应用体积小得多,通常小于 10MB
内存占用 内存占用较高,通常每个应用实例需要较多的内存资源 内存占用较低,使用更少的资源
技术栈 基于 Chromium 和 Node.js(打包整个浏览器运行时) 基于 WebView 和 Rust(无需打包整个浏览器)
性能 由于打包整个 Chromium,性能会较低 使用原生系统的 WebView 组件,性能更高
API 访问 通过 Node.js 可以访问部分系统 API 提供 Rust 后端,能轻松访问操作系统的原生 API
安全性 必须小心处理 Node.js 和 Web 内容的通信,防止安全漏洞 默认更安全,Tauri 采用了严格的安全模式
打包和发布 需要配置 electron-builder 或 electron-forge 来打包 内置应用打包工具(如 AppImage、DMG、EXE),无需外部依赖
支持的语言 JavaScript、TypeScript JavaScript、TypeScript(前端)和 Rust(后端)
生态系统 丰富的社区和插件生态,许多现成的模板和工具 社区正在发展,官方模板更稳定可靠
开发者体验 强大的文档和社区支持,易于上手,广泛使用 更轻量的解决方案,文档较完善,Rust 语言的学习曲线稍高
跨平台支持 支持 Windows、macOS、Linux 支持 Windows、macOS、Linux,且更容易优化体积和性能
调试工具 支持 Chrome DevTools,开发和调试非常便捷 支持 DevTools,前端调试体验类似,但后端需要 Rust 的调试工具
更新机制 需要手动配置更新机制,如使用 electron-updater 内置自动更新功能,官方支持简化更新流程
项目初始化 - 需要手动创建 npm 项目,安装 Electron 库。 - 提供内置 CLI 工具,快速生成项目。
- 从头开始,使用 JavaScript/HTML 手动配置项目结构。 - 使用官方模板自动配置项目结构,减少手动设置。
官方模板支持 - 缺少官方模板,通常依赖社区维护的 boilerplates。 - 提供多种官方模板,支持 React、Vue、Svelte 等前端框架。

主要区别总结

  • 复杂性:Tauri 内置工具、官方模板、简化配置文件;Electron 需要安装更多的工具和依赖,官方模板少,需要花更多时间进行初期设置。
  • 体积与性能:Tauri 应用更轻量、性能更好,非常适合对资源占用敏感的场景;Electron 则相对较重,但生态和成熟度更高。
  • 系统 API 访问:Tauri 能够更直接访问操作系统原生 API,适合需要本机功能的应用;Electron 依赖 Node.js,需要额外配置访问系统资源。
  • 打包与发布:Tauri 的打包更简洁高效,尤其在生成轻量应用上有明显优势。

image.png

对比内容参考链接:

小结

随着 Web 技术的飞速发展,开发人员在构建桌面应用时不再局限于传统的本地编程语言。Tauri 作为一款轻量级、跨平台的桌面应用开发框架,完美结合了 Web 开发的灵活性与桌面应用的强大性能。它为那些熟悉前端技术的开发者打开了通往桌面开发的大门,而不需要面对陡峭的学习曲线。在这篇文章中,我们探讨了为什么 Tauri 是 Web 开发人员的理想选择,它不仅能够利用现有的 Web 技能,还能实现对本地 API 的无缝访问,让开发者更轻松地构建出色的桌面应用。

后续进行实战上手,敬请期待!

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://infinilabs.cn

继续阅读 »

image.png

背景

我们最近决定开发一个开源的桌面端应用程序(先卖个关子,会尽快推出,敬请期待!关注一下不迷路!),并选择了 Tauri 作为技术方案。可能只有少部分人了解过它,感兴趣的朋友们可以一起深入探讨!

Tauri 介绍

image.png

官方介绍:创建小型、快速、安全、跨平台应用程序

通俗的理解

Tauri 是一个跨平台的桌面应用程序框架,它使程序员能够熟练的使用 Web 技术(例如:HTML、CSS、JS 以及流程的框架 Vue.jsSvelteReactSolidJSAngularPreact 等),轻松的去创建桌面应用程序。

对于我们这些希望深入桌面应用程序开发的 Web 开发人员来说,Tauri 是一个非常适合的选择,而且不需要面对陡峭的学习曲线。如今,Web 技术已经成为最强大的 UI 技术之一,能够在多个支持 Web 浏览器的平台上无缝运行。使用 Tauri,我们可以完全按照在 Web 上设想的方式来设计 UI,这意味着可以继续使用熟悉的 Web 开发技能,打造出色且用户友好的界面。

在某些情况下,桌面应用程序的性能确实优于 Web 应用程序。选择桌面应用的一个关键原因是,Web 应用通常受限于浏览器内的本机 API,无法像桌面应用那样与操作系统深入交互。(例如,使用 Web 应用时,我们无法在后台访问文件系统或读取剪贴板数据。)而桌面应用则能更好地访问本机 API,甚至可以通过比 JavaScript 更高效的语言来实现性能的提升(例如:Rust)。因此,如果一个桌面框架既能利用灵活的 UI 和庞大的 Web 生态系统,又能提供对本机 API 的全面访问(Web + Native APIs),那将是一个完美的选择。

image.png

Tauri 结合了两个主要生态系统,并提供了对本机 API 的访问,让开发体验更加完善。

Tauri 的架构由两个核心组件构成:

  1. 是基于 Web 构建的前端
  2. 是使用 Rust 编程语言开发的后端,称为 Tauri Core。

前端允许我们使用自己擅长的 Web 技术(如 React 和 Vue)创建灵活且富有视觉吸引力的 UI,而 Rust 后端通过进程间通信打开了通向本机 API 的大门。(比如,能够访问剪贴板或进行文件系统操作。)借助 Rust 的高性能,即使在处理计算密集型任务时,我们的应用程序也能高效、平稳地运行。

这就是为什么我们认为 Tauri 是在 Web 技术基础上构建跨平台桌面应用程序的理想选择(技术选型)。

VS Electron

Electron 简介

image.png

在此,我们必须提到 Electron,它可能是当今最流行的跨平台框架。从其版本的迭代,Star 的数量都不难看出。Electron 已经凭借成为众多知名应用程序的基础证明了自己的价值。如上图, 进入该网址 https://www.electronjs.org/apps 可以看到广泛的案例,每一个使用的应用都证明了 Electron 的强大功能和受欢迎程度。开发社区也对 Electron 所取得的成就给予了高度认可。

不过,在讨论任何技术细节之前,我觉得有必要对比一下 Electron 和其他框架,帮助我们更好地判断哪个框架最适合我们的需求,并做出明智的选择。

image.png

State of JavaScript 用户数据对比

对比这个事,肯定不能听一家之言,所以还是看看更多的数据,那就先看看 State of JavaScript 调查统计结果。分别从使用度、认知度、关注度、保留度、积极性等方面做了调查统计。

统计数据地址:https://2023.stateofjs.com/zh-Hans/libraries/mobile_desktop/

  1. 使用度 image.png

  2. 认知度 image.png

  3. 关注度 image.png

  4. 保留度 image.png

  5. 积极性 image.png

技术对比

对于技术方向对比,我也是刚开始接触,具体也不清楚,也给不出太多的建议,但是网上依然有很多人给出了对比结果,我们一起来看看。

下面是 ElectronJSTauri 的对比表格,从多个维度展示它们的差异:

特性 ElectronJS Tauri
框架体积 应用体积较大,通常超过 100MB 应用体积小得多,通常小于 10MB
内存占用 内存占用较高,通常每个应用实例需要较多的内存资源 内存占用较低,使用更少的资源
技术栈 基于 Chromium 和 Node.js(打包整个浏览器运行时) 基于 WebView 和 Rust(无需打包整个浏览器)
性能 由于打包整个 Chromium,性能会较低 使用原生系统的 WebView 组件,性能更高
API 访问 通过 Node.js 可以访问部分系统 API 提供 Rust 后端,能轻松访问操作系统的原生 API
安全性 必须小心处理 Node.js 和 Web 内容的通信,防止安全漏洞 默认更安全,Tauri 采用了严格的安全模式
打包和发布 需要配置 electron-builder 或 electron-forge 来打包 内置应用打包工具(如 AppImage、DMG、EXE),无需外部依赖
支持的语言 JavaScript、TypeScript JavaScript、TypeScript(前端)和 Rust(后端)
生态系统 丰富的社区和插件生态,许多现成的模板和工具 社区正在发展,官方模板更稳定可靠
开发者体验 强大的文档和社区支持,易于上手,广泛使用 更轻量的解决方案,文档较完善,Rust 语言的学习曲线稍高
跨平台支持 支持 Windows、macOS、Linux 支持 Windows、macOS、Linux,且更容易优化体积和性能
调试工具 支持 Chrome DevTools,开发和调试非常便捷 支持 DevTools,前端调试体验类似,但后端需要 Rust 的调试工具
更新机制 需要手动配置更新机制,如使用 electron-updater 内置自动更新功能,官方支持简化更新流程
项目初始化 - 需要手动创建 npm 项目,安装 Electron 库。 - 提供内置 CLI 工具,快速生成项目。
- 从头开始,使用 JavaScript/HTML 手动配置项目结构。 - 使用官方模板自动配置项目结构,减少手动设置。
官方模板支持 - 缺少官方模板,通常依赖社区维护的 boilerplates。 - 提供多种官方模板,支持 React、Vue、Svelte 等前端框架。

主要区别总结

  • 复杂性:Tauri 内置工具、官方模板、简化配置文件;Electron 需要安装更多的工具和依赖,官方模板少,需要花更多时间进行初期设置。
  • 体积与性能:Tauri 应用更轻量、性能更好,非常适合对资源占用敏感的场景;Electron 则相对较重,但生态和成熟度更高。
  • 系统 API 访问:Tauri 能够更直接访问操作系统原生 API,适合需要本机功能的应用;Electron 依赖 Node.js,需要额外配置访问系统资源。
  • 打包与发布:Tauri 的打包更简洁高效,尤其在生成轻量应用上有明显优势。

image.png

对比内容参考链接:

小结

随着 Web 技术的飞速发展,开发人员在构建桌面应用时不再局限于传统的本地编程语言。Tauri 作为一款轻量级、跨平台的桌面应用开发框架,完美结合了 Web 开发的灵活性与桌面应用的强大性能。它为那些熟悉前端技术的开发者打开了通往桌面开发的大门,而不需要面对陡峭的学习曲线。在这篇文章中,我们探讨了为什么 Tauri 是 Web 开发人员的理想选择,它不仅能够利用现有的 Web 技能,还能实现对本地 API 的无缝访问,让开发者更轻松地构建出色的桌面应用。

后续进行实战上手,敬请期待!

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://infinilabs.cn

收起阅读 »

搜索型数据库的技术发展历程与趋势前瞻

概述

随着数字科技的飞速发展和信息量的爆炸性增长,搜索引擎已成为我们获取信息的首选途径之一,典型的代表厂商如 Google。然而,随着用户需求的不断演变,传统的搜索技术已经无法满足人们对信息的实时性、个性化和多样性的需求。

在企业内部,这种需求更加显著。随着企业数字化转型的持续深化,非结构化数据正日益成为各类组织数据增长的主要来源,也是数据体系中至关重要的组成部分,蕴含着巨大的价值。如何高效地存储和利用非结构化数据的重要性也日益凸显。企业需要更高效地管理和检索内部的海量数据,以支持业务决策和运营需求。

据 IDC 数据预计,到 2025 年,80%的数据将是非结构化数据;而根据 Gartner 的数据显示,从 2019 年到 2024 年,非结构化数据容量预计将增加两倍。然而,目前非结构化数据面临着表现形式多样、管理复杂性高、价值挖掘难度大等诸多挑战。传统的数据库系统往往无法满足企业对实时性和多样性的搜索需求,为了解决这些挑战,以自动分词、倒排索引、相关度计算、向量检索引擎等技术为核心构建的搜索型数据库应运而生。这些数据库自上世纪 90 年代诞生以来不断发展演进,正在成为数据库领域中不可或缺的一个重要分支。

什么是搜索型数据库?

搜索型数据库早期又称全文数据库,或者企业搜索引擎,是一种专门用于存储和管理大规模文本数据,并支持高效的文本搜索和信息检索的数据库系统,不过随着技术不断发展和应用场景日益丰富,目前搜索型数据库不仅仅可以处理长文本数据,也可以处理常见的数值、日期等结构化数据,IP、地理位置信息、图片、音视频等非结构化数据,搜索型数据库的应用范畴不断拓展,正在由支撑业务系统检索加速、IT 运维可观测性、聚合查询分析等向多场景、多模态数据搜索方向发展。

典型的搜索数据库一般具有以下特点:

  1. 灵活的索引能力:搜索数据库能够处理多种类型的数据,包括文本、图像、音频、视频等非结构化数据。它们采用自动分词、倒排索引等技术,能够高效地处理不同格式和类型的数据,提供灵活的搜索和检索功能。
  2. 高效的查询性能:搜索数据库具有高效的查询处理能力,能够快速索引和检索大规模的数据。借助优化的索引结构和查询算法,搜索数据库能够在短时间内准确地返回与查询相关的结果,提高用户的搜索效率,常用于解决关系型数据库的高并发检索需求。
  3. 支持复杂的搜索功能:搜索数据库提供多样化的搜索功能,包括全文检索、模糊搜索、精确搜索、范围搜索、向量搜索、地理信息检索等。用户可以根据不同的需求和场景,灵活地选择和组合不同的搜索功能,以获取符合期望的搜索结果。
  4. 高性能和可扩展性:搜索数据库具有高性能和可扩展性的特点,能够处理大规模数据和高并发访问。它们采用分布式架构和并行计算技术,实现了水平扩展,能够满足不断增长的数据量和用户访问量的需求。

综上所述,搜索数据库具有处理非结构化数据、实时搜索和更新、多样化的搜索功能、个性化推荐和智能搜索、高性能和可扩展性、全面的搜索结果展示等特点,是处理大规模数据和提供高效搜索服务的重要工具。

搜索型数据库的应用场景

搜索型数据库在各行各业都有广泛的应用,以下是一些典型的应用场景:

  1. 零售和电商:在零售和电商行业,搜索型数据库被广泛应用于产品搜索和推荐系统中。通过搜索功能,顾客可以轻松查找所需商品,而个性化推荐系统则可以根据用户的搜索历史和行为习惯推荐相关的产品,提高购物体验和交易转化率。
  2. 医疗保健:在医疗保健行业,搜索型数据库被用于医学文献检索、疾病诊断和药物搜索等方面。医生和研究人员可以利用搜索功能找到相关的医学文献和研究成果,帮助诊断疾病和制定治疗方案。
  3. 金融服务:在金融服务行业,搜索型数据库被用于金融数据检索、市场分析和投资决策等方面。投资者可以通过搜索功能查找相关的金融数据和市场资讯,帮助他们做出更加准确的投资决策。
  4. 制造业:在制造业中,搜索型数据库被用于生产过程监控、质量控制和故障诊断等方面。工程师可以利用搜索功能查找相关的生产数据和技术资料,帮助他们解决生产中的问题和挑战。
  5. 媒体和娱乐:在媒体和娱乐行业,搜索型数据库被用于内容检索、版权管理和用户推荐等方面。用户可以通过搜索功能查找感兴趣的新闻、音乐和视频等内容,而个性化推荐系统则可以根据用户的搜索历史和偏好推荐相关的内容。
  6. 教育和培训:在教育和培训行业,搜索型数据库被用于学习资源检索、课程管理和学习分析等方面。学生和教师可以利用搜索功能查找相关的学习资源和课程内容,而学习分析系统则可以分析学生的搜索行为和学习表现,为教学提供参考和支持。
  7. IT 运维可观测性:通过搜索型数据库,可以实时监控系统的运行状况、性能指标和日志数据,帮助运维团队及时发现和解决系统故障、性能问题和异常情况,确保系统的稳定运行。
  8. 安全监测和威胁检测:利用搜索型数据库对系统的安全日志进行审计和监控,监测用户的访问行为和系统操作,及时发现异常行为和安全事件。同时,搜索型数据库还可以与威胁情报数据集成,对内部日志数据进行关联分析,快速识别并应对各种安全威胁和攻击行为,保障系统和数据的安全。

综上所述,搜索型数据库在各行各业都发挥着重要作用,数据规模从 GB 到 PB 不等,体现在生活中的方方面面,为用户提供了高效、准确和个性化的信息搜索和检索服务,推动了各行业的发展和进步。随着搜索技术的不断创新和发展,搜索型数据库在各行业中的应用将会越来越广泛,并持续为用户带来更加便捷和智能的搜索体验。

搜索型数据库的发展历程

搜索型数据库的发展历程可以概括如下四个阶段:

  1. 起步阶段(1990 年代):搜索数据库的雏形开始于上世纪 90 年代,当时以全文检索为主要技术手段,最初用于文档检索和网络搜索。典型代表包括 AltaVista、Excite 等。
  2. 技术突破(2000 年代):随着互联网的快速发展,搜索数据库开始应用于更多领域,如电子商务、社交网络等。Lucene、Sphinx 等开源搜索引擎的出现推动了搜索技术的进步。
  3. 商业化发展(2010 年代):搜索数据库进入商业化阶段,以 Elasticsearch 等为代表的商业搜索引擎崭露头角。企业开始大规模应用搜索数据库来管理和检索大量数据。
  4. 智能化转型(2020 年代):随着人工智能技术的发展,搜索数据库逐渐向智能化转型,开始引入机器学习、自然语言处理等技术,提供个性化推荐和智能搜索服务。同时,搜索数据库也在更多领域得到应用,如医疗保健、金融服务等。

    综上所述,搜索数据库经历了从起步阶段到技术突破、商业化发展再到智能化转型的发展历程,表明了其在信息检索领域的重要性和不断演进的趋势,不并断推动着搜索技术的进步和应用范围的扩展。随着人工智能技术的不断成熟,搜索数据库将会在智能化、个性化等方面取得更大的进步,为用户提供更加优质的搜索体验。

搜索型数据库的发展情况

搜索型数据库市场上已经有不少成熟的产品和厂商,但是总的来说,搜索型数据库的界限范围有点模糊,当然其他数据库也有同样的问题,有很多数据库既是文档数据库,又是多模态数据库,还是向量数据库等等,而常见的搜索型数据库主要诞生于:

  • 由搜索引擎内核库发展而来的搜索数据库,如 Elasticsearch
  • 由其他数据库扩展而来的搜索数据库,如 Postgres Full-Text Search
  • 从零开始整体设计的搜索数据库:如 INFINI Pizza

通过流行的 DB-Engines 的搜索引擎排行榜,可以初探国外主流的搜索型数据库的流行趋势,如下图:

可以看到 Elastic 公司的 Elasticsearch 还是依旧保持强悍,自从 Elasticsearch 十多年前掀翻了 Splunk 的桌子,硬生生的在日志领域杀出一条新路,随后大杀四方,碾压整个搜索行业,霸榜至今。Elastic 商业化增长稳健,2023 年收入超过 10 亿美金。

OpenSearch 是由 AWS 发起的 Elasticsearch 开源分支,起因是由于 Elastic 针对云厂商采取的协议变更为 Elastic+SSPL,OpenSearch 基于 Apache 2.0 协议的 Elasticsearch 7.10 版本衍生而来,目前也具备了一定的用户基础。

Splunk 是一款用于搜索、监控和分析大规模机器生成的数据的软件平台,主要用于日志和安全分析领域,属于商业闭源产品。2023 年中被思科(Cisco) 以 230 亿美元现金收购,瞬间刷爆朋友圈。另外有意思的是,前四名除了 Splunk,底层都是 Lucene 内核。

MarkLogic 成立于 2001 年,自我定位是一个 NoSQL 多模态数据库厂商,也是商业闭源软件,生态成熟但是系统过于复杂,学习曲线较陡, 2023 年初被 Progress Software 以 3.55 亿美元收购算是一个比较好的结局。

当然了,除了榜上的这些产品,还有很多优秀的挑战者正摩拳擦掌,跃跃欲试。如下面的这些项目: vespa、Rockset、Doris,Clickhouse、quickwit、Pinot、SingleStore、qdrant、milvus、algolia、meilisearch、typesense、Manticore Search 等等。这些项目不一定都是自己定位是搜索型数据库,有侧重在 AI 领域的,有侧重在实时分析领域的等等,可谓各有千秋,不过都具备一定的搜索和分析能力,不出意外,基本上每家都要号称吊打 Elasticsearch 一番。

国内搜索型数据库的发展情况

搜索型数据库已经成为企业事实上的重要基础设施,而国内搜索型数据库的发展近些年也是开始得到重视,2023 年初,由中国信通院云计算与大数据研究所牵头,依托中国通信标准化协会大数据技术标准推进委员会,联合拓尔思、极限科技、星环科技等 30 余家企业编制的《搜索型数据库技术要求》正式出炉,该标准已成为行业内搜索型数据库技术选型和产品开发的风向标,极限科技的 INFINI Easysearch 率先通过了该标准

墨天轮社区也开辟了搜索型数据库的排行榜,共有 6 家企业的产品上榜:

国内搜索型数据库的市场还在起步阶段,厂商和可选的产品也还比较少,不过随着市场的成熟,相信未来将迎来一波高速的发展。

搜索型数据库的趋势前瞻

技术在演变,场景在演变,数据也在演变,搜索数据库领域的发展也呈现出多个显著的趋势,这些趋势将进一步推动搜索技术的演进和应用范围的扩展。笔者观测到的主要的发展趋势包括以下方向供参考:

1. 趋势一:实时搜索与分析

  • 实时搜索是搜索数据库领域的一个重要发展趋势,业务应用都在朝实时方向演进,用户对信息的即时性需求不断增加,要求搜索结果能够及时反映最新的数据和内容。

  • 实时搜索技术通过实时索引和实时更新机制,能够实现快速的数据检索和更新,提供与时俱进的搜索结果,满足用户对信息的即时性需求。

  • 目前以 Lucene 为内核的搜索型数据库基本上都只能做到 NRT(近实时)搜索,并且频繁更新带来的挑战和资源的浪费比较高,如果能做到更高效的实时性,可以大大提升用户的搜索体验和实时决策能力。

2. 趋势二:多模态混合搜索

  • 多模态搜索是指在搜索过程中同时考虑多种信息形式,如文本、图像、视频等,以提高搜索结果的准确性和全面性。

  • 这种技术能够通过分析和理解多种信息形式之间的关联性,为用户提供更加全面、丰富的搜索结果,适用于需要综合不同媒体形式的搜索场景。

  • 现实世界的数据越来越复杂化,非结构化数据的利用的场景也越来越多,多模态可以为业务提供更加灵活的分析和探索能力,混合搜索的能力非常具有吸引力。

3. 趋势三:AI 智能语义搜索

  • 大模型、AI 智能搜索技术的探索可谓是一日千里,通过利用人工智能技术来实现搜索过程中的智能化、语义化和个性化,结合自然语言处理、机器学习等技术分析用户意图,提供更加智能、个性化的搜索服务。

  • 随着大模型的兴起,搜索数据库开始采用像 RAG(Retriever-Reader for Generative Question Answering)这样的大型预训练模型来提升搜索的效果。RAG 模型结合了检索器和阅读器的功能,能够实现更加准确和全面的搜索结果,为用户提供更加智能和个性化的搜索服务。

  • 搜索型数据库可谓是 AI 落地最好的是试验田,Elasticsearch 通过拥抱 AI 和大模型,目前股价又重回巅峰,可喜可贺。

4. 趋势四:云原生、存算分离、Serverless

  • 随着云计算技术的发展,搜索数据库正逐渐向云原生架构转变。云原生搜索数据库利用容器化、微服务架构等技术,实现了更高的灵活性、可扩展性和容错性,为企业提供了更加稳定和高效的搜索服务,并且成本更低,更加弹性。

  • 存算分离是搜索数据库发展的另一重要趋势。通过将存储与计算分离,搜索数据库可以更好地适应数据存储和计算需求的变化,提高系统的性能和效率。存算分离技术使得搜索数据库能够实现更高的并发访问和更快的数据处理速度,为用户提供更加流畅和稳定的搜索体验。

  • Serverless 提供开箱即用的体验,成本更低,使用更加灵活,也是目前很多搜索服务提供商正在积极探索的方向。

5. 趋势五:增强现实搜索

  • 随着增强现实技术的发展,尤其是 Apple 发布的头戴式 Vision Pro,一部革命性的空间运算设备,将数位内容无缝融入实体世界,而搜索技术也将逐渐与增强现实相结合,为用户提供更加直观和沉浸式的搜索体验。增强现实搜索能够将搜索结果与现实世界相结合,结合 AI 技术为用户提供更加个性化和便捷的搜索服务,这是一个全新的领域,也意味着巨大的机会。

6. 趋势六:现代硬件的高效利用

  • 现代硬件及软件运行环境已发生翻天覆地的变化, 片上计算,边缘计算,FPGA,DPU,GPU,一台设备几百核上 TB 内存已经成为现实,可运行之上的软件却还是停留在几十年前的架构。 如 Elasticsearch 其核心 Lucene(及类似实现) 是在 1997 建立的,距今已有 27 年了,虽然也在与时俱进,但是部分架构和设计理念已不具备先进性。

  • 在现代的硬件上采用更先进的算法,更新的数据结构、更新的设计理论,利用最新的 CPU 指令集,向量化,批处理,充分发挥多核、大内存和 SSD 的优势,从而达到更高的效率,更低的成本,去解决之前不可能实现的问题,大有可为,也是下一代引擎需要关注的方向。

随着各类数据库功能的边界越来越模糊,应用场景高度交叉重叠,市场竞争也变得白热化,不过笔者认为垂直领域的搜索型数据库机会还是很大,而想做大而全的数据库产品已经没有太多的市场生存空间,一定要在垂直领域有特别专注的地方,我们 INFINI Labs 正在基于 Rust 研发的下一代搜索引擎 INFINI Pizza,就侧重于面向终端用户场景,解决海量数据更新情况下,同时满足高并发和低延迟的核心业务实时检索需求。

总结

综上所述,搜索数据库领域正处于快速发展的阶段。随着互联网数据量的不断增长和用户需求的不断变化,搜索数据库技术将不断创新和进步,以满足用户对信息获取的更加即时、个性化和多样化的需求。未来,随着人工智能技术的进一步发展和应用,搜索数据库将会变得更加智能化、普及化和多样化,为用户提供更加高效、准确和个性化的搜索服务,推动互联网信息的更加便捷获取和利用。

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://infinilabs.cn

联系我们

原文:https://infinilabs.cn/blog/2024/the-technological-development-and-future-trends-of-search-oriented-databases/

继续阅读 »

概述

随着数字科技的飞速发展和信息量的爆炸性增长,搜索引擎已成为我们获取信息的首选途径之一,典型的代表厂商如 Google。然而,随着用户需求的不断演变,传统的搜索技术已经无法满足人们对信息的实时性、个性化和多样性的需求。

在企业内部,这种需求更加显著。随着企业数字化转型的持续深化,非结构化数据正日益成为各类组织数据增长的主要来源,也是数据体系中至关重要的组成部分,蕴含着巨大的价值。如何高效地存储和利用非结构化数据的重要性也日益凸显。企业需要更高效地管理和检索内部的海量数据,以支持业务决策和运营需求。

据 IDC 数据预计,到 2025 年,80%的数据将是非结构化数据;而根据 Gartner 的数据显示,从 2019 年到 2024 年,非结构化数据容量预计将增加两倍。然而,目前非结构化数据面临着表现形式多样、管理复杂性高、价值挖掘难度大等诸多挑战。传统的数据库系统往往无法满足企业对实时性和多样性的搜索需求,为了解决这些挑战,以自动分词、倒排索引、相关度计算、向量检索引擎等技术为核心构建的搜索型数据库应运而生。这些数据库自上世纪 90 年代诞生以来不断发展演进,正在成为数据库领域中不可或缺的一个重要分支。

什么是搜索型数据库?

搜索型数据库早期又称全文数据库,或者企业搜索引擎,是一种专门用于存储和管理大规模文本数据,并支持高效的文本搜索和信息检索的数据库系统,不过随着技术不断发展和应用场景日益丰富,目前搜索型数据库不仅仅可以处理长文本数据,也可以处理常见的数值、日期等结构化数据,IP、地理位置信息、图片、音视频等非结构化数据,搜索型数据库的应用范畴不断拓展,正在由支撑业务系统检索加速、IT 运维可观测性、聚合查询分析等向多场景、多模态数据搜索方向发展。

典型的搜索数据库一般具有以下特点:

  1. 灵活的索引能力:搜索数据库能够处理多种类型的数据,包括文本、图像、音频、视频等非结构化数据。它们采用自动分词、倒排索引等技术,能够高效地处理不同格式和类型的数据,提供灵活的搜索和检索功能。
  2. 高效的查询性能:搜索数据库具有高效的查询处理能力,能够快速索引和检索大规模的数据。借助优化的索引结构和查询算法,搜索数据库能够在短时间内准确地返回与查询相关的结果,提高用户的搜索效率,常用于解决关系型数据库的高并发检索需求。
  3. 支持复杂的搜索功能:搜索数据库提供多样化的搜索功能,包括全文检索、模糊搜索、精确搜索、范围搜索、向量搜索、地理信息检索等。用户可以根据不同的需求和场景,灵活地选择和组合不同的搜索功能,以获取符合期望的搜索结果。
  4. 高性能和可扩展性:搜索数据库具有高性能和可扩展性的特点,能够处理大规模数据和高并发访问。它们采用分布式架构和并行计算技术,实现了水平扩展,能够满足不断增长的数据量和用户访问量的需求。

综上所述,搜索数据库具有处理非结构化数据、实时搜索和更新、多样化的搜索功能、个性化推荐和智能搜索、高性能和可扩展性、全面的搜索结果展示等特点,是处理大规模数据和提供高效搜索服务的重要工具。

搜索型数据库的应用场景

搜索型数据库在各行各业都有广泛的应用,以下是一些典型的应用场景:

  1. 零售和电商:在零售和电商行业,搜索型数据库被广泛应用于产品搜索和推荐系统中。通过搜索功能,顾客可以轻松查找所需商品,而个性化推荐系统则可以根据用户的搜索历史和行为习惯推荐相关的产品,提高购物体验和交易转化率。
  2. 医疗保健:在医疗保健行业,搜索型数据库被用于医学文献检索、疾病诊断和药物搜索等方面。医生和研究人员可以利用搜索功能找到相关的医学文献和研究成果,帮助诊断疾病和制定治疗方案。
  3. 金融服务:在金融服务行业,搜索型数据库被用于金融数据检索、市场分析和投资决策等方面。投资者可以通过搜索功能查找相关的金融数据和市场资讯,帮助他们做出更加准确的投资决策。
  4. 制造业:在制造业中,搜索型数据库被用于生产过程监控、质量控制和故障诊断等方面。工程师可以利用搜索功能查找相关的生产数据和技术资料,帮助他们解决生产中的问题和挑战。
  5. 媒体和娱乐:在媒体和娱乐行业,搜索型数据库被用于内容检索、版权管理和用户推荐等方面。用户可以通过搜索功能查找感兴趣的新闻、音乐和视频等内容,而个性化推荐系统则可以根据用户的搜索历史和偏好推荐相关的内容。
  6. 教育和培训:在教育和培训行业,搜索型数据库被用于学习资源检索、课程管理和学习分析等方面。学生和教师可以利用搜索功能查找相关的学习资源和课程内容,而学习分析系统则可以分析学生的搜索行为和学习表现,为教学提供参考和支持。
  7. IT 运维可观测性:通过搜索型数据库,可以实时监控系统的运行状况、性能指标和日志数据,帮助运维团队及时发现和解决系统故障、性能问题和异常情况,确保系统的稳定运行。
  8. 安全监测和威胁检测:利用搜索型数据库对系统的安全日志进行审计和监控,监测用户的访问行为和系统操作,及时发现异常行为和安全事件。同时,搜索型数据库还可以与威胁情报数据集成,对内部日志数据进行关联分析,快速识别并应对各种安全威胁和攻击行为,保障系统和数据的安全。

综上所述,搜索型数据库在各行各业都发挥着重要作用,数据规模从 GB 到 PB 不等,体现在生活中的方方面面,为用户提供了高效、准确和个性化的信息搜索和检索服务,推动了各行业的发展和进步。随着搜索技术的不断创新和发展,搜索型数据库在各行业中的应用将会越来越广泛,并持续为用户带来更加便捷和智能的搜索体验。

搜索型数据库的发展历程

搜索型数据库的发展历程可以概括如下四个阶段:

  1. 起步阶段(1990 年代):搜索数据库的雏形开始于上世纪 90 年代,当时以全文检索为主要技术手段,最初用于文档检索和网络搜索。典型代表包括 AltaVista、Excite 等。
  2. 技术突破(2000 年代):随着互联网的快速发展,搜索数据库开始应用于更多领域,如电子商务、社交网络等。Lucene、Sphinx 等开源搜索引擎的出现推动了搜索技术的进步。
  3. 商业化发展(2010 年代):搜索数据库进入商业化阶段,以 Elasticsearch 等为代表的商业搜索引擎崭露头角。企业开始大规模应用搜索数据库来管理和检索大量数据。
  4. 智能化转型(2020 年代):随着人工智能技术的发展,搜索数据库逐渐向智能化转型,开始引入机器学习、自然语言处理等技术,提供个性化推荐和智能搜索服务。同时,搜索数据库也在更多领域得到应用,如医疗保健、金融服务等。

    综上所述,搜索数据库经历了从起步阶段到技术突破、商业化发展再到智能化转型的发展历程,表明了其在信息检索领域的重要性和不断演进的趋势,不并断推动着搜索技术的进步和应用范围的扩展。随着人工智能技术的不断成熟,搜索数据库将会在智能化、个性化等方面取得更大的进步,为用户提供更加优质的搜索体验。

搜索型数据库的发展情况

搜索型数据库市场上已经有不少成熟的产品和厂商,但是总的来说,搜索型数据库的界限范围有点模糊,当然其他数据库也有同样的问题,有很多数据库既是文档数据库,又是多模态数据库,还是向量数据库等等,而常见的搜索型数据库主要诞生于:

  • 由搜索引擎内核库发展而来的搜索数据库,如 Elasticsearch
  • 由其他数据库扩展而来的搜索数据库,如 Postgres Full-Text Search
  • 从零开始整体设计的搜索数据库:如 INFINI Pizza

通过流行的 DB-Engines 的搜索引擎排行榜,可以初探国外主流的搜索型数据库的流行趋势,如下图:

可以看到 Elastic 公司的 Elasticsearch 还是依旧保持强悍,自从 Elasticsearch 十多年前掀翻了 Splunk 的桌子,硬生生的在日志领域杀出一条新路,随后大杀四方,碾压整个搜索行业,霸榜至今。Elastic 商业化增长稳健,2023 年收入超过 10 亿美金。

OpenSearch 是由 AWS 发起的 Elasticsearch 开源分支,起因是由于 Elastic 针对云厂商采取的协议变更为 Elastic+SSPL,OpenSearch 基于 Apache 2.0 协议的 Elasticsearch 7.10 版本衍生而来,目前也具备了一定的用户基础。

Splunk 是一款用于搜索、监控和分析大规模机器生成的数据的软件平台,主要用于日志和安全分析领域,属于商业闭源产品。2023 年中被思科(Cisco) 以 230 亿美元现金收购,瞬间刷爆朋友圈。另外有意思的是,前四名除了 Splunk,底层都是 Lucene 内核。

MarkLogic 成立于 2001 年,自我定位是一个 NoSQL 多模态数据库厂商,也是商业闭源软件,生态成熟但是系统过于复杂,学习曲线较陡, 2023 年初被 Progress Software 以 3.55 亿美元收购算是一个比较好的结局。

当然了,除了榜上的这些产品,还有很多优秀的挑战者正摩拳擦掌,跃跃欲试。如下面的这些项目: vespa、Rockset、Doris,Clickhouse、quickwit、Pinot、SingleStore、qdrant、milvus、algolia、meilisearch、typesense、Manticore Search 等等。这些项目不一定都是自己定位是搜索型数据库,有侧重在 AI 领域的,有侧重在实时分析领域的等等,可谓各有千秋,不过都具备一定的搜索和分析能力,不出意外,基本上每家都要号称吊打 Elasticsearch 一番。

国内搜索型数据库的发展情况

搜索型数据库已经成为企业事实上的重要基础设施,而国内搜索型数据库的发展近些年也是开始得到重视,2023 年初,由中国信通院云计算与大数据研究所牵头,依托中国通信标准化协会大数据技术标准推进委员会,联合拓尔思、极限科技、星环科技等 30 余家企业编制的《搜索型数据库技术要求》正式出炉,该标准已成为行业内搜索型数据库技术选型和产品开发的风向标,极限科技的 INFINI Easysearch 率先通过了该标准

墨天轮社区也开辟了搜索型数据库的排行榜,共有 6 家企业的产品上榜:

国内搜索型数据库的市场还在起步阶段,厂商和可选的产品也还比较少,不过随着市场的成熟,相信未来将迎来一波高速的发展。

搜索型数据库的趋势前瞻

技术在演变,场景在演变,数据也在演变,搜索数据库领域的发展也呈现出多个显著的趋势,这些趋势将进一步推动搜索技术的演进和应用范围的扩展。笔者观测到的主要的发展趋势包括以下方向供参考:

1. 趋势一:实时搜索与分析

  • 实时搜索是搜索数据库领域的一个重要发展趋势,业务应用都在朝实时方向演进,用户对信息的即时性需求不断增加,要求搜索结果能够及时反映最新的数据和内容。

  • 实时搜索技术通过实时索引和实时更新机制,能够实现快速的数据检索和更新,提供与时俱进的搜索结果,满足用户对信息的即时性需求。

  • 目前以 Lucene 为内核的搜索型数据库基本上都只能做到 NRT(近实时)搜索,并且频繁更新带来的挑战和资源的浪费比较高,如果能做到更高效的实时性,可以大大提升用户的搜索体验和实时决策能力。

2. 趋势二:多模态混合搜索

  • 多模态搜索是指在搜索过程中同时考虑多种信息形式,如文本、图像、视频等,以提高搜索结果的准确性和全面性。

  • 这种技术能够通过分析和理解多种信息形式之间的关联性,为用户提供更加全面、丰富的搜索结果,适用于需要综合不同媒体形式的搜索场景。

  • 现实世界的数据越来越复杂化,非结构化数据的利用的场景也越来越多,多模态可以为业务提供更加灵活的分析和探索能力,混合搜索的能力非常具有吸引力。

3. 趋势三:AI 智能语义搜索

  • 大模型、AI 智能搜索技术的探索可谓是一日千里,通过利用人工智能技术来实现搜索过程中的智能化、语义化和个性化,结合自然语言处理、机器学习等技术分析用户意图,提供更加智能、个性化的搜索服务。

  • 随着大模型的兴起,搜索数据库开始采用像 RAG(Retriever-Reader for Generative Question Answering)这样的大型预训练模型来提升搜索的效果。RAG 模型结合了检索器和阅读器的功能,能够实现更加准确和全面的搜索结果,为用户提供更加智能和个性化的搜索服务。

  • 搜索型数据库可谓是 AI 落地最好的是试验田,Elasticsearch 通过拥抱 AI 和大模型,目前股价又重回巅峰,可喜可贺。

4. 趋势四:云原生、存算分离、Serverless

  • 随着云计算技术的发展,搜索数据库正逐渐向云原生架构转变。云原生搜索数据库利用容器化、微服务架构等技术,实现了更高的灵活性、可扩展性和容错性,为企业提供了更加稳定和高效的搜索服务,并且成本更低,更加弹性。

  • 存算分离是搜索数据库发展的另一重要趋势。通过将存储与计算分离,搜索数据库可以更好地适应数据存储和计算需求的变化,提高系统的性能和效率。存算分离技术使得搜索数据库能够实现更高的并发访问和更快的数据处理速度,为用户提供更加流畅和稳定的搜索体验。

  • Serverless 提供开箱即用的体验,成本更低,使用更加灵活,也是目前很多搜索服务提供商正在积极探索的方向。

5. 趋势五:增强现实搜索

  • 随着增强现实技术的发展,尤其是 Apple 发布的头戴式 Vision Pro,一部革命性的空间运算设备,将数位内容无缝融入实体世界,而搜索技术也将逐渐与增强现实相结合,为用户提供更加直观和沉浸式的搜索体验。增强现实搜索能够将搜索结果与现实世界相结合,结合 AI 技术为用户提供更加个性化和便捷的搜索服务,这是一个全新的领域,也意味着巨大的机会。

6. 趋势六:现代硬件的高效利用

  • 现代硬件及软件运行环境已发生翻天覆地的变化, 片上计算,边缘计算,FPGA,DPU,GPU,一台设备几百核上 TB 内存已经成为现实,可运行之上的软件却还是停留在几十年前的架构。 如 Elasticsearch 其核心 Lucene(及类似实现) 是在 1997 建立的,距今已有 27 年了,虽然也在与时俱进,但是部分架构和设计理念已不具备先进性。

  • 在现代的硬件上采用更先进的算法,更新的数据结构、更新的设计理论,利用最新的 CPU 指令集,向量化,批处理,充分发挥多核、大内存和 SSD 的优势,从而达到更高的效率,更低的成本,去解决之前不可能实现的问题,大有可为,也是下一代引擎需要关注的方向。

随着各类数据库功能的边界越来越模糊,应用场景高度交叉重叠,市场竞争也变得白热化,不过笔者认为垂直领域的搜索型数据库机会还是很大,而想做大而全的数据库产品已经没有太多的市场生存空间,一定要在垂直领域有特别专注的地方,我们 INFINI Labs 正在基于 Rust 研发的下一代搜索引擎 INFINI Pizza,就侧重于面向终端用户场景,解决海量数据更新情况下,同时满足高并发和低延迟的核心业务实时检索需求。

总结

综上所述,搜索数据库领域正处于快速发展的阶段。随着互联网数据量的不断增长和用户需求的不断变化,搜索数据库技术将不断创新和进步,以满足用户对信息获取的更加即时、个性化和多样化的需求。未来,随着人工智能技术的进一步发展和应用,搜索数据库将会变得更加智能化、普及化和多样化,为用户提供更加高效、准确和个性化的搜索服务,推动互联网信息的更加便捷获取和利用。

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://infinilabs.cn

联系我们

原文:https://infinilabs.cn/blog/2024/the-technological-development-and-future-trends-of-search-oriented-databases/

收起阅读 »

喜报!极限科技新获得一项国家发明专利授权:“搜索数据库的正排索引处理方法、装置、介质和设备”

近日,极限数据(北京)科技有限公司(简称:极限科技)新获得一项国家发明专利授权,专利名为 “搜索数据库的正排索引处理方法、装置、介质和设备”,专利号:ZL 2024 1 0479400.9,授权日为 2024 年 6 月 21 日,标志着极限科技在数据库搜索技术领域的自主创新能力再次得到国家级认可。

发明专利证书

创新技术,提升搜索效率

该专利的核心创新点在于将正排索引与倒排索引在逻辑上进行分离,通过专门设计的正排索引结构,实现了文档的高效写入。这种创新方法不仅提高了搜索过程的灵活性,而且使得正排索引结构能够支持实时搜索,避免了传统搜索技术中必须等待数据落盘后才能进行搜索的限制,从而显著提升了搜索效率。

自主研发,持续创新

极限科技自成立以来,始终坚持自主研发和技术创新的道路。公司的研发团队由一批经验丰富的工程师组成,他们在数据库技术、搜索引擎和大数据处理等领域拥有深厚的专业知识和实践经验。此次专利的获得,是极限科技在自主研发道路上的又一重要里程碑,展现了公司在技术创新方面的持续努力和卓越成就。

行业领先,未来可期

极限科技的这项发明专利不仅为公司带来了技术上的突破,也为整个行业的发展提供了新的思路和方向。随着大数据时代的到来,高效的搜索技术对于信息的快速获取和处理至关重要。极限科技的这一创新成果,有望推动相关行业的技术进步,为用户带来更加流畅和精准的搜索体验。

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://infinilabs.cn

联系我们

原文:https://infinilabs.cn/blog/2024/news-20240622/

继续阅读 »

近日,极限数据(北京)科技有限公司(简称:极限科技)新获得一项国家发明专利授权,专利名为 “搜索数据库的正排索引处理方法、装置、介质和设备”,专利号:ZL 2024 1 0479400.9,授权日为 2024 年 6 月 21 日,标志着极限科技在数据库搜索技术领域的自主创新能力再次得到国家级认可。

发明专利证书

创新技术,提升搜索效率

该专利的核心创新点在于将正排索引与倒排索引在逻辑上进行分离,通过专门设计的正排索引结构,实现了文档的高效写入。这种创新方法不仅提高了搜索过程的灵活性,而且使得正排索引结构能够支持实时搜索,避免了传统搜索技术中必须等待数据落盘后才能进行搜索的限制,从而显著提升了搜索效率。

自主研发,持续创新

极限科技自成立以来,始终坚持自主研发和技术创新的道路。公司的研发团队由一批经验丰富的工程师组成,他们在数据库技术、搜索引擎和大数据处理等领域拥有深厚的专业知识和实践经验。此次专利的获得,是极限科技在自主研发道路上的又一重要里程碑,展现了公司在技术创新方面的持续努力和卓越成就。

行业领先,未来可期

极限科技的这项发明专利不仅为公司带来了技术上的突破,也为整个行业的发展提供了新的思路和方向。随着大数据时代的到来,高效的搜索技术对于信息的快速获取和处理至关重要。极限科技的这一创新成果,有望推动相关行业的技术进步,为用户带来更加流畅和精准的搜索体验。

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://infinilabs.cn

联系我们

原文:https://infinilabs.cn/blog/2024/news-20240622/

收起阅读 »

INFINI Labs 产品更新 | Console 1.24.0 操作日志审计功能发布

release

INFINI Labs 产品又更新啦~,包括 Console,Gateway 1.24.0。本次各产品更新了很多亮点功能,如 Console 增加操作日志审计功能,优化数据探索字段统计,修复 Gateway 增加认证后添加实例失败等问题。以下是本次更新的详细说明。

INFINI Console v1.24.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管, 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验: http://demo.infini.cloud (用户名/密码:readonly/readonly)。

Console 本次更新如下:

Features

  • 用户操作审计日志功能
  • 新增告警规则克隆一键克隆功能,简化重复类型告警的创建

Bug fix

  • 修复普通用户权限 403 问题
  • 修复探针管理表格展开显示错位问题

Improvements

  • 优化开发工具集群选择控件显示位置
  • 优化数据探索查询控件显示宽度
  • 优化数据探索字段统计功能
  • 优化告警规则列表页搜索,支持远程搜索
  • Discover 左侧字段聚合支持开关控制拉取本地或远程统计值

INFINI Gateway v1.24.0

INFINI Gateway 是一个面向搜索场景的高性能数据网关,所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Gateway 本次更新如下:

Improvements

  • Refactoring http client tls config
  • Write field routing to bulk metadata when field _routing exists in scrolled doc

Bug fix

  • Fix(reshuffle filter): make sure queue config always have label type
  • Fix rotate config usage

INFINI Framework

Improvements

  • feat: allow to use default auth for agent’s auto enroll
  • refactor: refactor func GetFieldCaps
  • feat: register background job to clean up badger LSM tree
  • fix: skip load missing wal

期待反馈

欢迎下载体验使用,如果您在使用过程中遇到如何疑问或者问题,欢迎前往 INFINI Labs Github(https://github.com/infinilabs) 中的对应项目中提交 Feature Request 或提交 Bug。

您还可以通过邮件联系我们:hello@infini.ltd

或者拨打我们的热线电话:(+86) 400-139-9200

欢迎加入 Discord 聊天室:https://discord.gg/4tKTMkkvVX

也欢迎大家微信扫码添加小助手(INFINI-Labs),加入用户群一起讨论交流。

联系我们

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://www.infinilabs.cn

继续阅读 »

release

INFINI Labs 产品又更新啦~,包括 Console,Gateway 1.24.0。本次各产品更新了很多亮点功能,如 Console 增加操作日志审计功能,优化数据探索字段统计,修复 Gateway 增加认证后添加实例失败等问题。以下是本次更新的详细说明。

INFINI Console v1.24.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管, 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验: http://demo.infini.cloud (用户名/密码:readonly/readonly)。

Console 本次更新如下:

Features

  • 用户操作审计日志功能
  • 新增告警规则克隆一键克隆功能,简化重复类型告警的创建

Bug fix

  • 修复普通用户权限 403 问题
  • 修复探针管理表格展开显示错位问题

Improvements

  • 优化开发工具集群选择控件显示位置
  • 优化数据探索查询控件显示宽度
  • 优化数据探索字段统计功能
  • 优化告警规则列表页搜索,支持远程搜索
  • Discover 左侧字段聚合支持开关控制拉取本地或远程统计值

INFINI Gateway v1.24.0

INFINI Gateway 是一个面向搜索场景的高性能数据网关,所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Gateway 本次更新如下:

Improvements

  • Refactoring http client tls config
  • Write field routing to bulk metadata when field _routing exists in scrolled doc

Bug fix

  • Fix(reshuffle filter): make sure queue config always have label type
  • Fix rotate config usage

INFINI Framework

Improvements

  • feat: allow to use default auth for agent’s auto enroll
  • refactor: refactor func GetFieldCaps
  • feat: register background job to clean up badger LSM tree
  • fix: skip load missing wal

期待反馈

欢迎下载体验使用,如果您在使用过程中遇到如何疑问或者问题,欢迎前往 INFINI Labs Github(https://github.com/infinilabs) 中的对应项目中提交 Feature Request 或提交 Bug。

您还可以通过邮件联系我们:hello@infini.ltd

或者拨打我们的热线电话:(+86) 400-139-9200

欢迎加入 Discord 聊天室:https://discord.gg/4tKTMkkvVX

也欢迎大家微信扫码添加小助手(INFINI-Labs),加入用户群一起讨论交流。

联系我们

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://www.infinilabs.cn

收起阅读 »

回顾DTC2024大会——聚焦数据技术创新:极限科技创始人曾勇揭秘下一代纯实时搜索引擎 INFINI Pizza

20240412-摩天轮数据库大会_副本.png

2024年4月12日至13日,备受瞩目的第十三届“数据技术嘉年华”(DTC2024)在北京新云南皇冠假日酒店盛大开幕。本次大会由中国DBA联盟(ACDU)与墨天轮社区联合主办,以“智能·云原生·一体化——DB与AI协同创新,模型与架构融合发展”为主题,旨在推动数据技术的创新与发展,为从业者带来一场知识与技术的盛宴。

在为期两天的活动中,来自业界的80余位杰出技术领袖、学术精英、行业实践者以及生态布道者齐聚一堂,共同探讨数据技术的最新趋势、前沿应用与创新实践。与会者们分享了他们对于智能云原生和一体化发展的深刻见解,以及DB与AI如何协同创新,推动模型与架构的融合发展。

图片1.png

大会现场,极限科技创始人曾勇带来了令人瞩目的演讲,他详细介绍了下一代纯实时搜索引擎 INFINI Pizza。曾勇表示,随着大数据时代的到来,数据的实时处理与搜索成为了行业发展的重要方向。而 INFINI Pizza 正是为了满足这一需求而诞生的创新产品,它采用了先进的设计理念和架构实现,通过自有专利解决海量数据无限伸缩的需求,利用最新的算法和数据结构来充分释放现代硬件的威力,能够实现高效、准确的实时数据搜索能力,满足核心业务场景高并发低延迟的需求,为企业提供可靠稳定的实时搜索基础底座。

图片2.png

部分演讲内容

3.jpg

4.jpg

5.jpg

6.jpg

7.jpg

8.jpg

9.jpg

完整演讲内容请查看 PPT

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://www.infinilabs.com

联系我们

继续阅读 »

20240412-摩天轮数据库大会_副本.png

2024年4月12日至13日,备受瞩目的第十三届“数据技术嘉年华”(DTC2024)在北京新云南皇冠假日酒店盛大开幕。本次大会由中国DBA联盟(ACDU)与墨天轮社区联合主办,以“智能·云原生·一体化——DB与AI协同创新,模型与架构融合发展”为主题,旨在推动数据技术的创新与发展,为从业者带来一场知识与技术的盛宴。

在为期两天的活动中,来自业界的80余位杰出技术领袖、学术精英、行业实践者以及生态布道者齐聚一堂,共同探讨数据技术的最新趋势、前沿应用与创新实践。与会者们分享了他们对于智能云原生和一体化发展的深刻见解,以及DB与AI如何协同创新,推动模型与架构的融合发展。

图片1.png

大会现场,极限科技创始人曾勇带来了令人瞩目的演讲,他详细介绍了下一代纯实时搜索引擎 INFINI Pizza。曾勇表示,随着大数据时代的到来,数据的实时处理与搜索成为了行业发展的重要方向。而 INFINI Pizza 正是为了满足这一需求而诞生的创新产品,它采用了先进的设计理念和架构实现,通过自有专利解决海量数据无限伸缩的需求,利用最新的算法和数据结构来充分释放现代硬件的威力,能够实现高效、准确的实时数据搜索能力,满足核心业务场景高并发低延迟的需求,为企业提供可靠稳定的实时搜索基础底座。

图片2.png

部分演讲内容

3.jpg

4.jpg

5.jpg

6.jpg

7.jpg

8.jpg

9.jpg

完整演讲内容请查看 PPT

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://www.infinilabs.com

联系我们

收起阅读 »

2024 DTC 数据技术嘉年华 | 我们在现场等你

导语

龙腾四海内,风云际会时。2024年4月12日至13日,北京新云南皇冠假日酒店将迎来一场盛会《第十三届数据技术嘉年华》。这是由墨天轮数据社区和中国数据库联盟(ACDU)携手主办的精彩盛事。本次嘉年华的主题是“智能·云原生·一体化——DB 与 AI 协同创新,模型与架构融合发展”将为您揭示数据技术的未来趋势。80余位行业领袖、技术精英、实践者和生态布道者将汇聚一堂,带来一场思想碰撞的盛宴。

极限科技(INFINI Labs)创始人 & CEO,Elasticsearch 中文社区(现搜索客)发起人兼社区主席曾勇先生应邀出席参加第十三届数据技术嘉年华盛会,并将于 4 月 13 日下午 15:00 在 NoSQL 数据库专题论坛上发表演讲,演讲主题:《下一代纯实时搜索引擎 Pizza》,为大家介绍当前最新搜索型数据库的行业发展趋势、前沿的技术方案、如何解决海量数据下的高并发低延迟实时检索需求等干货内容。

欢迎大家报名参会,共同探讨与交流。我在 DTC 现场等你!购票时输入优惠码(ZENGY)即可免费参会,数量有限,先到先得~

WechatIMG38.jpg

极限科技一直致力于推动数据技术的边界,不断突破创新。我们相信,通过与业内的顶级专家和领导者们的深入交流与合作,我们能够共同开创数据技术的美好未来。这场嘉年华将为我们提供一个珍贵的机会,与业界精英们面对面交流,共同探索数据技术的前沿领域。

大会议程

WechatIMG17.jpg

除了技术盛宴外,本次大会还为参会者准备了丰厚的大奖,其中主论坛的奖品更是高达上万元。此外,参会者们还可以前往各个厂商展台,领略产品魅力并感受最新最前沿的数据技术,完成集章任务后更有机会抽取千元大奖,相信一定能给您带来意想不到的惊喜!点击“查看原文”了解更多活动信息吧!

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://www.infinilabs.cn

继续阅读 »

导语

龙腾四海内,风云际会时。2024年4月12日至13日,北京新云南皇冠假日酒店将迎来一场盛会《第十三届数据技术嘉年华》。这是由墨天轮数据社区和中国数据库联盟(ACDU)携手主办的精彩盛事。本次嘉年华的主题是“智能·云原生·一体化——DB 与 AI 协同创新,模型与架构融合发展”将为您揭示数据技术的未来趋势。80余位行业领袖、技术精英、实践者和生态布道者将汇聚一堂,带来一场思想碰撞的盛宴。

极限科技(INFINI Labs)创始人 & CEO,Elasticsearch 中文社区(现搜索客)发起人兼社区主席曾勇先生应邀出席参加第十三届数据技术嘉年华盛会,并将于 4 月 13 日下午 15:00 在 NoSQL 数据库专题论坛上发表演讲,演讲主题:《下一代纯实时搜索引擎 Pizza》,为大家介绍当前最新搜索型数据库的行业发展趋势、前沿的技术方案、如何解决海量数据下的高并发低延迟实时检索需求等干货内容。

欢迎大家报名参会,共同探讨与交流。我在 DTC 现场等你!购票时输入优惠码(ZENGY)即可免费参会,数量有限,先到先得~

WechatIMG38.jpg

极限科技一直致力于推动数据技术的边界,不断突破创新。我们相信,通过与业内的顶级专家和领导者们的深入交流与合作,我们能够共同开创数据技术的美好未来。这场嘉年华将为我们提供一个珍贵的机会,与业界精英们面对面交流,共同探索数据技术的前沿领域。

大会议程

WechatIMG17.jpg

除了技术盛宴外,本次大会还为参会者准备了丰厚的大奖,其中主论坛的奖品更是高达上万元。此外,参会者们还可以前往各个厂商展台,领略产品魅力并感受最新最前沿的数据技术,完成集章任务后更有机会抽取千元大奖,相信一定能给您带来意想不到的惊喜!点击“查看原文”了解更多活动信息吧!

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://www.infinilabs.cn

收起阅读 »

INFINI Labs 产品更新 | Console 数据迁移支持 Percentiles 均匀分区

release

INFINI Labs 产品又更新啦~,包括 Console v1.14.0,Gateway 1.21.0。其中 Console 数据迁移支持 Percentiles 均匀分区,修复已知 Bug 等。以下是本次更新的详细说明。

INFINI Console v1.14.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管, 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验: http://demo.infini.cloud (用户名/密码:readonly/readonly)。

Console 本次更新如下:

Features

  • 数据迁移支持 decimal 类型分区设置
  • 数据迁移支持 number 类型均匀分区

Bug fix

  • 修复告警恢复后,新周期内没有发送告警通知消息的问题

INFINI Gateway v1.21.0

INFINI Gateway 是一个面向搜索场景的高性能数据网关,所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Gateway 本次更新如下:

Bug fix

  • fix log error when temp file was missing

INFINI Framework

INFINI Framework 是 INFINI Labs 各产品依赖的内部核心公共代码库。

Framework 本次更新如下:

  • feat: support even partition
  • feat: support nested object
  • fix log error when temp file was missing

期待反馈

欢迎下载体验使用,如果您在使用过程中遇到如何疑问或者问题,欢迎前往 INFINI Labs Github(https://github.com/infinilabs) 中的对应项目中提交 Feature Request 或提交 Bug。

您还可以通过邮件联系我们:hello@infini.ltd

或者拨打我们的热线电话:(+86) 400-139-9200

欢迎加入 Discord 聊天室:https://discord.gg/4tKTMkkvVX

也欢迎大家微信扫码添加小助手(INFINI-Labs),加入用户群一起讨论交流。

联系我们

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://www.infinilabs.com

继续阅读 »

release

INFINI Labs 产品又更新啦~,包括 Console v1.14.0,Gateway 1.21.0。其中 Console 数据迁移支持 Percentiles 均匀分区,修复已知 Bug 等。以下是本次更新的详细说明。

INFINI Console v1.14.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管, 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验: http://demo.infini.cloud (用户名/密码:readonly/readonly)。

Console 本次更新如下:

Features

  • 数据迁移支持 decimal 类型分区设置
  • 数据迁移支持 number 类型均匀分区

Bug fix

  • 修复告警恢复后,新周期内没有发送告警通知消息的问题

INFINI Gateway v1.21.0

INFINI Gateway 是一个面向搜索场景的高性能数据网关,所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Gateway 本次更新如下:

Bug fix

  • fix log error when temp file was missing

INFINI Framework

INFINI Framework 是 INFINI Labs 各产品依赖的内部核心公共代码库。

Framework 本次更新如下:

  • feat: support even partition
  • feat: support nested object
  • fix log error when temp file was missing

期待反馈

欢迎下载体验使用,如果您在使用过程中遇到如何疑问或者问题,欢迎前往 INFINI Labs Github(https://github.com/infinilabs) 中的对应项目中提交 Feature Request 或提交 Bug。

您还可以通过邮件联系我们:hello@infini.ltd

或者拨打我们的热线电话:(+86) 400-139-9200

欢迎加入 Discord 聊天室:https://discord.gg/4tKTMkkvVX

也欢迎大家微信扫码添加小助手(INFINI-Labs),加入用户群一起讨论交流。

联系我们

关于极限科技(INFINI Labs)

INFINI Labs

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

官网:https://www.infinilabs.com

收起阅读 »