Q:有两个人掉到陷阱里了,死的人叫死人,活人叫什么?
Elastisearch

Elastisearch

INFINI Labs 产品更新 | 重磅推出 Easysearch 一个分布式的近实时搜索与分析引擎

资讯动态liaosy 发表了文章 • 0 个评论 • 2663 次浏览 • 2023-05-16 11:57 • 来自相关话题

INFINI Labs 产品更新发布

INFINI Labs 产品又更新啦,包括 Easysearch v1.1.0、Gateway v1.13.0、Console v1.1.0、Agent v0.4.0,其中 Easysearch 经过团队的数月打磨,现正式对外推出。Easysearch 是一个分布式的近实时搜索与分析引擎,核心引擎基于开源的 Apache Lucene。Easysearch 衍生自基于开源协议 Apache 2.0 的 Elasticsearch 7.10.2 版本。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本,并继续完善和支持更多的企业级功能。与 Elasticsearch 相比,Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。欢迎大家下载体验。

INFINI Easysearch v1.1.0

INFINI Easysearch 本次更新最重要的功能是引入了 ZSTD 压缩算法,对索引进行全方位的压缩,尤其针对日志数据压缩效果更加明显,针对 1.1G 的 Nginx 日志进行测试,采用 ZSTD 策略后,膨胀率只有 0.94,甚至比原始数据还要小,而且还能进一步压缩,和 index.source_reuse 结合使用后,膨胀率只有 0.7,索引大小只有 Elasticsearch 原生 best_compression 的 59%,是 Elasticsearch 6.x 的 49%。下面是一张索引大小对比图:

更多介绍查看 详情

其他更新功能如下:

Breaking changes

  • Lucene 版本升级到 8.11.2

Breaking changes

  • 增加 ZSTD codec, 引入 ZSTD 压缩算法,对存储字段,doc_values,词典进行压缩。
  • 增加 index.source_reuse 索引级别配置,对 _source 进一步压缩。
  • 提供索引生命周期管理 ILM 模块的功能,绝大部分 api 兼容 elasticsearch

Breaking changes

  • 减少冗余日志输出。
  • 减少 modules 模块整体大小。

下载地址:https://www.infinilabs.com/download

INFINI Gateway v1.13.0

极限网关本次更新如下:

Features

  • router.rules 增加 enabled 选项,控制是否启用 flow
  • 增加对 loong64 架构的支持
  • 增加对 riscv64 架构的支持
  • elasticsearch filter 增加 dial_timeout 选项

Bug fix

  • 修复 http/elasticsearch 转发后 HTTP 响应头丢失的问题
  • 修复 pipeline 热加载出现重复 pipeline 同时运行的问题
  • 修复 bulk_indexing 退出后泄漏 goroutine 的问题

Improvements

  • 优化 HTTP 头设置方式,避免出现重复的 HTTP 头
  • 优化 pipeline 停止的响应速度
  • pipeline 增加 enabled 选项,控制是否启用 pipeline

更多 Gateway 更新可参考【Gateway 版本历史】。

INFINI Console v1.1.0

本次 INFINI Console 版本发布主要新增了网关实时日志查看功能、完善了数据迁移功能和数据看板的可视化能力、以及修复了已知 Bug。

实时日志

登录 Console,进入 [资源管理][网关管理] 界面,可以看到网关实时日志入口(前提需要注册网关)如下图所示:

进入实时日志展示界面,点击“开始”按钮后,服务端将 Gateway 日志实时推送到 Console 界面展示,在该界面可以动态调整输出不同的日志级别(DEBUG、INFO、WARN、ERROR 等),同时也支持文件名、方法名、消息内容加通配符进行过滤。

详情查看 动手教程操作演示视频

数据迁移

数据迁移模块,基于上个版本做了优化,添加 ILM,Template,Alias 初始化操作。方便用户根据各自的需求迁移索引生命周期、模板、别名等。

数据看板

数据看板图表支持复制、快速切换、时间框选、缩放、标记高亮,进一步增强 Console 可视化能力。

详情查看 操作演示视频

除以上主要功能更新外,Console 其他功能优化如下:

Bug fix

  • 修复数据探索保存查询出现 mapping 错误的问题
  • 修复数据看板组件数据源配置的问题
  • 修复数据探索左侧字段栏样式的问题
  • 修复集群注册向导点击跳转后丢失集群类型的问题

Improvements

  • 数据看板汉化

更多 Console 更新可参考【Console 版本历史】。

INFINI Agent v0.4.0

数据采集工具探针(INFINI Agent)更新如下:

Features

  • 新增 logs_processor ,配置采集本地日志文件

Breaking changes

  • es_logs_processor 调整日志字段
    • created 重命名为 timestamp
    • 自动提取 payload.timestamp payload.@timestmap 字段到 timestamp
  • es_logs_processor 删除 enable 选项

下载地址: https://www.infinilabs.com/download/?product=agent

期待反馈

欢迎下载体验使用,如果您在使用过程中遇到如何疑问或者问题,欢迎前往 INFINI Labs Github(https://github.com/infinilabs) 中的对应项目中提交 Feature Request 或提交 Bug。

您还可以通过邮件联系我们:hello@infini.ltd

或者拨打我们的热线电话:(+86) 400-139-9200

也欢迎大家微信扫码添加小助手(INFINI-Labs),加入用户群讨论,或者扫码加入我们的知识星球一起学习交流。

关于极限科技(INFINI Labs)

关于极限科技

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

详情参见官网:https://www.infinilabs.com

INFINI Labs 产品更新 | 重磅推出 Easysearch 一个分布式的近实时搜索与分析引擎

资讯动态liaosy 发表了文章 • 0 个评论 • 2663 次浏览 • 2023-05-16 11:57 • 来自相关话题

INFINI Labs 产品更新发布

INFINI Labs 产品又更新啦,包括 Easysearch v1.1.0、Gateway v1.13.0、Console v1.1.0、Agent v0.4.0,其中 Easysearch 经过团队的数月打磨,现正式对外推出。Easysearch 是一个分布式的近实时搜索与分析引擎,核心引擎基于开源的 Apache Lucene。Easysearch 衍生自基于开源协议 Apache 2.0 的 Elasticsearch 7.10.2 版本。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本,并继续完善和支持更多的企业级功能。与 Elasticsearch 相比,Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。欢迎大家下载体验。

INFINI Easysearch v1.1.0

INFINI Easysearch 本次更新最重要的功能是引入了 ZSTD 压缩算法,对索引进行全方位的压缩,尤其针对日志数据压缩效果更加明显,针对 1.1G 的 Nginx 日志进行测试,采用 ZSTD 策略后,膨胀率只有 0.94,甚至比原始数据还要小,而且还能进一步压缩,和 index.source_reuse 结合使用后,膨胀率只有 0.7,索引大小只有 Elasticsearch 原生 best_compression 的 59%,是 Elasticsearch 6.x 的 49%。下面是一张索引大小对比图:

更多介绍查看 详情

其他更新功能如下:

Breaking changes

  • Lucene 版本升级到 8.11.2

Breaking changes

  • 增加 ZSTD codec, 引入 ZSTD 压缩算法,对存储字段,doc_values,词典进行压缩。
  • 增加 index.source_reuse 索引级别配置,对 _source 进一步压缩。
  • 提供索引生命周期管理 ILM 模块的功能,绝大部分 api 兼容 elasticsearch

Breaking changes

  • 减少冗余日志输出。
  • 减少 modules 模块整体大小。

下载地址:https://www.infinilabs.com/download

INFINI Gateway v1.13.0

极限网关本次更新如下:

Features

  • router.rules 增加 enabled 选项,控制是否启用 flow
  • 增加对 loong64 架构的支持
  • 增加对 riscv64 架构的支持
  • elasticsearch filter 增加 dial_timeout 选项

Bug fix

  • 修复 http/elasticsearch 转发后 HTTP 响应头丢失的问题
  • 修复 pipeline 热加载出现重复 pipeline 同时运行的问题
  • 修复 bulk_indexing 退出后泄漏 goroutine 的问题

Improvements

  • 优化 HTTP 头设置方式,避免出现重复的 HTTP 头
  • 优化 pipeline 停止的响应速度
  • pipeline 增加 enabled 选项,控制是否启用 pipeline

更多 Gateway 更新可参考【Gateway 版本历史】。

INFINI Console v1.1.0

本次 INFINI Console 版本发布主要新增了网关实时日志查看功能、完善了数据迁移功能和数据看板的可视化能力、以及修复了已知 Bug。

实时日志

登录 Console,进入 [资源管理][网关管理] 界面,可以看到网关实时日志入口(前提需要注册网关)如下图所示:

进入实时日志展示界面,点击“开始”按钮后,服务端将 Gateway 日志实时推送到 Console 界面展示,在该界面可以动态调整输出不同的日志级别(DEBUG、INFO、WARN、ERROR 等),同时也支持文件名、方法名、消息内容加通配符进行过滤。

详情查看 动手教程操作演示视频

数据迁移

数据迁移模块,基于上个版本做了优化,添加 ILM,Template,Alias 初始化操作。方便用户根据各自的需求迁移索引生命周期、模板、别名等。

数据看板

数据看板图表支持复制、快速切换、时间框选、缩放、标记高亮,进一步增强 Console 可视化能力。

详情查看 操作演示视频

除以上主要功能更新外,Console 其他功能优化如下:

Bug fix

  • 修复数据探索保存查询出现 mapping 错误的问题
  • 修复数据看板组件数据源配置的问题
  • 修复数据探索左侧字段栏样式的问题
  • 修复集群注册向导点击跳转后丢失集群类型的问题

Improvements

  • 数据看板汉化

更多 Console 更新可参考【Console 版本历史】。

INFINI Agent v0.4.0

数据采集工具探针(INFINI Agent)更新如下:

Features

  • 新增 logs_processor ,配置采集本地日志文件

Breaking changes

  • es_logs_processor 调整日志字段
    • created 重命名为 timestamp
    • 自动提取 payload.timestamp payload.@timestmap 字段到 timestamp
  • es_logs_processor 删除 enable 选项

下载地址: https://www.infinilabs.com/download/?product=agent

期待反馈

欢迎下载体验使用,如果您在使用过程中遇到如何疑问或者问题,欢迎前往 INFINI Labs Github(https://github.com/infinilabs) 中的对应项目中提交 Feature Request 或提交 Bug。

您还可以通过邮件联系我们:hello@infini.ltd

或者拨打我们的热线电话:(+86) 400-139-9200

也欢迎大家微信扫码添加小助手(INFINI-Labs),加入用户群讨论,或者扫码加入我们的知识星球一起学习交流。

关于极限科技(INFINI Labs)

关于极限科技

极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

详情参见官网:https://www.infinilabs.com