INFINI Labs 产品更新啦~，本次产品版本更新包括 Gateway v1.14.0、Console v1.2.0、Easysearch v1.1.1 等，其中 Console 在上一版基础上做了很多优化改进以及新增了一些特性，如新增数据比对校验功能、数据看板模块新增了表格组件、图表组件支持下钻功能等。欢迎下载体验。

INFINI Gateway v1.14.0

极限网关本次更新如下：

Features

• 支持自定义服务名称
  
• metrics 增加实例 user_in_ms 和 sys_in_ms 采集
  
• elasticsearch 增加 dial_timeout 选项
  
  

  Bug Fix
  

  
  

• 修复网关开启实时日志推送后命令行日志无法输出的问题
  
• logging 修复 min_elapsed_time_in_ms 选项不生效的问题
  
• 修复一个消费闲置队列造成 CPU 占用高的问题
  
  更多更新参见【 [Gateway 版本历史](https://infinilabs.com/docs/la ... notes/) 】。
  
  

  INFINI Console v1.2.0
  

  
  Console 本次更新如下：
  
  

  数据比对
  

  
  数据比对目前支持跨集群索引全量数据校验，常用于索引数据迁移之后，校验两端的数据是否一致，保障数据迁移的正确性。通过 UI 界面创建数据校验任务和管理。
  
  
  
  进入校验任务详情，能够可视化展示分区子任务的进度，不同的颜色方块表示进度状态，如绿色表示校验成功、红色表示校验失败，如失败了可以查看 log 日志进行错误原因定位。
  
  
  
  具体操作参见：[教程](https://infinilabs.com/docs/la ... rison/)。
  
  

  数据看板
  

  
  Console 数据看板模块新增了表格组件，进一步扩展 Dashboard 看板图表多样化，增强数据可视化能力。详情查看 [操作演示视频](https://www.bilibili.com/video/BV17k4y1x7m9/)。
  
  同时，数据看板模块新增了下钻功能，支持图表组件配置自定义下钻 URL 链接，在图表组件上进行时间范围框选后即可点击下钻按钮进行链接跳转。详情查看 [操作演示视频](https://www.bilibili.com/video/BV1FV4y1z7HY/)。
  
  

  告警模板支持环境变量
  

  
  新版 Console 支持解析系统环境变量和配置文件中配置的环境变量。在配置告警规则消息内容时可通过 {{$.env.VARIABLE}} 方式设置环境变量，详情参见：[教程](https://infinilabs.com/docs/la ... plate/)。
  
  除了以上主要新增功能外，Console 其他更新如下：
  
  

  Bug fix
  

  
  

• 修复数据看板组件复制的问题
  
• 修复开启实时推送日志后，不写文件日志的问题
  
• 修复初始化时，系统集群没有索引，节点元数据的问题
  
• 修复网关重启后，数据迁移任务无法结束的问题
  
• 修复数据迁移任务统计数据重复的问题
  
• 修复数据探索列表时间字段排序问题
  
  

  Improvements
  

  
  

• 告警规则表达式显示优化
  
• 优化数据迁移任务调度流程，减少 ES 调用次数
  
• 数据迁移任务增加跳过 scroll/bulk 文档数检查选项
  
  更多更新参见【 [Console 版本历史](https://infinilabs.com/docs/la ... notes/) 】。
  
  

  INFINI Framework
  

  
  INFINI Framework 作为 INFINI Search Platform 各产品组件的公共框架模块，其更新如下：
  
  

  Features
  

  
  

• 支持自定义服务名称，可用于单机多实例部署
  
• 新增统计接口别名：/stats/prometheus
  
  

  INFINI Easysearch v1.1.1
  

  
  Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 衍生自基于开源协议 Apache 2.0 的 Elasticsearch 7.10.2 版本。本次主要更新如下：
  
  

  Bug fix
  

  
  

• 修复模板别名在某些场景不生效的 Bug
  
• 防止 BigArray 在某些场景发生内存泄漏
  
• 修复 SourceValueFetcher 可能遗漏字段的 Bug
  
  

  Improvements
  

  
  

• easysearch.yml 增加 elasticsearch.api_compatibility 配置项，兼容 logstash-oss，filebeat-oss，apm-server-oss 等 elasticsearch 的客户端
  
  更多更新参见【 [Easysearch 版本历史](https://infinilabs.com/docs/la ... notes/) 】。
  
  

  期待反馈
  

  
  欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（[https://github.com/infinilabs](https://github.com/infinilabs)） 中的对应项目中提交 Feature Request 或提交 Bug。
  
  

• INFINI Gateway： [https://github.com/infinilabs/gateway/issues](https://github.com/infinilabs/gateway/issues)
  
• INFINI Console： [https://github.com/infinilabs/console/issues](https://github.com/infinilabs/console/issues)
  
• 下载地址： [https://www.infinilabs.com/download](https://www.infinilabs.com/download)
  
  您还可以通过邮件联系我们：hello@infini.ltd
  
  或者拨打我们的热线电话：(+86) 400-139-9200
  
  也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群讨论，或者扫码加入我们的知识星球一起学习交流。
  
  
  
  最后祝大家周末愉快！
  
  

  关于极限科技（INFINI Labs）
  

  
  
  
  极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。
  
  极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。


INFINI Labs 产品又更新啦，包括 Easysearch v1.1.0、Gateway v1.13.0、Console v1.1.0、Agent v0.4.0，其中 Easysearch 经过团队的数月打磨，现正式对外推出。Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 衍生自基于开源协议 Apache 2.0 的 Elasticsearch 7.10.2 版本。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。欢迎大家下载体验。

INFINI Easysearch v1.1.0

INFINI Easysearch 本次更新最重要的功能是引入了 ZSTD 压缩算法，对索引进行全方位的压缩，尤其针对日志数据压缩效果更加明显，针对 1.1G 的 Nginx 日志进行测试，采用 ZSTD 策略后，膨胀率只有 0.94，甚至比原始数据还要小，而且还能进一步压缩，和 index.source_reuse 结合使用后，膨胀率只有 0.7，索引大小只有 Elasticsearch 原生 best_compression 的 59%，是 Elasticsearch 6.x 的 49%。下面是一张索引大小对比图：


更多介绍查看 [详情](https://www.infinilabs.com/blo ... ssion/)。

其他更新功能如下：

Breaking changes

• Lucene 版本升级到 8.11.2
  
  

  Breaking changes
  

  
  

• 增加 ZSTD codec， 引入 ZSTD 压缩算法，对存储字段，doc_values，词典进行压缩。
  
• 增加 index.source_reuse 索引级别配置，对 _source 进一步压缩。
  
• 提供索引生命周期管理 ILM 模块的功能，绝大部分 api 兼容 elasticsearch
  
  

  Breaking changes
  

  
  

• 减少冗余日志输出。
  
• 减少 modules 模块整体大小。
  
  下载地址：https://www.infinilabs.com/download
  
  

  INFINI Gateway v1.13.0
  

  
  极限网关本次更新如下：
  
  

  Features
  

  
  

• router.rules 增加 enabled 选项，控制是否启用 flow
  
• 增加对 loong64 架构的支持
  
• 增加对 riscv64 架构的支持
  
• elasticsearch filter 增加 dial_timeout 选项
  
  

  Bug fix
  

  
  

• 修复 http/elasticsearch 转发后 HTTP 响应头丢失的问题
  
• 修复 pipeline 热加载出现重复 pipeline 同时运行的问题
  
• 修复 bulk_indexing 退出后泄漏 goroutine 的问题
  
  

  Improvements
  

  
  

• 优化 HTTP 头设置方式，避免出现重复的 HTTP 头
  
• 优化 pipeline 停止的响应速度
  
• pipeline 增加 enabled 选项，控制是否启用 pipeline
  
  更多 Gateway 更新可参考【[Gateway 版本历史](https://www.infinilabs.com/doc ... -notes)】。
  
  

  INFINI Console v1.1.0
  

  
  本次 INFINI Console 版本发布主要新增了网关实时日志查看功能、完善了数据迁移功能和数据看板的可视化能力、以及修复了已知 Bug。
  
  

  实时日志
  

  
  登录 Console，进入 [资源管理][网关管理] 界面，可以看到网关实时日志入口（前提需要注册网关）如下图所示：
  
  
  
  进入实时日志展示界面，点击“开始”按钮后，服务端将 Gateway 日志实时推送到 Console 界面展示，在该界面可以动态调整输出不同的日志级别（DEBUG、INFO、WARN、ERROR 等），同时也支持文件名、方法名、消息内容加通配符进行过滤。
  
  
  
  详情查看 [动手教程](https://www.infinilabs.com/doc ... -logs/) 和 [操作演示视频](https://www.bilibili.com/video/BV15z4y1h7Rd)。
  
  
  

  数据迁移
  

  
  数据迁移模块，基于上个版本做了优化，添加 ILM，Template，Alias 初始化操作。方便用户根据各自的需求迁移索引生命周期、模板、别名等。
  
  
  
  

  数据看板
  

  
  数据看板图表支持复制、快速切换、时间框选、缩放、标记高亮，进一步增强 Console 可视化能力。
  
  
  
  详情查看 [操作演示视频](https://www.bilibili.com/video/BV1Ws4y1g7Eu)。
  
  除以上主要功能更新外，Console 其他功能优化如下：
  
  

  Bug fix
  

  
  

• 修复数据探索保存查询出现 mapping 错误的问题
  
• 修复数据看板组件数据源配置的问题
  
• 修复数据探索左侧字段栏样式的问题
  
• 修复集群注册向导点击跳转后丢失集群类型的问题
  
  

  Improvements
  

  
  

• 数据看板汉化
  
  更多 Console 更新可参考【[Console 版本历史](https://www.infinilabs.com/doc ... -notes)】。
  
  

  INFINI Agent v0.4.0
  

  
  数据采集工具探针（INFINI Agent）更新如下：
  
  

  Features
  

  
  

• 新增 logs_processor ，配置采集本地日志文件
  
  

  Breaking changes
  

  
  

• es_logs_processor 调整日志字段
  
  • created 重命名为 timestamp
    
  • 自动提取 payload.timestamp payload.@timestmap 字段到 timestamp
    
• es_logs_processor 删除 enable 选项
  
  下载地址：
  https://www.infinilabs.com/download/?product=agent
  
  

  期待反馈
  

  
  欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（[https://github.com/infinilabs](https://github.com/infinilabs)） 中的对应项目中提交 Feature Request 或提交 Bug。
  
  

• INFINI Gateway： [https://github.com/infinilabs/gateway/issues](https://github.com/infinilabs/gateway/issues)
  
• INFINI Console： [https://github.com/infinilabs/console/issues](https://github.com/infinilabs/console/issues)
  
• 下载地址： [https://www.infinilabs.com/download](https://www.infinilabs.com/download)
  
  您还可以通过邮件联系我们：hello@infini.ltd
  
  或者拨打我们的热线电话：(+86) 400-139-9200
  
  也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群讨论，或者扫码加入我们的知识星球一起学习交流。
  
  
  
  

  关于极限科技（INFINI Labs）
  

  
  
  
  极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。
  
  极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。
  
  详情参见官网：[https://www.infinilabs.com](https://www.infinilabs.com)


INFINI Labs 为大家又带来一波产品更新，包括 Gateway v1.10.0、Console v0.8.0、Loadgen v1.5.0、Loadrun v0.1.0，其中 Loadrun 是本次产品更新中首发亮相，它是一个用来批量运行 Loadgen 测试用例的工具。欢迎大家下载体验。

INFINI Gateway v1.10.0

极限网关本次更新如下：

Features

• 配置文件中支持环境变量
  
• 添加 ratio filter 选项操作，允许立即丢弃请求
  
• 添加 context_parser filter
  
• 添加 context_switch filter
  
• 添加 _sys.* 到请求上下文
  
  更多 Gateway 更新可参考【[Gateway 版本历史](https://www.infinilabs.com/doc ... -notes)】。
  
  

  INFINI Console v0.8.0
  

  
  本次极限 Console 版本更新主要新增了凭据管理功能，凭据敏感信息使用加密存储。凭据管理可以帮助我们将身份验证信息集中管理，需要用的地方直接引用，提高了身份验证信息的存储安全性。
  
  需要注意的是，如果您是初次安装部署，凭据敏感信息加密密钥在 INFINI Console 安装初始化是自动生成或用户自定义设置。该密钥需要用户妥善保存，如果密钥丢失，当升级 INFINI Console 并且重新初始化系统后，先前保存的凭据信息将无法解密。
  
  

  

  
  
  在【系统管理】-【凭据管理】列表中可以查询已创建的凭据信息，支持增删查改等基本操作。
  
  

  

  
  
  更多详情可参考文档（[https://www.infinilabs.com/doc ... ntial](https://www.infinilabs.com/doc ... ential)）。
  
  Console 其他功能优化如下：
  
  

  Improvements
  

• KV 内存占用优化
  
  

  Bug fix
  

• 修复了网关实例列表 CPU 数值显示问题
  
• 修复了系统服务健康监控错误提示
  
  更多 Console 更新可参考【[Console 版本历史](https://www.infinilabs.com/doc ... -notes)】。
  
  

  INFINI Loadgen v1.5.0
  

  
  Elasticsearch 性能压测工具 Loadgen 本次更新如下：
  
  

  Features
  

• 新增assert功能，支持对请求返回进行判断
  
• 新增register功能，支持测试过程中动态注册全局变量
  
• 新增环境变量功能，配置文件可以动态加载环境变量
  
• 请求头配置支持访问动态变量
  
  
  

  Improvements
  

• 优化 -l 参数的准确性
  
• 支持可选跳过 warm-up 阶段
  
  下载地址：[https://release.infinilabs.com/loadgen](https://release.infinilabs.com/loadgen)
  
  

  INFINI Loadrun v0.1.0
  

  
  Loadrun 是一个用来批量运行 Loadgen 测试用例的工具，不需要重复编写测试用例，通过切换套件配置来快速测试不同的环境配置。
  
  

  Features
  

• 支持配置测试套件，批量运行 Loadgen 测试样例并输出测试结果
  
• 支持测试套件配置 Loadgen 环境变量，快速切换测试环境
  
• 支持自动启动 INFINI Gateway，方便测试不同配置
  
  下载地址：[https://release.infinilabs.com/loadrun](https://release.infinilabs.com/loadrun)
  
  

  期待反馈
  

  
  欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（[https://github.com/infinilabs](https://github.com/infinilabs)） 中的对应项目中提交 Feature Request 或提交 Bug。
  
  

• INFINI Gateway： [https://github.com/infinilabs/gateway/issues](https://github.com/infinilabs/gateway/issues)
  
• INFINI Console： [https://github.com/infinilabs/console/issues](https://github.com/infinilabs/console/issues)
  
• 官网： [https://www.infinilabs.com](https://www.infinilabs.com)
  
• 下载地址： [https://www.infinilabs.com/download](https://www.infinilabs.com/download)
  
  您还可以通过邮件联系我们：hello@infini.ltd
  
  或者拨打我们的热线电话：(+86) 400-139-9200
  
  也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群讨论，或者扫码加入我们的知识星球一起学习交流。
  
  
  
  最后祝大家周末愉快！
  
  

  关于极限科技（INFINI Labs）
  

  
  

  

  
  
  极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。
  
  极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。
  


Hi，大家好。今天 INFINI Labs 为大家带来 2023 春节后第一波产品更新发布，欢迎大家免费下载体验使用。

INFINI Gateway v1.9.0

极限网关本次迭代带来了大量的更新如下：

Breaking changes

• Refactoring config for ip access control
  
• Disable elasticsearch metadata refresh by default
  
• Update default config path from configs to config
  
• Remove sample-configs, moved to dedicated integrated-testing project
  
• Remove field conntime, update field @timestamp to timestamp in logging filter
  
• Rename disorder to fast
  
  

  Features
  

• Support listen on IPv6 address
  
• Add general health api
  
• Add request_ip to context
  
• Add badger filter plugin
  
• Allow to split produce and consume messages from s3
  
• Add bulk_request_throttle filter
  
• Support access request context and more output options in echo filter
  
• Add body_json to response context
  
• Add cert config to API module, support mTLS
  
• Add api to clear scroll context
  
• Floating_ip support stick by priority
  
• Add keystore util
  
• Allow to save success bulk results in bulk_indexing processor
  
• Enable watch and reload the major config file
  
• Support run background job in one goroutine
  
• Allow to handle async_bulk request logging
  
• Add config to control cluster health check while cluster not available, set default to false
  
• Allow to follow redirects in http filter, set default read and write timeout to 30s
  
• Support collect instance metrics to monitoring gateway
  
• Add json log format
  
  

  Bug fix
  

• Fix user was removed in logging filter
  
• Fix incorrect message size issue, reload when files changed in disk_queue
  
• Fix issue that index_diff could not finished automatically
  
• Fix hostname was not well updated in filter set_request_header or set_hostname
  
• Fix to check consumer’s lag instead of queue’s lag in flow_runner processor
  
• Fix file not found error for disk_queue
  
• Fix the delete requests was not proper handled in filter bulk_reshuffle, bulk_request_mutate and bulk_indexing processor
  
• Fix memory leak caused by misuse of bytes buffer
  
• Fix to handle the last request in replay processor
  
• Fix url args was not updated after change
  
• Fix memory leak when serving high-concurrent requests
  
• Fix nil id caused error when using sliced workers in bulk_indexing processor
  
• Fix index name with dot
  
• Refactoring time fields for orm, skip empty time
  
• Refactoring stats, allow to register extended stats
  
• Fix to restart gateway entrypoint on flow change
  
• Update ratio filter, fix random number, add header to ratio filter
  
• Fix query parameter no_cache was not well respected in get_cache filter
  
• Fix single delete request was ignored in bulk requests
  
• Fix request mutate filter
  
  

  Improvements
  

• Remove newline in indexing_merge and json_indexing processor
  
• Improve instance check, add config to disable
  
• Add option skip_insecure_verify to s3 module
  
• Improve instance check, enable config to disable
  
• Update the way to get ctx process info, optimize memory usage
  
• Improve indexing performance for bulk_indexing processor
  
• Refactoring disk_queue, speedup message consumption
  
• Enable segment compress for disk_queue by default
  
• Skip download s3 files when s3 was not enabled
  
• Add option to log warning messages for throttle filters
  
• Optimize hash performance for getting primary shardID and partitionID
  
• Add cache for get index routing table
  
• Optimize performance for bulk response processing
  
• Refactoring bulk_processor, pass meta info to payload func
  
• Don’t call payload func for delete action
  
• Improve queue consumer’s lag check
  
• Enable prepare flat files ahead for read by default, skip unnecessary file
  
• Add object pool for xxhash
  
• Refactoring disk_queue, handle consumer in-flight segments in memory
  
• Add config to remove duplicated newline for bulk_processor
  
• Add metric timestamp in stats api
  
• Improve error on routing table missing
  
• Refactoring bytes buffer and object pool, expose metrics via API
  
• Refactoring tasks pooling, support throttle and unified control
  
• Optimize badger file size and memory usage
  
• Refactoring time fields for orm, skip empty time
  
• Refactoring stats, allow to register extended stats
  
• Refactoring to handle bulk response results
  
• Add client_session_cache_size to tls setting
  
• Safety add newline to each bytes when handle bulk requests
  
  

  INFINI Console v0.7.0
  

  
  INFINI Console 本次迭代更新如下：
  
  

• 新增初始化安装向导；
  
  

  
  
  

• 新增系统服务健康监控；
  
• 新增 License 授权；
  
  

  
  
  

• 新增索引和节点层面数据字节写入吞吐量指标(indexing bytes)；
  
• 修复了 Discover 第一次加载未发起搜索请求的问题；
  
• 修复了查看节点线程池指标时选择多个节点后指标不显示的问题；
  
  

  期待反馈
  

  
  欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（[https://github.com/infinilabs](https://github.com/infinilabs)） 中的对应项目中提交 Feature Request 或提交 Bug。
  
  

• INFINI Gateway： [https://github.com/infinilabs/gateway/issues](https://github.com/infinilabs/gateway/issues)
  
• INFINI Console： [https://github.com/infinilabs/console/issues](https://github.com/infinilabs/console/issues)
  
• 下载地址： [https://www.infinilabs.com/download/](https://www.infinilabs.com/download/)
  
  您还可以通过邮件联系我们：hello@infini.ltd
  
  或者拨打我们的热线电话：(+86) 400-139-9200
  
  也欢迎大家添加微信小助手(INFINI-Labs)拉群交流和学习。
  
  
  

  
  
  
  感谢大家的围观，祝大家周末愉快。

亲爱的各位赞助商、合作伙伴、嘉宾和参会朋友：

    很高兴通知大家，经 Elastic 中国开发者大会组委会研究决定，由于疫情原因延期举办的 2022 Elastic 中国开发者大会将于2022年10月29日在深圳好日子皇冠假日酒店重启举办。

    关于会议信息也做一个同步：

    一、会议场地变化：原会议举办场地——深圳圣淘沙酒店，被深圳政府做为深圳市疫情防控指挥中心，酒店工作人员通知2022年全年都无法提供任何场地举办会议。组委会得知情况后，为了大会及时召开，立即做好预案，在不考虑成本的情况下，将会议场地变更为——深圳好日子皇冠假日酒店，会议的整体环境、场地、展厅、茶歇、用餐等都做了全面的升级。

    二、关于讲师和议题：少部分讲师和议题有变化，组委会近期会与讲师沟通确认是否需要更换新的演讲议题。

    这次的 Elastic 中国开发者大会虽然遇到了很多的困难与波折，但因为您们的理解和支持，一直鼓励着我们，给了我们信心与动力，我们会本着办好中国开发者大会的初心继续前行，再次感谢大家的大力支持！

    注：

1. 目前大会报名购票通道已重新开启，欢迎有兴趣的朋友报名参会，已经报名参会者无需再次报名。报名链接：https://www.bagevent.com/event/7899116
2. 如需要加入本次大会微信交流群，请加微信(lsy965145175)拉群。
3. 更多大会资讯请关注官网：https://conf.elasticsearch.cn

 
 


今天 INFINI Labs 为大家又带来了一波产品更新，请查阅。

INFINI Gateway v1.8.0

极限网关本次迭代更新如下：

• 修复上下文条件 consumer_has_lag参数和 配置、文档不一致的 Bug。
  
• 修改备集群故障，主集群不能正常写数据的 Bug。
  
• 修复 Bulk 请求处理异常造成数据复制不一致的问题。
  
• 修复请求日志里面关于 Bulk 统计数据丢失的问题。
  
• 修复大并发情况下，请求体为空的异常。
  
  

  INFINI Console v0.6.0
  

  口碑爆棚的 Elasticsearch 多集群管控平台 INFINI Console 更新如下：
  
  

• 新增主机概览。
  
  
  

  
  
  

• 新增主机监控。
  
  
  

  
  
  

• 节点概览新增日志查看功能（需安装 Agent）。
  
  
  

  
  
  

• Insight 配置框新增 Search 配置。
  
• 优化 Discover 时间范围 Auto Fit，设为15分钟。
  
• 优化 Discover 保存搜索，会保存当前的字段过滤和 Insight 图表配置。
  
• 优化本地列表搜索查找，支持通配符过滤。
  
• 优化告警规则必填字段标记显示。
  
• 修复了 Discover 字段过滤白屏问题。
  
• 修复了 Discover 表格添加字段后排序失效问题。(感谢@卢宝贤反馈)
  
• 修复了 Elasticsearch 8.x 删除文档报错不兼容的问题。(感谢@卢宝贤反馈)
  
• 修复了创建新索引不成功时，异常处理的问题。
  
• 修复了低版本浏览器js不兼容导致集群注册不成功的问题。
  
• 修复了开发工具中使用加载命令失败报错的问题。
  
  
  

  INFINI Agent v0.2.0
  

  数据采集工具探针（INFINI Agent）更新如下：
  
  

• 新增按节点读日志文件列表的API
  
• 新增读具体日志文件内容的API
  
• 新增 Elasticsearch 节点掉线后的基础信息保存
  
• 新增主机在线状态的采集
  
• 新增基于 Centos 的 Docker 镜像
  
• 新增主机配置信息采集: 操作系统信息、磁盘大小、内存大小、CPU配置等
  
• 新增主机指标的采集: CPU使用率、磁盘使用率、磁盘IO、内存使用率、swap 使用率、网络IO等
  
• 新增 Elasticsearch 进程信息采集
  
• 修复发现 Elasticsearch 进程时频繁提示端口访问错误的Bug
  
• 修复 Elasticsearch 节点地址为 0.0.0.0 时无法获取节点信息的Bug
  
• 修复 CPU 指标数据显示异常的Bug
  
• 修复 stats API 在 Windows 平台的兼容性
  
  

  INFINI Framework 2000923
  

  INFINI Framework 也带来了很多改进：
  
  

• 重构了磁盘队列压缩相关配置，支持段文件的压缩。
  
• 当集群不可用的情况下，跳过集群节点元数据的获取。
  
• 完善节点可用性检测，避免频繁的不可用状态切换。
  
• 修复 Elasticsearch 主机地址为空的异常。
  
• 完善本地磁盘队列文件的清理，避免删除正在使用的文件。
  
  

  期待反馈
  

  
  如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（[https://github.com/infinilabs](https://github.com/infinilabs)）中的对应项目中提交 Feature Request 或提交 Bug。
  

• INFINI Gateway： [https://github.com/infinilabs/gateway](https://github.com/infinilabs/gateway)
  
• INFINI Console： [https://github.com/infinilabs/console/issues](https://github.com/infinilabs/console/issues)
  
• 下载地址： [https://www.infinilabs.com/#/download](https://www.infinilabs.com/#/download)
  
  您还可以通过邮件联系我们：hello@infini.ltd
  
  或者拨打我们的热线电话：(+86) 400-139-9200
  
  也欢迎大家微信扫码添加小助手，加入用户群讨论，或者扫码加入我们的知识星球一起学习交流。
  
  
  感谢大家的围观，祝大家周末愉快。

 各位网友们晚上好，今天是 2022-08-26，星期五，天气晴朗，确切来说可以用炎热来形容，不如小编在此为大家赋诗一首：

啊！啊！时光飞梭，转眼已是秋天，难却烈日依旧炎炎，几度望穿雨下，窗外热风扑面，湘江滚烫，耀我中华，倩倩诗词。。。咳咳，实在编不下去了。。。

首先，我们来回顾一下历史上的今天：

• 中国第一台百万次计算机试制成功
• 我国正式设立经济特区

然后，我们再看看 INFINI Labs 今天为大家带来了哪些产品更新吧，具体如下，请查收。

INFINI Gateway v1.7.0

极限网关本次迭代更新如下：

• Flow 过滤器支持基于上下文参数的动态转发，可以实现多域名和后端实例的对应关系
• Router 新增 IP 白名单
• LDAP 身份认证过滤器新增 LRU 缓存支持
• 新增基于 Centos 的 Docker 镜像

INFINI Console v0.5.0

口碑爆棚的 Elasticsearch 多集群管控平台继续在小步迭代中：

• 修复开发工具不能转发请求给后端集群为 Https 类型的问题
• 新增探针管理功能
• 集群监控节点层面添加 IO 指标（仅支持 Linux 版本 Elasticsearch 集群）
• 修复了存储数据 Elasticsearch 集群不可用时，采集监控指标队列不消费的问题
• 修复了 Docker 镜像时区加载失败的问题 （感谢反馈 @阿炳）
• 修复了 Gateway 实例列表刷新后多次请求的问题
• 优化刷新集群状态日志输出
• 新增基于 Centos 的 Docker 镜像
• 优化了未授权时跳转至登录界面频繁的弹窗提示
• INFINI Insight 新增图表类型（单值、饼图、面积图）

• 调整 Discover 搜索栏时间选择控件 UI，空间更紧凑，切换更方便

• 修复 INFINI Insight 编辑组件后所有组件又重新获取数据的问题
• 修复从其它页面的索引链接跳转到 Discover 时 Query 依然有旧状态的问题

INFINI Agent v0.1.0

为了支撑海量大规模集群的监控指标采集以及为了后续功能的开发做准备，INFINI 产品家族引入了新的成员：INFINI Agent，第一个版本 v.0.1.0 经过实验室小伙伴们的共同努力，终于发布了。 欢迎大家体验，期待大家的反馈~~

• 实现了 Agent 的自动注册，自动解析当前主机包含 Elasticsearch 集群/实例信息并上报给 Console
• 实现了 Agent 端的数据抓取，目前仅实现节点指标、集群指标的抓取
• 实现了 Agent 的状态管理，Console 端可以管理 Agent 状态和下发数据任务
• 实现了多平台兼容 (Linux/Mac/Windows)
• 集成了权限控制，Agent 需等待 Console 端审核通过之后，才会开始数据抓取
• 实现 Agent 多节点间任务调度，当 Agent 掉线了，也不用担心数据无法采集

INFINI Framework 20220826

作为 INFINI 家族公共的基础框架，INFINI Framework 也带来了很多改进：

• 系统内部运行统计指标新增 Prometheus 格式输出
• 合并配置加载过程中的时间, 避免没有必要的重复加载
• 完善了动态配置，并支持动态加载模版化的配置文件
• 集群拓扑发现关闭的情况下不使用和检测后端节点
• API 服务可以统一捕获异常的连接请求，完善输出
• 优先复用本地的 Elasticsearch 客户端实例
• 修复 Windows 磁盘占用统计不正确的错误
• 修复 Windows 服务安装之后启动失败的问题
• 修复 Makefile，避免循环依赖

其它更新

为了让集群运维起来更加自信，相信大家都在配置各种告警规则了，不过这个事情还是比较繁琐的，大家不要慌，针对 Elasticsearch 平台运维的常见指标，我们已经设置好了规则，方便到家快速复用，已提交到 Github 的样例仓库，欢迎大家自行导入到 INFINI Console 中。



访问地址：https://github.com/infinilabs/examples
 
期待反馈

如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（https://github.com/infinilabs）中的对应项目中提交 Feature Request 或提交 Bug。

• INFINI Gateway: https://github.com/infinilabs/gateway
• INFINI Console: https://github.com/infinilabs/console/issues
• 下载地址：https://www.infinilabs.com/#/download

您还可以通过邮件联系我们：hello@infini.ltd，或者拨打我们的热线电话：(+86) 400-139-9200
也欢迎大家微信扫码添加小助手，加入用户群讨论，或者扫码加入我们的知识星球一起学习交流。



感谢大家的围观，祝大家周末愉快，本次发布的内容就到这里，下班啦，再见~
 

来源：https://www.freebuf.com/vuls/307891.html
 
一、漏洞概况

Grafana是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知。它主要有以下六大特点：

1、展示方式：快速灵活的客户端图表，面板插件有许多不同方式的可视化指标和日志，官方库中具有丰富的仪表盘插件，比如热图、折线图、图表等多种展示方式；

2、数据源：Graphite，InfluxDB，OpenTSDB，Prometheus，Elasticsearch，CloudWatch和KairosDB等；

3、通知提醒：以可视方式定义最重要指标的警报规则，Grafana将不断计算并发送通知，在数据达到阈值时通过Slack、PagerDuty等获得通知；

4、混合展示：在同一图表中混合使用不同的数据源，可以基于每个查询指定数据源，甚至自定义数据源；

5、注释：使用来自不同数据源的丰富事件注释图表，将鼠标悬停在事件上会显示完整的事件元数据和标记；

6、过滤器：Ad-hoc过滤器允许动态创建新的键/值过滤器，这些过滤器会自动应用于使用该数据源的所有查询。


二、漏洞分析

此次受影响的版本如下：

Grafana

是否受影响

8.x

是


漏洞由grafana-main\pkg\api\api.go引起



分析原因：
api功能可以实现加载插件文件，然后返回文件内容
由于加载路径时候未进行过滤，导致../实现任意文件读取。


最后返回文件内容：




二、漏洞利用
GET /public/plugins/welcome/../../../../../../../../etc/passwd HTTP/1.1 Host: 127.0.0.1:3000 Content-Length: 21 Connection: close




三、漏洞评估

公开程度：已出现在野利用

利用条件：无权限要求

交互要求：0 click

漏洞危害：高危、任意文件读取

影响范围：Grafana 8.x

四、修复方案
 
1、目前厂商暂未修复，建议对../以及相关编码进行过滤。
2、上waf
3、加反向代理利用中间件对路径做normalize操作。

极限数据 v0.2 版本正式发布了。
1. 新增了各个维度的监控指标，重新组织了各个指标的分组信息；
2.开发工具支持快捷键调出和隐藏；
3.指标索引支持 ILM 生命周期管理；
4.完善国际化的部分翻译；
5.修复了一些 Bug；

下载地址：
http://release.elasticsearch.cn/console/stable/ 


 
更多详细信息，请查看文档地址：http://极限数据.com

感谢以下社区同学提供的试用报告与经验分享：

• 极限网关 INFINI Gateway 初体验
• INFINI Gateway 的使用方法和使用心得分享
• 性能爆表！INFINI Gateway 性能与压力测试结果
• 四倍索引速度提升, 有点东西

 
 
每日构建：http://release.elasticsearch.cn/
镜像地址：https://hub.docker.com/r/infinilabs/gateway
文档手册：https://极限网关.com
 
目前提供的功能：

• 索引级别的请求限速
• 重复请求可以缓存
• Kibana 无缝提速
• Elasticsearch 节点自动发现
• 基于权重的节点选择，权重可配置
• 可控制到每个后端节点的最大连接数
• 查询日志统计分析，用于追踪请求排错审计

性能优异，经过测试，比 Nginx 都更胜一筹。

[root@XXX-ES-01 linux64]# ./esm -s https://elastic:pass@xx.xx.cn:9343 -d https://elastic:pass@xx.xx.cn:8000 -x medcl2 -y medcl23 -r -w 200 --sliced_scroll_size=40 -b 10 -t=30m

[11-12 22:09:38] [INF] [main.go:461,main] start data migration..

Scroll 20377840 / 20387840   99.95% 1m20s

Bulk 20371785 / 20387840   99.92% 1m53s

[11-12 22:11:32] [INF] [main.go:492,main] data migration finished.

使用 ESM 进行集群的一个 2千多万的索引数据进行导入导出，分别走 Nginx 和 Elasticsearch 网关，网关和 Nginx 都部署在同一台16 核 32GB 的机器上，16 核全部跑满，Nginx 可以达到 20w/s，网关可以达到 25w/s。


 
Kibana 走网关可以降低重复请求，缓存常见查询，起到查询加速的效果，如下：


 
演示视频：https://v.qq.com/x/page/e3209mhh9kj.html
索引级别的限速限流，给后端 ES 稳稳的幸福。
 

可以开启请求日志，用来分析 ES 查询情况，如下：
 



 
追求性能极限，此网关名为极限网关（INFINI Gateway）。
欢迎帮忙测试，提供反馈意见。

Update!
关于认证考试的内容，我做了一次直播分享，感兴趣的可以来这里查看！

https://www.yuque.com/elastictalk/blog/et26
 
 
 Elastic 最近推出了新的认证考试，Elastic Certified Analyst，主要是考察大家对 Kibana 的掌握程度。
https://www.elastic.co/trainin ... -exam

我上周参加了下，顺利拿到徽章，题目还是比较有意思的，周末找时间直播和大家聊一聊！
 


 

Elastic 官方线上公开培训课现已开放注册。

本次课程为官方收费课程，为针对中国及亚洲华语学员单独开设的课程，本次课程为在线虚拟课程，共计 两门课程，包含一次 Elastic 认证工程师考试机会。

课程大纲！

本次课程的内容为 Elasticsearch 核心课程，分为两个部分：

• Elasticsearch Engineer I - Virtual
  
• Elasticsearch Engineer II - Virtual
  
  
  各个课程的大纲分别为：
  
  Elasticsearch Engineer I - Virtual
  
  
• Elasticsearch 基础理论
  
• Elasticsearch 查询
  
• Elasticsearch 聚合
  
• Elasticsearch 文本分析与映射
  
• Elasticsearch 节点与分片
  
• Elasticsearch 监控与诊断
  
  更多详情请访问：https://training.elastic.co/in ... rtual
  
  
  Elasticsearch Engineer II - Virtual
  
  
• Elasticsearch 数据建模
  
• Elasticsearch 数据加工
  
• Elasticsearch 从开发到生产环境
  
• Elasticsearch 集群部署
  
• Elasticsearch 节点和索引管理
  
• Elasticsearch 高级使用技巧
  
  更多详情请访问：https://training.elastic.co/in ... rtual
  
  
  

  授课方式！
  

  
  本次课程为在线课程，每门课程有两位专门的授课老师，授课采用在线课堂的方式，提供远程实验动手环境，授课老师会实时指导，辅导上机操作。
  
  课程教材为英文，全程由中文普通话讲授。
  
  
  

  授课时间！
  

  
  授课时间：
  
  

• Elasticsearch 课程 1：4月27日 – 4月30日
  
• Elasticsearch 课程 2：5月18日 – 5月21日
  
  每门课程分别为 4 天（讲师授课指导半天、自己练习半天），两门课程共计 8 天，内容各不相同，没有交叉。
  
  
  

  课程准备！
  

  
  上课环境前提准备
  
  

• 稳定的互联网连接，10Mb 以上带宽
  
• 任意安装有 Mac, Linux 或 Windows 的电脑一台
  
• 最新稳定版本的 Chrome 或者 Firefox 浏览器(其它浏览器不支持)
  
• 课程开始前，关闭任何广告屏蔽插件，并重启浏览器
  
• 课程开始前，确保关闭任何的 VPN 服务
  
  

  报名时间！
  

  
  从即日起开设接收学员报名，报名截止时间为：2020 年 4 月 22 日，以实际付款时间为主。
  
  
  

  报名费用！
  

  
  两门课程 + 一次认证考试累计合计费用：$1920 美金
  
  
  

  官网报名！
  

  
  报名方法一：通过在线方式自主选择进行注册报名、缴费，需要选择 Location：China Standard Time。
  
  https://training.elastic.co/lo ... China
  
  
  

  人工报名！
  

  
  报名方法二：您可以联系下面的 Elastic 官方合作伙伴，由他们来帮你购买课程和处理发票事宜。
  
  扫下发二维码立即联系客服
  
  

  

  
  
  
  
  

  常见问题！
  

  
  Q：能否支持选择单项课程，如 ENG I 或者 ENG II？
  A：不支持，本次课程为捆绑优惠套餐
  
  Q：能否支持信用卡付款？
  A：支持，信用卡需支持双币卡
  
  Q：能否支持微信支付宝付款？
  A：支持，需要联系人工报名
  
  Q：能否提供发票用于报销？
  A：支持，需要联系人工报名，有额外税点
  
  
  本次课程名额有限，距离开课的时间也不多了，有兴趣的同学们赶快报名吧。
  
  
  

  免责声明
  

  
  有关此次在线培训活动的最终解释权给 Elastic 所有。
  
  

上午主会场


下午分会场
专场A：架构之美


专场B：代码之美


专场C：应用之美






 

第16期 ElasticTalk 直播已经结束，我们主要分享了 Elasticsearch 监控的那些事儿！
1.为什么要监控
2.应该监控哪些指标
3.如何监控
 
如果你没来的及参加直播，来看下回放吧！
 
本次直播由于耳机问题，导致声音断断续续，大家忍耐着看下片子吧 :-(
 
视频回放地址
 
ElasticTalk 是一个社区的 Webinar 活动，也欢迎感兴趣的伙伴加入，我们的目标如下：
1.研讨 Elastic Stack 的新功能、原理等，使更多的人以更直接的方式掌握其功能
2.锻炼参与者的选题、语言表达及沟通能力
 
目前是计划每周六下午 2:00 举行一场，形式主要以在线直播为主。
 
如果你对这个项目感兴趣，欢迎联系我！
 
招聘时间
我司在大力招聘 Elastic 技术专家，欢迎感兴趣的同学来投简历，地址如下：
http://www.elastictech.cn/jobs 
想在 Elasticsearch 领域精进的同学，不妨来看看机会，作为 Elastic 官方战略级合作伙伴，我们的培训都是和 Elastic 官方同步的，机不可失！
而我们服务的客户遍布金融、证券、零售、制造业，充满挑战，感兴趣的你快来投递简历吧！