workshop
【INFINI 动手实战训练营-北京站】海量数据不再头疼,使用 Easysearch 来实现降本增效,硬件直接减半
Easysearch • liaosy 发表了文章 • 0 个评论 • 2690 次浏览 • 2024-01-16 00:44
您是否遇到过以下问题?
- 当前部分原始日志压缩归档存放到 HDFS,但不能直接灵活查询;
- 使用 Elasticsearch 存储日志,开销较大,硬件资源投入较高;
- 当前日志集群不断增长,存储接近 PB 量级,且还在不断接入新的数据;
- 希望降低日志保留成本,同时满足按需查询的需求,平衡性能和成本;
- 集群规模大,分片过多,管理存在挑战,希望降低维护成本等。
针对使用 Elasticsearch 来作为日志存储的以上痛点,INFINI Labs 推出的 Easysearch 提供了若干存储优化的解决方案:
- 优化措施一:集成高效压缩算法 Easysearch 采用业界最先进的 Zstd 压缩算法,高压缩率,低 CPU 消耗,针对 Doc Values、Store 字段进行高度无缝压缩,不影响正常的使用体验,可以降低 50% 的存储开销。
- 优化措施二:无缝去除 Source 字段 Easysearch 利用 DocValues 和 BKD Tree 来重建 Source,合并冗余存储,不影响日志的正常检索和查看,可以大幅降低存储需求,在一些指标场景,甚至可以降低 80% 的存储开销。
- 优化措施三:归档数据直接检索 您是否还在通过关闭索引来降低海量数据带来的集群压力,或者您是否已经将快照备份直接放到 S3 或者 HDFS 中了,现在通过 Easysearch 提供的归档数据的直接检索能力,可以进一步释放本地节点的磁盘空间,进而释放物理机器资源,并根据需要按需查询归档索引,而不需要恢复归档再查询,简单方便。
通过以上优化举措,我们可以用不到一半的机器即可承载原有的数据,并且结合 Easysearch 内置其它的内核优化,索引和查询性能也将大幅提升,同时集群更加稳定可靠。
快来与 INFINI Labs 的技术专家面对面,第一时间了解极限实验室的发布最新产品和功能特性,通过动手实战,快速掌握最前沿的搜索技术,并用于实际项目中。活动免费,欢迎报名参加。
活动时间:2024 年 1 月 18 日 13:30~17:30
活动地点:北京市海淀区 Wework 辉煌时代大厦 3 楼 3E 会议室
分享议题
- Easysearch 总体介绍及搭建实战
- Easysearch 存储优化原理与实践
- Elasticsearch -> Easysearch 在线迁移实操
- Console、Gateway、Loadgen 及 INFINI Labs 其他工具介绍与使用
参会提示
- 请务必自备电脑(Windows 系统环境请提前安装好 Linux 虚拟机)
- 请提前在 INFINI Labs 官网下载对应平台最新安装包(INFINI Easysearch、INFINI Gateway、INFINI Console)
- 下载地址:https://www.infinilabs.com/download
- 如有任何疑问可添加 INFINI Labs 小助手(微信号: INFINI-Labs)进行联系
活动报名
名额有限,对 Easysearch 搜索引擎感兴趣的朋友们速度报名(扫描海报中二维码或点击此处 链接 即可免费报名)。
【 INFINI Workshop 北京站】1月18日一起动手实验玩转 Easysearch
活动 • liaosy 发表了文章 • 0 个评论 • 2454 次浏览 • 2023-12-15 16:22
与 INFINI Labs 的技术专家面对面,第一时间了解极限实验室的发布最新产品和功能特性,通过动手实战,快速掌握最前沿的搜索技术,并用于实际项目中。欢迎大家扫描海报二维码免费报名参加。
活动时间:2024-01-18 13:30~17:30
活动地点:北京市海淀区 Wework 辉煌时代大厦 3 楼 3E 会议室
分享议题
- Easysearch 总体介绍及搭建实战
- 基于 INFINI Console 实现跨版本、跨引擎统一管控
- Elasticsearch -> Easysearch 在线迁移实操
参会提示
- 请务必自备电脑(Windows 系统环境请提前安装好 Linux 虚拟机)
- 请提前在 INFINI Labs 官网下载对应平台最新安装包(INFINI Easysearch、INFINI Gateway、INFINI Console)
- 下载地址:https://www.infinilabs.com/download
- 如有任何疑问可添加 INFINI Labs 小助手(微信号: INFINI-Labs)进行联系
【INFINI Workshop 上海站】7 月 27 日一起动手实验玩转 Easysearch
资讯动态 • liaosy 发表了文章 • 1 个评论 • 2478 次浏览 • 2023-07-07 16:30
2017 Elastic 官方及社区国内活动日程安排
资讯动态 • medcl 发表了文章 • 11 个评论 • 12031 次浏览 • 2017-03-16 15:24
- 《Elastic{ON}17 Keynote 回顾》,QQ 群(190605846),2017-3-17 21:00 PM,回放
- 《What's new in Elasticsearch 5》,QQ 群(190605846),2017-3-20 21:00 PM,回放
- 《What's new in Logstash 5》,QQ 群(190605846),2017-3-21 21:00 PM,回放
- Elastic Workshop,北京,2017-04-10【报名结束】
- Elastic Workshop,上海,2017-04-17【报名结束】
- Elastic Workshop,深圳,2017-04-20【报名结束】
- Elastic Workshop,上海,2017-06-29【报名结束】
- Elastic Workshop,广州,2017-07-04【报名结束】
- Elastic Workshop,深圳,2017-07-06【报名结束】
- Elastic Meetup Shanghai ,上海,2017.5.14, 【报名结束】【日程】
- Elastic Meetup Beijing ,北京,2017.5.21 【报名结束】【日程】【直播回放】
- Elastic Meetup Nanjing,南京,2017.6.10 【报名结束】【日程】【直播回放】
- Elastic Meetup Hangzhou,杭州,2017.6.25 【报名结束】【日程】【直播回放】
- Elastic Meetup Changsha,长沙,2017.10.28 【报名结束】【日程】
- Elastic Meetup Wuhan,武汉,2017.11.4 【报名结束】【日程】
- Elastic Meetup Guangzhou,广州,2017.11.25 【报名结束】【日程】
- Elastic Meetup Shenzhen,深圳,2017.12.16 【报名结束】【日程】
- Gopher China,上海,2017.04.15-2017.04.16
- OSC Shanghai ,上海,2017.5.13
- The China-R Conf,北京,2017.5.19-2017.5.21
- OSC Hangzhou,杭州,2017.6.24
- ArchSummit Shenzhen,深圳,2017.7.7-2017.7.8
- OSC Jinan,济南,2017.7.22
- OSC Zhuhai,珠海,2017.8.27
- RubyConf China,杭州,2017.9.16-17
- OSC Chengdu, 成都,2017.9.23
- OSC Chongqing,重庆,2017.9.24
- ArchSummit Beijing,2017.12.8-2017.12.9
【 INFINI Workshop 北京站】1月18日一起动手实验玩转 Easysearch
活动 • liaosy 发表了文章 • 0 个评论 • 2454 次浏览 • 2023-12-15 16:22
与 INFINI Labs 的技术专家面对面,第一时间了解极限实验室的发布最新产品和功能特性,通过动手实战,快速掌握最前沿的搜索技术,并用于实际项目中。欢迎大家扫描海报二维码免费报名参加。
活动时间:2024-01-18 13:30~17:30
活动地点:北京市海淀区 Wework 辉煌时代大厦 3 楼 3E 会议室
分享议题
- Easysearch 总体介绍及搭建实战
- 基于 INFINI Console 实现跨版本、跨引擎统一管控
- Elasticsearch -> Easysearch 在线迁移实操
参会提示
- 请务必自备电脑(Windows 系统环境请提前安装好 Linux 虚拟机)
- 请提前在 INFINI Labs 官网下载对应平台最新安装包(INFINI Easysearch、INFINI Gateway、INFINI Console)
- 下载地址:https://www.infinilabs.com/download
- 如有任何疑问可添加 INFINI Labs 小助手(微信号: INFINI-Labs)进行联系
【INFINI Workshop 上海站】7 月 27 日一起动手实验玩转 Easysearch
资讯动态 • liaosy 发表了文章 • 1 个评论 • 2478 次浏览 • 2023-07-07 16:30
【INFINI 动手实战训练营-北京站】海量数据不再头疼,使用 Easysearch 来实现降本增效,硬件直接减半
Easysearch • liaosy 发表了文章 • 0 个评论 • 2690 次浏览 • 2024-01-16 00:44
您是否遇到过以下问题?
- 当前部分原始日志压缩归档存放到 HDFS,但不能直接灵活查询;
- 使用 Elasticsearch 存储日志,开销较大,硬件资源投入较高;
- 当前日志集群不断增长,存储接近 PB 量级,且还在不断接入新的数据;
- 希望降低日志保留成本,同时满足按需查询的需求,平衡性能和成本;
- 集群规模大,分片过多,管理存在挑战,希望降低维护成本等。
针对使用 Elasticsearch 来作为日志存储的以上痛点,INFINI Labs 推出的 Easysearch 提供了若干存储优化的解决方案:
- 优化措施一:集成高效压缩算法 Easysearch 采用业界最先进的 Zstd 压缩算法,高压缩率,低 CPU 消耗,针对 Doc Values、Store 字段进行高度无缝压缩,不影响正常的使用体验,可以降低 50% 的存储开销。
- 优化措施二:无缝去除 Source 字段 Easysearch 利用 DocValues 和 BKD Tree 来重建 Source,合并冗余存储,不影响日志的正常检索和查看,可以大幅降低存储需求,在一些指标场景,甚至可以降低 80% 的存储开销。
- 优化措施三:归档数据直接检索 您是否还在通过关闭索引来降低海量数据带来的集群压力,或者您是否已经将快照备份直接放到 S3 或者 HDFS 中了,现在通过 Easysearch 提供的归档数据的直接检索能力,可以进一步释放本地节点的磁盘空间,进而释放物理机器资源,并根据需要按需查询归档索引,而不需要恢复归档再查询,简单方便。
通过以上优化举措,我们可以用不到一半的机器即可承载原有的数据,并且结合 Easysearch 内置其它的内核优化,索引和查询性能也将大幅提升,同时集群更加稳定可靠。
快来与 INFINI Labs 的技术专家面对面,第一时间了解极限实验室的发布最新产品和功能特性,通过动手实战,快速掌握最前沿的搜索技术,并用于实际项目中。活动免费,欢迎报名参加。
活动时间:2024 年 1 月 18 日 13:30~17:30
活动地点:北京市海淀区 Wework 辉煌时代大厦 3 楼 3E 会议室
分享议题
- Easysearch 总体介绍及搭建实战
- Easysearch 存储优化原理与实践
- Elasticsearch -> Easysearch 在线迁移实操
- Console、Gateway、Loadgen 及 INFINI Labs 其他工具介绍与使用
参会提示
- 请务必自备电脑(Windows 系统环境请提前安装好 Linux 虚拟机)
- 请提前在 INFINI Labs 官网下载对应平台最新安装包(INFINI Easysearch、INFINI Gateway、INFINI Console)
- 下载地址:https://www.infinilabs.com/download
- 如有任何疑问可添加 INFINI Labs 小助手(微信号: INFINI-Labs)进行联系
活动报名
名额有限,对 Easysearch 搜索引擎感兴趣的朋友们速度报名(扫描海报中二维码或点击此处 链接 即可免费报名)。
【 INFINI Workshop 北京站】1月18日一起动手实验玩转 Easysearch
活动 • liaosy 发表了文章 • 0 个评论 • 2454 次浏览 • 2023-12-15 16:22
与 INFINI Labs 的技术专家面对面,第一时间了解极限实验室的发布最新产品和功能特性,通过动手实战,快速掌握最前沿的搜索技术,并用于实际项目中。欢迎大家扫描海报二维码免费报名参加。
活动时间:2024-01-18 13:30~17:30
活动地点:北京市海淀区 Wework 辉煌时代大厦 3 楼 3E 会议室
分享议题
- Easysearch 总体介绍及搭建实战
- 基于 INFINI Console 实现跨版本、跨引擎统一管控
- Elasticsearch -> Easysearch 在线迁移实操
参会提示
- 请务必自备电脑(Windows 系统环境请提前安装好 Linux 虚拟机)
- 请提前在 INFINI Labs 官网下载对应平台最新安装包(INFINI Easysearch、INFINI Gateway、INFINI Console)
- 下载地址:https://www.infinilabs.com/download
- 如有任何疑问可添加 INFINI Labs 小助手(微信号: INFINI-Labs)进行联系
【INFINI Workshop 上海站】7 月 27 日一起动手实验玩转 Easysearch
资讯动态 • liaosy 发表了文章 • 1 个评论 • 2478 次浏览 • 2023-07-07 16:30
2017 Elastic 官方及社区国内活动日程安排
资讯动态 • medcl 发表了文章 • 11 个评论 • 12031 次浏览 • 2017-03-16 15:24
- 《Elastic{ON}17 Keynote 回顾》,QQ 群(190605846),2017-3-17 21:00 PM,回放
- 《What's new in Elasticsearch 5》,QQ 群(190605846),2017-3-20 21:00 PM,回放
- 《What's new in Logstash 5》,QQ 群(190605846),2017-3-21 21:00 PM,回放
- Elastic Workshop,北京,2017-04-10【报名结束】
- Elastic Workshop,上海,2017-04-17【报名结束】
- Elastic Workshop,深圳,2017-04-20【报名结束】
- Elastic Workshop,上海,2017-06-29【报名结束】
- Elastic Workshop,广州,2017-07-04【报名结束】
- Elastic Workshop,深圳,2017-07-06【报名结束】
- Elastic Meetup Shanghai ,上海,2017.5.14, 【报名结束】【日程】
- Elastic Meetup Beijing ,北京,2017.5.21 【报名结束】【日程】【直播回放】
- Elastic Meetup Nanjing,南京,2017.6.10 【报名结束】【日程】【直播回放】
- Elastic Meetup Hangzhou,杭州,2017.6.25 【报名结束】【日程】【直播回放】
- Elastic Meetup Changsha,长沙,2017.10.28 【报名结束】【日程】
- Elastic Meetup Wuhan,武汉,2017.11.4 【报名结束】【日程】
- Elastic Meetup Guangzhou,广州,2017.11.25 【报名结束】【日程】
- Elastic Meetup Shenzhen,深圳,2017.12.16 【报名结束】【日程】
- Gopher China,上海,2017.04.15-2017.04.16
- OSC Shanghai ,上海,2017.5.13
- The China-R Conf,北京,2017.5.19-2017.5.21
- OSC Hangzhou,杭州,2017.6.24
- ArchSummit Shenzhen,深圳,2017.7.7-2017.7.8
- OSC Jinan,济南,2017.7.22
- OSC Zhuhai,珠海,2017.8.27
- RubyConf China,杭州,2017.9.16-17
- OSC Chengdu, 成都,2017.9.23
- OSC Chongqing,重庆,2017.9.24
- ArchSummit Beijing,2017.12.8-2017.12.9