居然是你
迁移

迁移

用 Easysearch 帮助大型车企降本增效

Easysearchyangmf2040 发表了文章 • 0 个评论 • 4268 次浏览 • 2024-02-02 15:15 • 来自相关话题

最近某头部汽车集团需要针对当前 ES 集群进行优化,背景如下: ES 用于支撑包括核心营销系统、管理支持系统、财务类、IT 基础设施类、研发、自动驾驶等多个重要应用,合计超 50 余套集群,累计数据超 1.5PB 。 本文针对其中一个 ES 集群进行分享,该集群原本使用的是 ES 7.3.2 免费版,数据已经 130TB 了,14 个节点。写入数据时经常掉节点,写入性能也不稳定,当天的数据写不完。迫切需要新的解决方案。 分析业务场景后总结需求要点:主要是写,很少查。审计需求,数据需要长期保存。 这个需求比较普遍,处理起来也很简单:

  • 使用 Easysearch 软件,只需少量节点存储近两天的数据。
  • 索引设置开启 ZSTD 压缩功能,节省磁盘空间。
  • 每天索引数据写完后,第二天执行快照备份存放到 S3 存储。
  • 备份成功后,删除索引释放磁盘空间。
  • 需要搜索数据时,直接从快照搜索。

将近期的数据,存放到本地磁盘,保障写入速度。写入完毕的索引,在执行快照备份后,可删除索引,释放本地磁盘空间。

Easysearch 配置要点

path.repo: ["/S3-path"]
node.roles: ["data","search"]
node.search.cache.size: 500mb
  • path.repo : 指定 S3 存储路径,上传快照用。
  • node.roles : 只有 search 角色的节点,才能去搜索快照中的数据。
  • node.search.cache.size : 执行快照搜索时的,缓存大小。

更多信息请参考官方文档

旧数据迁移

通过 Console 将原 ES 集群的数据,迁移到新 Easysearch 集群。迁移时,复制 mapping 和 setting,并在 setting 中添加如下设置。

"codec": "ZSTD",
"source_reuse": true,

原索引数据量大,可拆分成多个小任务。 迁移完,索引存储空间一般节省 50% 左右。 原索引 279GB ,迁移完后 138GB。

搜索快照数据

挂载快照后,搜索快照里的索引和搜索本地的索引,语法完全一样。 如何判断一个索引是在快照还是本地磁盘呢?可以查看索引设置里的 settings.index.store.type 如果是 remote_snapshot ,说明是快照中的数据。如果是空值,则是集群本地的数据。
这次迁移,节省了 6 台主机资源。更重要的是,用上对象存储后,主机磁盘空间压力骤减。
这次介绍就到这里了,有问题联系我。

关于 Easysearch

Easysearch

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎,核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本,并继续完善和支持更多的企业级功能。与 Elasticsearch 相比,Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。

官网文档:https://infinilabs.com/docs/latest/easysearch

社区服务器迁移完成啦!

站务公告medcl 发表了文章 • 1 个评论 • 1495 次浏览 • 2020-07-29 11:18 • 来自相关话题

社区服务器迁移完成啦,  感谢蒋涛先生及 CSDN 极客帮创投对我们社区的大力支持,赞助了新的服务器和带宽资源, 大家有没有发现访问速度快了不少,唰唰的,  也同样感谢过去两年阿里云对 Elastic 中文社区网站的大力支持,未来继续保持紧密合作, 本社区网站自 2011 开始搭建以来,经历了风风雨雨,服务器也是搬家过几次, 中间更是经历过一次 IDC 提供商倒闭,网站数据全军覆没的悲惨教训(安啦,现在有定时异地备份啦), 偶尔还得面对大量水军和大量广告刷屏的洗礼,这也是为什么现在发帖多了一些的限制原因,希望大家充分利用资源,不要灌水, 不过为大家打造一个纯粹垂直专业的 Elasticsearch 爱好者交流乐园的初心未改, 为了充分利用资源,社区网站也后续将提供一些新的功能,欢迎届时关注, 也欢迎大家献计献策, 每两周的社区在线分享活动也欢迎大家参加, 更欢迎大家报名分享(本周就有一场哦: 第十三期:Logstash 动手实践), 撒花~ 
社区服务器迁移完成啦,  感谢蒋涛先生及 CSDN 极客帮创投对我们社区的大力支持,赞助了新的服务器和带宽资源, 大家有没有发现访问速度快了不少,唰唰的,  也同样感谢过去两年阿里云对 Elastic 中文社区网站的大力支持,未来继续保持紧密合作, 本社区网站自 2011 开始搭建以来,经历了风风雨雨,服务器也是搬家过几次, 中间更是经历过一次 IDC 提供商倒闭,网站数据全军覆没的悲惨教训(安啦,现在有定时异地备份啦), 偶尔还得面对大量水军和大量广告刷屏的洗礼,这也是为什么现在发帖多了一些的限制原因,希望大家充分利用资源,不要灌水, 不过为大家打造一个纯粹垂直专业的 Elasticsearch 爱好者交流乐园的初心未改, 为了充分利用资源,社区网站也后续将提供一些新的功能,欢迎届时关注, 也欢迎大家献计献策, 每两周的社区在线分享活动也欢迎大家参加, 更欢迎大家报名分享(本周就有一场哦: 第十三期:Logstash 动手实践), 撒花~ 

生产环境6台es集群,怎么扩容?

Elasticsearchzqc0512 回复了问题 • 6 人关注 • 5 个回复 • 6276 次浏览 • 2018-10-08 09:21 • 来自相关话题

从一个网段的数据迁移到另外一个网段,请问我这种构想合理吗?如果合理,怎么配置呢?

Elasticsearchbjfk2006 回复了问题 • 3 人关注 • 3 个回复 • 3276 次浏览 • 2017-11-14 19:57 • 来自相关话题

社区网站服务器迁移完毕

资讯动态medcl 发表了文章 • 5 个评论 • 3218 次浏览 • 2017-04-24 14:52 • 来自相关话题

image001.png
 感谢 ConvertLab 为本站提供服务器,目前服务器已经迁移完毕,大家可以感受一下速度!  
logoblack.png
同时感谢在此之前为本站提供网站空间的:谱时      社区账号也支持 Github 绑定了。 感谢大家一路支持,社区有你更精彩。
image001.png
 感谢 ConvertLab 为本站提供服务器,目前服务器已经迁移完毕,大家可以感受一下速度!  
logoblack.png
同时感谢在此之前为本站提供网站空间的:谱时      社区账号也支持 Github 绑定了。 感谢大家一路支持,社区有你更精彩。

生产环境6台es集群,怎么扩容?

回复

Elasticsearchzqc0512 回复了问题 • 6 人关注 • 5 个回复 • 6276 次浏览 • 2018-10-08 09:21 • 来自相关话题

从一个网段的数据迁移到另外一个网段,请问我这种构想合理吗?如果合理,怎么配置呢?

回复

Elasticsearchbjfk2006 回复了问题 • 3 人关注 • 3 个回复 • 3276 次浏览 • 2017-11-14 19:57 • 来自相关话题

用 Easysearch 帮助大型车企降本增效

Easysearchyangmf2040 发表了文章 • 0 个评论 • 4268 次浏览 • 2024-02-02 15:15 • 来自相关话题

最近某头部汽车集团需要针对当前 ES 集群进行优化,背景如下: ES 用于支撑包括核心营销系统、管理支持系统、财务类、IT 基础设施类、研发、自动驾驶等多个重要应用,合计超 50 余套集群,累计数据超 1.5PB 。 本文针对其中一个 ES 集群进行分享,该集群原本使用的是 ES 7.3.2 免费版,数据已经 130TB 了,14 个节点。写入数据时经常掉节点,写入性能也不稳定,当天的数据写不完。迫切需要新的解决方案。 分析业务场景后总结需求要点:主要是写,很少查。审计需求,数据需要长期保存。 这个需求比较普遍,处理起来也很简单:

  • 使用 Easysearch 软件,只需少量节点存储近两天的数据。
  • 索引设置开启 ZSTD 压缩功能,节省磁盘空间。
  • 每天索引数据写完后,第二天执行快照备份存放到 S3 存储。
  • 备份成功后,删除索引释放磁盘空间。
  • 需要搜索数据时,直接从快照搜索。

将近期的数据,存放到本地磁盘,保障写入速度。写入完毕的索引,在执行快照备份后,可删除索引,释放本地磁盘空间。

Easysearch 配置要点

path.repo: ["/S3-path"]
node.roles: ["data","search"]
node.search.cache.size: 500mb
  • path.repo : 指定 S3 存储路径,上传快照用。
  • node.roles : 只有 search 角色的节点,才能去搜索快照中的数据。
  • node.search.cache.size : 执行快照搜索时的,缓存大小。

更多信息请参考官方文档

旧数据迁移

通过 Console 将原 ES 集群的数据,迁移到新 Easysearch 集群。迁移时,复制 mapping 和 setting,并在 setting 中添加如下设置。

"codec": "ZSTD",
"source_reuse": true,

原索引数据量大,可拆分成多个小任务。 迁移完,索引存储空间一般节省 50% 左右。 原索引 279GB ,迁移完后 138GB。

搜索快照数据

挂载快照后,搜索快照里的索引和搜索本地的索引,语法完全一样。 如何判断一个索引是在快照还是本地磁盘呢?可以查看索引设置里的 settings.index.store.type 如果是 remote_snapshot ,说明是快照中的数据。如果是空值,则是集群本地的数据。
这次迁移,节省了 6 台主机资源。更重要的是,用上对象存储后,主机磁盘空间压力骤减。
这次介绍就到这里了,有问题联系我。

关于 Easysearch

Easysearch

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎,核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本,并继续完善和支持更多的企业级功能。与 Elasticsearch 相比,Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。

官网文档:https://infinilabs.com/docs/latest/easysearch

社区服务器迁移完成啦!

站务公告medcl 发表了文章 • 1 个评论 • 1495 次浏览 • 2020-07-29 11:18 • 来自相关话题

社区服务器迁移完成啦,  感谢蒋涛先生及 CSDN 极客帮创投对我们社区的大力支持,赞助了新的服务器和带宽资源, 大家有没有发现访问速度快了不少,唰唰的,  也同样感谢过去两年阿里云对 Elastic 中文社区网站的大力支持,未来继续保持紧密合作, 本社区网站自 2011 开始搭建以来,经历了风风雨雨,服务器也是搬家过几次, 中间更是经历过一次 IDC 提供商倒闭,网站数据全军覆没的悲惨教训(安啦,现在有定时异地备份啦), 偶尔还得面对大量水军和大量广告刷屏的洗礼,这也是为什么现在发帖多了一些的限制原因,希望大家充分利用资源,不要灌水, 不过为大家打造一个纯粹垂直专业的 Elasticsearch 爱好者交流乐园的初心未改, 为了充分利用资源,社区网站也后续将提供一些新的功能,欢迎届时关注, 也欢迎大家献计献策, 每两周的社区在线分享活动也欢迎大家参加, 更欢迎大家报名分享(本周就有一场哦: 第十三期:Logstash 动手实践), 撒花~ 
社区服务器迁移完成啦,  感谢蒋涛先生及 CSDN 极客帮创投对我们社区的大力支持,赞助了新的服务器和带宽资源, 大家有没有发现访问速度快了不少,唰唰的,  也同样感谢过去两年阿里云对 Elastic 中文社区网站的大力支持,未来继续保持紧密合作, 本社区网站自 2011 开始搭建以来,经历了风风雨雨,服务器也是搬家过几次, 中间更是经历过一次 IDC 提供商倒闭,网站数据全军覆没的悲惨教训(安啦,现在有定时异地备份啦), 偶尔还得面对大量水军和大量广告刷屏的洗礼,这也是为什么现在发帖多了一些的限制原因,希望大家充分利用资源,不要灌水, 不过为大家打造一个纯粹垂直专业的 Elasticsearch 爱好者交流乐园的初心未改, 为了充分利用资源,社区网站也后续将提供一些新的功能,欢迎届时关注, 也欢迎大家献计献策, 每两周的社区在线分享活动也欢迎大家参加, 更欢迎大家报名分享(本周就有一场哦: 第十三期:Logstash 动手实践), 撒花~ 

社区网站服务器迁移完毕

资讯动态medcl 发表了文章 • 5 个评论 • 3218 次浏览 • 2017-04-24 14:52 • 来自相关话题

image001.png
 感谢 ConvertLab 为本站提供服务器,目前服务器已经迁移完毕,大家可以感受一下速度!  
logoblack.png
同时感谢在此之前为本站提供网站空间的:谱时      社区账号也支持 Github 绑定了。 感谢大家一路支持,社区有你更精彩。
image001.png
 感谢 ConvertLab 为本站提供服务器,目前服务器已经迁移完毕,大家可以感受一下速度!  
logoblack.png
同时感谢在此之前为本站提供网站空间的:谱时      社区账号也支持 Github 绑定了。 感谢大家一路支持,社区有你更精彩。