使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。
Translog

Translog

elasticsearch translog恢复到一定百分比卡住(stuck),导致索引无法恢复

ElasticsearchJiangJibo 回复了问题 • 4 人关注 • 4 个回复 • 4866 次浏览 • 2020-11-04 11:42 • 来自相关话题

bulk/search请求阻塞 && elasticsarch translog无法恢复,卡在固定百分比

ElasticsearchCharele 回复了问题 • 2 人关注 • 1 个回复 • 2843 次浏览 • 2020-07-19 16:08 • 来自相关话题

如何手动触发translog的comit操作?

Elasticsearchzqc0512 回复了问题 • 3 人关注 • 1 个回复 • 2109 次浏览 • 2019-08-02 08:53 • 来自相关话题

关于translog的疑问

Elasticsearchzqc0512 回复了问题 • 6 人关注 • 3 个回复 • 2710 次浏览 • 2018-10-08 09:15 • 来自相关话题

在Elasticsearch 6.1.3版本中,发现translog文件过多导致异常

Elasticsearchkennywu76 回复了问题 • 6 人关注 • 4 个回复 • 6319 次浏览 • 2018-08-29 16:33 • 来自相关话题

请问flush translog处理逻辑中,uncommittedSizeOfNewCommit的含义究竟是什么?

回复

Elasticsearchzhuo 发起了问题 • 1 人关注 • 0 个回复 • 1996 次浏览 • 2018-05-23 17:07 • 来自相关话题

Translog 安全性理解

Elasticsearchkennywu76 回复了问题 • 3 人关注 • 2 个回复 • 6609 次浏览 • 2017-03-30 16:01 • 来自相关话题

条新动态, 点击查看
我感觉这个bug和6.x引入的translog retention策略有关系。  
 
为了加速热索引的recovery, 6.x开始对于translog不再是flush以后立即清除,而是保留一定的大小,由以下两个参数控制:

index.translog.... 显示全部 »
我感觉这个bug和6.x引入的translog retention策略有关系。  
 
为了加速热索引的recovery, 6.x开始对于translog不再是flush以后立即清除,而是保留一定的大小,由以下两个参数控制:

index.translog.retention.size    #默认512mb
index.translog.retention.age    #默认12h

 
保留一定量的translog的目的,是为了出现热索引recovery情况的时候,借助保留的translog和seqno (也是6.x引入的,记录已经提交到lucene的文档序列号), 可以免去跨结点的shard文件拷贝消耗,直接从translog快速恢复数据。
 
由于保留了一定时间的translog不清除,那么判断是否需要flush,以及flush的时候清除哪些文件的的条件就复杂了一些。需要比较哪些translog里的doc已经全部提交,哪些还未提交或者部分提交。 这些判断是通过比较translog里保留的seqno和local checkpoint记录的seqno来做出的。
 
但是这个特性实现上看起来有些bug,在一些极端场景造成了flush死循环。 官方尝试在6.1.3/6.2.0修复这个问题(  pull/28350  ), 但问题并未真正解决。  
 
在用户报告问题以后,官方又发布了6.2.4 ( pull/29125 ), 经过我们生产集群的验证,升级到6.2.4以后再未遇到类似的问题。

elasticsearch translog恢复到一定百分比卡住(stuck),导致索引无法恢复

回复

ElasticsearchJiangJibo 回复了问题 • 4 人关注 • 4 个回复 • 4866 次浏览 • 2020-11-04 11:42 • 来自相关话题

bulk/search请求阻塞 && elasticsarch translog无法恢复,卡在固定百分比

回复

ElasticsearchCharele 回复了问题 • 2 人关注 • 1 个回复 • 2843 次浏览 • 2020-07-19 16:08 • 来自相关话题

如何手动触发translog的comit操作?

回复

Elasticsearchzqc0512 回复了问题 • 3 人关注 • 1 个回复 • 2109 次浏览 • 2019-08-02 08:53 • 来自相关话题

关于translog的疑问

回复

Elasticsearchzqc0512 回复了问题 • 6 人关注 • 3 个回复 • 2710 次浏览 • 2018-10-08 09:15 • 来自相关话题

在Elasticsearch 6.1.3版本中,发现translog文件过多导致异常

回复

Elasticsearchkennywu76 回复了问题 • 6 人关注 • 4 个回复 • 6319 次浏览 • 2018-08-29 16:33 • 来自相关话题

请问flush translog处理逻辑中,uncommittedSizeOfNewCommit的含义究竟是什么?

回复

Elasticsearchzhuo 发起了问题 • 1 人关注 • 0 个回复 • 1996 次浏览 • 2018-05-23 17:07 • 来自相关话题

Translog 安全性理解

回复

Elasticsearchkennywu76 回复了问题 • 3 人关注 • 2 个回复 • 6609 次浏览 • 2017-03-30 16:01 • 来自相关话题