Rollup 功能对超时数据的处理是否支持

日志处理场景经常会有数据晚到的异常场景,比如某个链路异常导致数据到达ES比较晚,但是其他日志数据到达ES时间是正常的。
当使对索引Rollup时并不知道数据已经是最终态,或者已经rollup的索引有了新数据,这时候Rollup是否能正常处理。

举例说明:
时刻1: Index_Ori 中有Doc A、B、C三条数据
时刻2:对Index_Ori进行合并,根据规则生成 Index_rollup,包含一条数据RollupA,RollupA=agg_func(A、B、C)
时刻3:Index_Ori有新数据D到达,该数据的时间戳和A、B、C在一个时间窗口呢,按照正常结果应该是: RollupA=agg_func(A、B、C、D)
看RollUp的文档介绍定时任务会处理最新的未处理过的数据,
这种场景下,数据D会自动处理吗?RollUp底层是增量合并的还是把 A\B\C\D全量重新合并了一次呢?
已邀请:

要回复问题请先登录注册