讨论: ES数据是怎么读取的

作者 hufuman | 发布于2018年08月15日 | 阅读数:421

我们用ES来做的业务搜索

现在的数据有两种来源:
一种是在Hive里计算好,直接推到ES
一种是用自己写的框架,直接从源数据库里组装数据,再推到ES
历史上做过中间的平表,后来发现这样对整体索引速度和数据库有压力,就取消了这种方式

想了解下大家都用的哪种方式,有哪些考虑的方面
已邀请:

God_lockin

赞同来自:

常规的简单数据处理用hive计算,复杂业务逻辑自己写中间件处理

weizijun - 专注elasticsearch三十年

赞同来自:

hive到es的数据偏离线数据
mysql可以通过binlog实时把数据推到es,这样对数据库没啥压力,写es的话,可以通过mq限流的方式保护es

要回复问题请先登录注册