有个人长的像洋葱,走着走着就哭了…….

有没有可能搞一个综合的Kafka/Elasticsearch集群

Elasticsearch | 作者 taowen | 发布于2016年03月06日 | 阅读数:5110

YY了一下《Structured Logging 需要更好的基础设施支持》 https://segmentfault.com/a/1190000004549379
 Elasticsearch是一个很好的存储事件的数据库,非常好地解决了存储和检索两大难题。但是对于结构化的数据入库支持并不是很好,理想地情况应该是这样的:
  • 提供一个本地agent,实现数据可靠地高性能入kafka
  • kafka/elasticsearch深度融合,避免集群拷贝产生的额外负担,kafka直接作为elasticsearch的WAL存在
  • 数据以高效的格式封包,并且能够从源头开始就按列处理,从头到尾都是long而不是List<Map<String, Object>>
  • Elasticsearch再加上一个SQL查询接口(对doc-values字段也支持原数据SELECT)

 
 
已邀请:

要回复问题请先登录注册