你不会是程序猿吧?

每天5T/50亿日志优化

Elasticsearch | 作者 famoss | 发布于2016年12月05日 | 阅读数:3581

每天大概50亿条日志,主shard数据3T左右,没有分词。

11台机器,32核,800G*6 raid0 ssd,每个服务器部署2个datanode,28GheapSize,其中3台有masternode 10GB heapSize.

10w每秒的写入抗住没问题,但是单天50亿日志,到了下午感觉查起来有点费力。。

而且现在想做hot-warm结构,warm由N台sata大硬盘组成, 数据保留2个月,这样大的索引在warm机器上应该会变得更慢。

请问有什么办法优化么?
已邀请:

要回复问题请先登录注册