橡皮、老虎皮、狮子皮哪一个最不好?

求助——elk分析DNS日志的部署方案(日志量非常之大)

默认分类 | 作者 wenter2020 | 发布于2020年01月07日 | 阅读数:567

分析DNS日志,每分钟大概8个多G、几千万行的日志量,每天大约12T左右。
现有3台机器:1台60T磁盘+128G内存+32虚拟核的机器,一台4T磁盘+500G内存+48虚拟核的机器,一台3T磁盘+500G内存+48虚拟核的机器。后期还要加机器。
之前搞过一个filebeat——logstash——elasticsearch架构的demo,现在想用这个思路先把流程跑起来,不知道怎么规划部署合理些。
另外再问下,这个创建索引写入的速度在网上看到的大都是几万行每秒,加机器可以提升吗?要提升到百万行每秒的处理速度,需要多少性能?
求大神指点!
已邀请:
匿名用户

匿名用户

赞同来自: wenter2020

分析DNS日志,每分钟大概8个多G、几千万行的日志量,每天大约12T左右。真是海量数据啊!真NNNNNNNNBBBBBBBBBBB.
 
现有3台机器:
1台60T磁盘+128G内存+32虚拟核的机器,
一台4T磁盘+500G内存+48虚拟核的机器,
一台3T磁盘+500G内存+48虚拟核的机器。
后期还要加机器。
 
这机器的配置很奇葩啊, 不知道是什么物理机器?刀片服务器?机架服务器?
最好能配置成20逻辑核心40线程,24逻辑核心48线程,64GB或者128GB,10TB或者20TB,核心数越大越好,越大越好,越大越好
内存和磁盘,大和小都不好,最好能统一。所有机器配置必须一致,必须一致,必须一致。
 
要提升到百万行每秒的处理速度,需要多少性能?
 
需要多少机器?估计没有人能回答上来,一台物理机每秒插入个2W还是很轻松的吧, 基准测试一下吧。
 
 
最后再说一句:
你们的数据量太大了,要存储多长时间啊?一直存储吗?还是会定时删除历史数据呢?
ES 集群无法横向扩展的,有一个极限的。最大存储的数据量也是有限制的。
 
 
匿名用户

匿名用户

赞同来自:

如果是第一次安装,最好使用最新的版本。
 
 

yj7778826 - 苦逼小运维

赞同来自:

绝对扛不住这个量级,10台往上加SSD靠谱

要回复问题请先登录注册