分析DNS日志，每分钟大概8个多G、几千万行的日志量，每天大约12T左右。
现有3台机器：1台60T磁盘+128G内存+32虚拟核的机器，一台4T磁盘+500G内存+48虚拟核的机器，一台3T磁盘+500G内存+48虚拟核的机器。后期还要加机器。
之前搞过一个filebeat——logstash——elasticsearch架构的demo，现在想用这个思路先把流程跑起来，不知道怎么规划部署合理些。
另外再问下，这个创建索引写入的速度在网上看到的大都是几万行每秒，加机器可以提升吗？要提升到百万行每秒的处理速度，需要多少性能？
求大神指点！
现有3台机器：1台60T磁盘+128G内存+32虚拟核的机器，一台4T磁盘+500G内存+48虚拟核的机器，一台3T磁盘+500G内存+48虚拟核的机器。后期还要加机器。
之前搞过一个filebeat——logstash——elasticsearch架构的demo，现在想用这个思路先把流程跑起来，不知道怎么规划部署合理些。
另外再问下，这个创建索引写入的速度在网上看到的大都是几万行每秒，加机器可以提升吗？要提升到百万行每秒的处理速度，需要多少性能？
求大神指点！
3 个回复
匿名用户
赞同来自: wenter2020
现有3台机器：
1台60T磁盘+128G内存+32虚拟核的机器，
一台4T磁盘+500G内存+48虚拟核的机器，
一台3T磁盘+500G内存+48虚拟核的机器。
后期还要加机器。
这机器的配置很奇葩啊， 不知道是什么物理机器？刀片服务器？机架服务器？
最好能配置成20逻辑核心40线程，24逻辑核心48线程，64GB或者128GB，10TB或者20TB，核心数越大越好，越大越好，越大越好
内存和磁盘，大和小都不好，最好能统一。所有机器配置必须一致，必须一致，必须一致。
要提升到百万行每秒的处理速度，需要多少性能？
需要多少机器？估计没有人能回答上来，一台物理机每秒插入个2W还是很轻松的吧, 基准测试一下吧。
最后再说一句：
你们的数据量太大了，要存储多长时间啊？一直存储吗？还是会定时删除历史数据呢？
ES 集群无法横向扩展的，有一个极限的。最大存储的数据量也是有限制的。
匿名用户
赞同来自:
yj7778826 - 苦逼小运维
赞同来自: