使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

es怎么生成TB级别的测试数据

Elasticsearch | 作者 mingming12138 | 发布于2023年10月23日 | 阅读数:2841

我只想插入大量的测试数据,不是想测试性能,有没有自动办法生成TB级别的测试数据
有工具 还是说 有测试数据集之类的东西



###
要生成大量的测试数据,可以考虑以下方法:

使用数据生成工具。可以使用第三方工具或开源工具来生成测试数据。例如,可以使用Apache Nifi或Talend等数据集成工具来生成测试数据。
编写程序生成测试数据。可以使用编程语言编写程序,利用随机数或其他算法生成测试数据,然后将其写入文件或导入到数据库中。
利用现有的数据集。如果已经有现有的数据集,可以考虑使用这些数据集来生成测试数据。
需要注意的是,生成大量的测试数据可能会对系统性能产生影响,因此建议在低峰时段进行操作,并注意控制数据的质量和数量。同时,也需要注意数据的保密性和安全性问题。
###
已邀请:

God_lockin

赞同来自: kin122 mingming12138

两个 sample data的index来回reindex,一次操作数据量翻倍

要回复问题请先登录注册