在 Mapping 里面,将 dynamic 参数设置成 strict 可以拒绝索引包含未知字段的文档。 此条 Tips 由 medcl 贡献。

三步上手 esrally 完成 elasticsearch 压测任务

Elasticsearch | 作者 rockybean | 发布于2017年11月12日 | | 阅读数:4173

原文链接

距离上一篇 esrally 教程过去快2个月了,这期间不停有同学来询问使用中遇到的问题,尤其由于其测试数据存储在国外 aws 上,导致下载极慢。为了让大家快速上手使用 esrally,我 build 了一个可用的 docker 镜像,然后将 13GB 的测试数据拉取到国内的存储上,通过百度网盘的方式分享给大家。大家只要按照下面简单的几步操作就可以顺畅地使用 esrally 来进行相关测试了。

操作步骤

废话不多说,先上菜!

  1. 拉取镜像
    docker pull rockybean/esrally
  2. 下载数据文件 链接:http://pan.baidu.com/s/1eSrjZgA 密码:aagl
  3. 进入下载后的文件夹 rally_track,执行如下命令开始测试
    docker run -it -v $(PWD):/root/track rockybean/esrally esrally race --track-path=/root/track/logging --offline --pipeline=benchmark-only --target-hosts=192.168.1.105:9200

打完收工!

几点说明

数据文件介绍

esrally 自带的测试数据即为 rally_track 文件夹中的内容,主要包括:

  • Geonames(geonames): for evaluating the performance of structured data.
  • Geopoint(geopoint): for evaluating the performance of geo queries.
  • Percolator(percolator): for evaluating the performance of percolation queries.
  • PMC(pmc): for evaluating the performance of full text search.
  • NYC taxis(nyc_taxis): for evaluating the performance for highly structured data.
  • Nested(nested): for evaluating the performance for nested documents.
  • Logging(logging): for evaluating the performance of (Web) server logs.
  • noaa(noaa): for evaluating the performance of range fields.

可以根据自己的需要下载对应的测试数据,不必下载全部,保证对应文件夹下载完全即可。

命令解释

docker 相关

docker run -it rockybean/esrally esrally 为执行的 esrally 命令,-v $(PWD):/root/track是将 rally_docker 文件夹映射到 docker 容器中,$(PWD)是获取当前目录的意思,所以在此前要 cd 到 rally_docker 目录,当然你写全路径也是没有问题的。

esrally 的 docker 镜像比较简单,可以参看 github 项目介绍

esrally 相关

该镜像是通过自定义 track 的方式来加载数据,所以命令行中用到 --track=/root/track/logging 的命令行参数。注意这里的 /root/track 即上面我们绑定到容器的目录,更换 logging 为其他的数据集名称即可加载其他的测试数据。

该容器只支持测试第三方 es 集群,即 --pipeline=benchmark-only 模式。这应该也是最常见的压测需求了。

愉快地去玩耍吧!


[尊重社区原创,转载请保留或注明出处]
本文地址:http://elasticsearch.cn/article/370


2 个评论

老哥 网盘分享过期了 能重新分享一下吗?
大神这个目录怎么放的?tar -xvf track.tar.gz -C /root 然后复制数据文件logging到/root/track下面。然后/root/track下面运行那个 docker run -it -v /root/track:/root/track rockybean/esrally esrally race --track-path=/root/track/logging --offline --pipeline=benchmark-only --target-hosts=192.168.80.83:9200,报错了:[ERROR] Cannot race. ('Could not execute benchmark', Could not find track.json in /root/track/logging)

要回复文章请先登录注册