elasticsearch 关于cat接口统计的数值如何清零?
JackGe 回复了问题 • 2 人关注 • 1 个回复 • 1183 次浏览 • 2018-09-02 08:42
es 6.3.1版本与5.6.1版本之间有什么区别?spring boot集成6.3.1时为什么会报错而5.6.1不会?
王庆焕 回复了问题 • 2 人关注 • 1 个回复 • 4431 次浏览 • 2018-09-01 19:19
elasticsearch 每个shard对应的文件含义
JackGe 回复了问题 • 10 人关注 • 3 个回复 • 9063 次浏览 • 2018-09-02 17:57
请问ES中wildcard的类似MySQL的like查询
rochy 回复了问题 • 3 人关注 • 3 个回复 • 10947 次浏览 • 2018-08-31 15:19
es模糊查询查询不到数据
elasticStack 回复了问题 • 4 人关注 • 3 个回复 • 14513 次浏览 • 2018-08-31 16:08
elasticsearch copy_to 可以在数据库已经导入数据后再配置嘛?
JackGe 回复了问题 • 4 人关注 • 2 个回复 • 3088 次浏览 • 2018-08-31 12:27
Curator从入门到实战
Leon J 发表了文章 • 2 个评论 • 9846 次浏览 • 2018-08-30 22:05
[Curator](https://www.elastic.co/guide/e ... x.html) 是elasticsearch 官方的一个索引管理工具,可以通过配置文件的方式帮助我们对指定的一批索引进行创建/删除、打开/关闭、快照/恢复等管理操作。
场景
比如,出于读写性能的考虑,我们通常会把基于时间的数据按时间来创建索引。
当数据量到达一定量级时,为了节省内存或者磁盘空间,我们往往会根据实际情况选择关闭或者删除一定时间之前的索引。通常我们会写一段脚本调用elasticsearch的api,放到crontab中定期执行。这样虽然可以达到目的,但是脚本多了之后会变得难以维护。
Curator是如何解决这类问题的呢?我们一步一步来:
安装
首先,Curator是基于python实现的,我们可以直接通过pip来安装,这种方式最简单。
bash<br /> pip install elasticsearch-curator<br />
基本配置
接下来,需要为 Curator 配置es连接:
```yaml
~/.curator/curator.yml
client:
hosts:
- 127.0.0.1
port: 9200
logging:
loglevel: INFO
```
其中hosts 允许配置多个地址,但是只能属于同一个集群。
这边只列举了最基本的配置,[官方文档](https://www.elastic.co/guide/e ... e.html)中包含了更详细的配置。
动作配置
然后需要配置我们需要执行的动作,每个动作会按顺序执行:
```yaml/etc/curator/actions/maintain_log.yml
actions:
1:创建第二天的索引
action: create_index
description: "create new time-based index for log-*"
options:
name: '<log-{now/d+1d}>'
2:删除3天前的索引
action: delete_indices
description: "delete outdated indices for log-*"
filters: - filtertype: pattern
kind: prefix
value: log - filtertype: age
source: name
direction: older
timestring: '%Y.%m.%d'
unit: days
unit_count: 3
```
action 定义了需要执行的动作,curator支持十多种动作,可以在[官方文档](https://www.elastic.co/guide/e ... s.html)查看完整的动作列表。
options 定义了执行动作所需的参数,不同动作的参数也不尽相同,具体文档中都有写明。
filters 定义了动作的执行对象,通过设置filter,可以过滤出我们需要操作的索引。同一个action下的filter之间是且的关系。比如在上面的定义中,delete_indices下定义了两个filters:
- 模式匹配:匹配前缀为log的索引
- “年龄”匹配:根据索引名中“%Y.%m.%d”时间格式,过滤出3天以前的索引
curator支持十多种filter,可以在[官方文档](https://www.elastic.co/guide/e ... s.html)查看完整列表。
执行
最后,我们通过curator命令行工具来执行:
<br /> curator --config /etc/curator/curator.yml /etc/curator/actions/maintain_log.yml<br />
得到命令行输出:
<br /> 2018-08-30 12:31:26,829 INFO Preparing Action ID: 1, "create_index"<br /> 2018-08-30 12:31:26,841 INFO Trying Action ID: 1, "create_index": create new time-based index for log-*<br /> 2018-08-30 12:31:26,841 INFO "<log-{now/d+1d}>" is using Elasticsearch date math.<br /> 2018-08-30 12:31:26,841 INFO Creating index "<log-{now/d+1d}>" with settings: {}<br /> 2018-08-30 12:31:27,049 INFO Action ID: 1, "create_index" completed.<br /> 2018-08-30 12:31:27,050 INFO Preparing Action ID: 2, "delete_indices"<br /> 2018-08-30 12:31:27,058 INFO Trying Action ID: 2, "delete_indices": delete outdated indices for log-*<br /> 2018-08-30 12:31:27,119 INFO Deleting selected indices: ['log-2018.08.24', 'log-2018.08.25', 'log-2018.08.27', 'log-2018.08.26', 'log-2018.08.23']<br /> 2018-08-30 12:31:27,119 INFO ---deleting index log-2018.08.24<br /> 2018-08-30 12:31:27,120 INFO ---deleting index log-2018.08.25<br /> 2018-08-30 12:31:27,120 INFO ---deleting index log-2018.08.27<br /> 2018-08-30 12:31:27,120 INFO ---deleting index log-2018.08.26<br /> 2018-08-30 12:31:27,120 INFO ---deleting index log-2018.08.23<br /> 2018-08-30 12:31:27,282 INFO Action ID: 2, "delete_indices" completed.<br /> 2018-08-30 12:31:27,283 INFO Job completed.<br />
从日志中可以看到,我们已经成功创建了隔天的索引,并删除了28号以前的索引。
定时执行
配置好curator后,还需要配置定时任务
使用crontab -e
编辑crontab,
添加一行:
bash<br /> 0 23 * * * /usr/local/bin/curator --config /root/.curator/curator.yml /etc/curator/actions/maintain_log.yml >> /var/curator.log 2>&1<br />
crontab配置中的第一段是执行的周期,6个值分别是“分 时 日 月 周”,*表示全部。所以这段配置的含义是在每天23点执行我们的这段脚本。
单个执行
除了定时任务,我们也可以在不依赖action配置文件的情况下用curator执行一些临时的批量操作。curator提供了curator_cli
的命令来执行单个action,比如我们想对所有log开头的索引做快照,使用一条命令即可完成:
bash<br /> curator_cli snapshot --repository repo_name --filter_list {"filtertype": "pattern","kind": "prefix", "value": "log"}<br />
是不是特别方便?
执行流程

在命令执行过程中,Curator 会进行以下几步操作:
- 从ES拉取所有的索引信息
- 根据设置的过滤条件过滤出需要操作的索引
- 对过滤后的索引执行指定的动作
复杂需求
实际生产中,会有一些更复杂的需求,简单的action和filter组合并不能满足我们的业务。Curator还提供了[python包](https://curator.readthedocs.io/en/latest/),方便我们自己写脚本时调用它提供的actions和filters,减少我们的开发工作量。
以上通过一个实际的场景向大家介绍了Curator的使用方式,但是只用到了它一小部分的功能。大家可以通过文中的链接查看官方文档,发掘出更多的使用姿势。希望对大家有所帮助!

- 从ES拉取所有的索引信息
- 模式匹配:匹配前缀为log的索引
在已有的index添加type
laoyang360 回复了问题 • 5 人关注 • 3 个回复 • 4524 次浏览 • 2018-08-30 21:40
请教下es扩容的问题
zqc0512 回复了问题 • 6 人关注 • 4 个回复 • 6365 次浏览 • 2018-08-31 09:19
failed to execute bulk item (index) 只有一条索引报这个是什么原因 es5.2
laoyang360 回复了问题 • 3 人关注 • 2 个回复 • 2248 次浏览 • 2018-08-30 21:49
es日志中出现大量merge打压index速度的日志,byte和refresh什么的都改过了,还是有问题,求教...
JackGe 回复了问题 • 3 人关注 • 1 个回复 • 3807 次浏览 • 2018-08-29 22:24
python操作es使用bulk时候报content-type(406)错误
JackGe 回复了问题 • 2 人关注 • 1 个回复 • 5819 次浏览 • 2018-08-29 22:44
ElasticSearch2.4.6 + Spring termsQuery 查询速度奇慢问题
linfujian 回复了问题 • 3 人关注 • 5 个回复 • 3941 次浏览 • 2018-08-31 09:54
Rally一台机器上能否运行多实例
zqc0512 回复了问题 • 3 人关注 • 2 个回复 • 3081 次浏览 • 2018-08-31 14:02
elasticsearch官方python库性能
JackGe 回复了问题 • 4 人关注 • 2 个回复 • 4571 次浏览 • 2018-08-30 10:12