es 6.3.1版本与5.6.1版本之间有什么区别?spring boot集成6.3.1时为什么会报错而5.6.1不会?
Elasticsearch • 王庆焕 回复了问题 • 2 人关注 • 1 个回复 • 3973 次浏览 • 2018-09-01 19:19
社区日报 第381期 (2018-09-01)
社区日报 • bsll 发表了文章 • 0 个评论 • 1923 次浏览 • 2018-09-01 13:41
- Elasticsearch 5.x 字段折叠的使用。
[http://t.cn/RFodkB2](http://t.cn/RFodkB2)
- 一例Query Cache引起的性能问题分析。
[http://t.cn/RnOejt6](http://t.cn/RnOejt6)
- ES性能优化。
[http://t.cn/RFoFaRM](http://t.cn/RFoFaRM)
活动预告
1、Elastic 中国开发者大会最后一波早鸟票发售进行中
https://conf.elasticsearch.cn/2018/shenzhen.html
2、Elastic Meetup 9月8日 北京线下沙龙正在报名中
https://elasticsearch.cn/article/759
kibana中dashboard怎么添加子的dashboard?
Kibana • medcl 回复了问题 • 3 人关注 • 1 个回复 • 2675 次浏览 • 2018-08-31 23:12
es模糊查询查询不到数据
Elasticsearch • elasticStack 回复了问题 • 4 人关注 • 3 个回复 • 13954 次浏览 • 2018-08-31 16:08
请问ES中wildcard的类似MySQL的like查询
Elasticsearch • rochy 回复了问题 • 3 人关注 • 3 个回复 • 10466 次浏览 • 2018-08-31 15:19
Rally一台机器上能否运行多实例
Elasticsearch • zqc0512 回复了问题 • 3 人关注 • 2 个回复 • 2552 次浏览 • 2018-08-31 14:02
ES 父文档聚合子文档?
默认分类 • pbl 回复了问题 • 3 人关注 • 2 个回复 • 3019 次浏览 • 2018-08-31 13:59
elasticsearch copy_to 可以在数据库已经导入数据后再配置嘛?
Elasticsearch • JackGe 回复了问题 • 4 人关注 • 2 个回复 • 2591 次浏览 • 2018-08-31 12:27
ElasticSearch2.4.6 + Spring termsQuery 查询速度奇慢问题
Elasticsearch • linfujian 回复了问题 • 3 人关注 • 5 个回复 • 3271 次浏览 • 2018-08-31 09:54
ES监控报警
Elasticsearch • zqc0512 回复了问题 • 9 人关注 • 4 个回复 • 6634 次浏览 • 2018-08-31 09:24
logstash 删除filed中部分字段
Logstash • zqc0512 回复了问题 • 3 人关注 • 3 个回复 • 6237 次浏览 • 2018-08-31 09:20
请教下es扩容的问题
Elasticsearch • zqc0512 回复了问题 • 6 人关注 • 4 个回复 • 5531 次浏览 • 2018-08-31 09:19
社区日报 第380期 (2018-08-31)
社区日报 • laoyang360 发表了文章 • 0 个评论 • 1349 次浏览 • 2018-08-31 06:34
http://t.cn/RFcyAtp
2、Elastic stack 针对 Azure 云的监控解决方案
http://t.cn/RFc4ew4
3、SpringBoot集成ElasticSearch
http://t.cn/RFcyKM2
活动预告:
1、Elastic 中国开发者大会最后一波早鸟票发售进行中
https://conf.elasticsearch.cn/2018/shenzhen.html
2、Elastic Meetup 9月8日 北京线下沙龙正在报名中
https://elasticsearch.cn/article/759
编辑:铭毅天下
归档:https://elasticsearch.cn/article/780
订阅:https://tinyletter.com/elastic-daily
Curator从入门到实战
Elasticsearch • Leon J 发表了文章 • 2 个评论 • 8902 次浏览 • 2018-08-30 22:05
[Curator](https://www.elastic.co/guide/e ... x.html) 是elasticsearch 官方的一个索引管理工具,可以通过配置文件的方式帮助我们对指定的一批索引进行创建/删除、打开/关闭、快照/恢复等管理操作。
场景
比如,出于读写性能的考虑,我们通常会把基于时间的数据按时间来创建索引。
![indices](https://ws3.sinaimg.cn/large/0 ... te.jpg)当数据量到达一定量级时,为了节省内存或者磁盘空间,我们往往会根据实际情况选择关闭或者删除一定时间之前的索引。通常我们会写一段脚本调用elasticsearch的api,放到crontab中定期执行。这样虽然可以达到目的,但是脚本多了之后会变得难以维护。
Curator是如何解决这类问题的呢?我们一步一步来:
安装
首先,Curator是基于python实现的,我们可以直接通过pip来安装,这种方式最简单。
bash<br /> pip install elasticsearch-curator<br />
基本配置
接下来,需要为 Curator 配置es连接:
```yaml
~/.curator/curator.yml
client:
hosts:
- 127.0.0.1
port: 9200
logging:
loglevel: INFO
```
其中hosts 允许配置多个地址,但是只能属于同一个集群。
这边只列举了最基本的配置,[官方文档](https://www.elastic.co/guide/e ... e.html)中包含了更详细的配置。
动作配置
然后需要配置我们需要执行的动作,每个动作会按顺序执行:
```yaml/etc/curator/actions/maintain_log.yml
actions:
1:创建第二天的索引
action: create_index
description: "create new time-based index for log-*"
options:
name: '<log-{now/d+1d}>'
2:删除3天前的索引
action: delete_indices
description: "delete outdated indices for log-*"
filters: - filtertype: pattern
kind: prefix
value: log - filtertype: age
source: name
direction: older
timestring: '%Y.%m.%d'
unit: days
unit_count: 3
```
action 定义了需要执行的动作,curator支持十多种动作,可以在[官方文档](https://www.elastic.co/guide/e ... s.html)查看完整的动作列表。
options 定义了执行动作所需的参数,不同动作的参数也不尽相同,具体文档中都有写明。
filters 定义了动作的执行对象,通过设置filter,可以过滤出我们需要操作的索引。同一个action下的filter之间是且的关系。比如在上面的定义中,delete_indices下定义了两个filters:
- 模式匹配:匹配前缀为log的索引
- “年龄”匹配:根据索引名中“%Y.%m.%d”时间格式,过滤出3天以前的索引
curator支持十多种filter,可以在[官方文档](https://www.elastic.co/guide/e ... s.html)查看完整列表。
执行
最后,我们通过curator命令行工具来执行:
<br /> curator --config /etc/curator/curator.yml /etc/curator/actions/maintain_log.yml<br />
得到命令行输出:
<br /> 2018-08-30 12:31:26,829 INFO Preparing Action ID: 1, "create_index"<br /> 2018-08-30 12:31:26,841 INFO Trying Action ID: 1, "create_index": create new time-based index for log-*<br /> 2018-08-30 12:31:26,841 INFO "<log-{now/d+1d}>" is using Elasticsearch date math.<br /> 2018-08-30 12:31:26,841 INFO Creating index "<log-{now/d+1d}>" with settings: {}<br /> 2018-08-30 12:31:27,049 INFO Action ID: 1, "create_index" completed.<br /> 2018-08-30 12:31:27,050 INFO Preparing Action ID: 2, "delete_indices"<br /> 2018-08-30 12:31:27,058 INFO Trying Action ID: 2, "delete_indices": delete outdated indices for log-*<br /> 2018-08-30 12:31:27,119 INFO Deleting selected indices: ['log-2018.08.24', 'log-2018.08.25', 'log-2018.08.27', 'log-2018.08.26', 'log-2018.08.23']<br /> 2018-08-30 12:31:27,119 INFO ---deleting index log-2018.08.24<br /> 2018-08-30 12:31:27,120 INFO ---deleting index log-2018.08.25<br /> 2018-08-30 12:31:27,120 INFO ---deleting index log-2018.08.27<br /> 2018-08-30 12:31:27,120 INFO ---deleting index log-2018.08.26<br /> 2018-08-30 12:31:27,120 INFO ---deleting index log-2018.08.23<br /> 2018-08-30 12:31:27,282 INFO Action ID: 2, "delete_indices" completed.<br /> 2018-08-30 12:31:27,283 INFO Job completed.<br />
从日志中可以看到,我们已经成功创建了隔天的索引,并删除了28号以前的索引。
定时执行
配置好curator后,还需要配置定时任务
使用crontab -e
编辑crontab,
添加一行:
bash<br /> 0 23 * * * /usr/local/bin/curator --config /root/.curator/curator.yml /etc/curator/actions/maintain_log.yml >> /var/curator.log 2>&1<br />
crontab配置中的第一段是执行的周期,6个值分别是“分 时 日 月 周”,*表示全部。所以这段配置的含义是在每天23点执行我们的这段脚本。
单个执行
除了定时任务,我们也可以在不依赖action配置文件的情况下用curator执行一些临时的批量操作。curator提供了curator_cli
的命令来执行单个action,比如我们想对所有log开头的索引做快照,使用一条命令即可完成:
bash<br /> curator_cli snapshot --repository repo_name --filter_list {"filtertype": "pattern","kind": "prefix", "value": "log"}<br />
是不是特别方便?
执行流程
![image-20180830200126973](https://ws2.sinaimg.cn/large/0 ... 60.jpg)
在命令执行过程中,Curator 会进行以下几步操作:
- 从ES拉取所有的索引信息
- 根据设置的过滤条件过滤出需要操作的索引
- 对过滤后的索引执行指定的动作
复杂需求
实际生产中,会有一些更复杂的需求,简单的action和filter组合并不能满足我们的业务。Curator还提供了[python包](https://curator.readthedocs.io/en/latest/),方便我们自己写脚本时调用它提供的actions和filters,减少我们的开发工作量。
以上通过一个实际的场景向大家介绍了Curator的使用方式,但是只用到了它一小部分的功能。大家可以通过文中的链接查看官方文档,发掘出更多的使用姿势。希望对大家有所帮助!
![elasticTalk,qrcode](http://p8z8qq24s.bkt.clouddn.c ... 24.png)
- 从ES拉取所有的索引信息
- 模式匹配:匹配前缀为log的索引
failed to execute bulk item (index) 只有一条索引报这个是什么原因 es5.2
Elasticsearch • laoyang360 回复了问题 • 3 人关注 • 2 个回复 • 1675 次浏览 • 2018-08-30 21:49