搜索结果正在快递途中

es 6.3.1版本与5.6.1版本之间有什么区别?spring boot集成6.3.1时为什么会报错而5.6.1不会?

Elasticsearch王庆焕 回复了问题 • 2 人关注 • 1 个回复 • 3973 次浏览 • 2018-09-01 19:19 • 来自相关话题

社区日报 第381期 (2018-09-01)

社区日报bsll 发表了文章 • 0 个评论 • 1923 次浏览 • 2018-09-01 13:41 • 来自相关话题

  1. Elasticsearch 5.x 字段折叠的使用。
    [http://t.cn/RFodkB2](http://t.cn/RFodkB2)

  2. 一例Query Cache引起的性能问题分析。
    [http://t.cn/RnOejt6](http://t.cn/RnOejt6)

  3. ES性能优化。
    [http://t.cn/RFoFaRM](http://t.cn/RFoFaRM)

    活动预告

    1、Elastic 中国开发者大会最后一波早鸟票发售进行中
    https://conf.elasticsearch.cn/2018/shenzhen.html

    2、Elastic Meetup 9月8日 北京线下沙龙正在报名中
    https://elasticsearch.cn/article/759

kibana中dashboard怎么添加子的dashboard?

Kibanamedcl 回复了问题 • 3 人关注 • 1 个回复 • 2675 次浏览 • 2018-08-31 23:12 • 来自相关话题

es模糊查询查询不到数据

ElasticsearchelasticStack 回复了问题 • 4 人关注 • 3 个回复 • 13954 次浏览 • 2018-08-31 16:08 • 来自相关话题

请问ES中wildcard的类似MySQL的like查询

Elasticsearchrochy 回复了问题 • 3 人关注 • 3 个回复 • 10466 次浏览 • 2018-08-31 15:19 • 来自相关话题

Rally一台机器上能否运行多实例

Elasticsearchzqc0512 回复了问题 • 3 人关注 • 2 个回复 • 2552 次浏览 • 2018-08-31 14:02 • 来自相关话题

ES 父文档聚合子文档?

默认分类pbl 回复了问题 • 3 人关注 • 2 个回复 • 3019 次浏览 • 2018-08-31 13:59 • 来自相关话题

elasticsearch copy_to 可以在数据库已经导入数据后再配置嘛?

ElasticsearchJackGe 回复了问题 • 4 人关注 • 2 个回复 • 2591 次浏览 • 2018-08-31 12:27 • 来自相关话题

ElasticSearch2.4.6 + Spring termsQuery 查询速度奇慢问题

Elasticsearchlinfujian 回复了问题 • 3 人关注 • 5 个回复 • 3271 次浏览 • 2018-08-31 09:54 • 来自相关话题

ES监控报警

Elasticsearchzqc0512 回复了问题 • 9 人关注 • 4 个回复 • 6634 次浏览 • 2018-08-31 09:24 • 来自相关话题

logstash 删除filed中部分字段

Logstashzqc0512 回复了问题 • 3 人关注 • 3 个回复 • 6237 次浏览 • 2018-08-31 09:20 • 来自相关话题

请教下es扩容的问题

Elasticsearchzqc0512 回复了问题 • 6 人关注 • 4 个回复 • 5531 次浏览 • 2018-08-31 09:19 • 来自相关话题

社区日报 第380期 (2018-08-31)

社区日报laoyang360 发表了文章 • 0 个评论 • 1349 次浏览 • 2018-08-31 06:34 • 来自相关话题

1、Elasticsearch存储详解
http://t.cn/RFcyAtp
2、Elastic stack 针对 Azure 云的监控解决方案
http://t.cn/RFc4ew4
3、SpringBoot集成ElasticSearch
http://t.cn/RFcyKM2

活动预告:
1、Elastic 中国开发者大会最后一波早鸟票发售进行中
https://conf.elasticsearch.cn/2018/shenzhen.html
2、Elastic Meetup 9月8日 北京线下沙龙正在报名中
https://elasticsearch.cn/article/759

编辑:铭毅天下
归档:https://elasticsearch.cn/article/780
订阅:https://tinyletter.com/elastic-daily

Curator从入门到实战

ElasticsearchLeon J 发表了文章 • 2 个评论 • 8902 次浏览 • 2018-08-30 22:05 • 来自相关话题

[Curator](https://www.elastic.co/guide/e ... x.html) 是elasticsearch 官方的一个索引管理工具,可以通过配置文件的方式帮助我们对指定的一批索引进行创建/删除、打开/关闭、快照/恢复等管理操作。



场景


比如,出于读写性能的考虑,我们通常会把基于时间的数据按时间来创建索引。

![indices](https://ws3.sinaimg.cn/large/0 ... te.jpg)当数据量到达一定量级时,为了节省内存或者磁盘空间,我们往往会根据实际情况选择关闭或者删除一定时间之前的索引。通常我们会写一段脚本调用elasticsearch的api,放到crontab中定期执行。这样虽然可以达到目的,但是脚本多了之后会变得难以维护。

Curator是如何解决这类问题的呢?我们一步一步来:



安装


首先,Curator是基于python实现的,我们可以直接通过pip来安装,这种方式最简单。

bash<br /> pip install elasticsearch-curator<br />



基本配置


接下来,需要为 Curator 配置es连接:

```yaml

~/.curator/curator.yml


client:
hosts:

  • 127.0.0.1
    port: 9200

    logging:
    loglevel: INFO
    ```

    其中hosts 允许配置多个地址,但是只能属于同一个集群。

    这边只列举了最基本的配置,[官方文档](https://www.elastic.co/guide/e ... e.html)中包含了更详细的配置。



    动作配置


    然后需要配置我们需要执行的动作,每个动作会按顺序执行:

    ```yaml

    /etc/curator/actions/maintain_log.yml


    actions:
    1:

    创建第二天的索引

    action: create_index
    description: "create new time-based index for log-*"
    options:
    name: '<log-{now/d+1d}>'
    2:

    删除3天前的索引

    action: delete_indices
    description: "delete outdated indices for log-*"
    filters:

  • filtertype: pattern
    kind: prefix
    value: log
  • filtertype: age
    source: name
    direction: older
    timestring: '%Y.%m.%d'
    unit: days
    unit_count: 3
    ```

    action 定义了需要执行的动作,curator支持十多种动作,可以在[官方文档](https://www.elastic.co/guide/e ... s.html)查看完整的动作列表。

    options 定义了执行动作所需的参数,不同动作的参数也不尽相同,具体文档中都有写明。

    filters 定义了动作的执行对象,通过设置filter,可以过滤出我们需要操作的索引。同一个action下的filter之间是的关系。比如在上面的定义中,delete_indices下定义了两个filters:

    • 模式匹配:匹配前缀为log的索引
    • “年龄”匹配:根据索引名中“%Y.%m.%d”时间格式,过滤出3天以前的索引

      curator支持十多种filter,可以在[官方文档](https://www.elastic.co/guide/e ... s.html)查看完整列表。



      执行


      最后,我们通过curator命令行工具来执行:

      <br /> curator --config /etc/curator/curator.yml /etc/curator/actions/maintain_log.yml<br />

      得到命令行输出:

      <br /> 2018-08-30 12:31:26,829 INFO Preparing Action ID: 1, "create_index"<br /> 2018-08-30 12:31:26,841 INFO Trying Action ID: 1, "create_index": create new time-based index for log-*<br /> 2018-08-30 12:31:26,841 INFO "<log-{now/d+1d}>" is using Elasticsearch date math.<br /> 2018-08-30 12:31:26,841 INFO Creating index "<log-{now/d+1d}>" with settings: {}<br /> 2018-08-30 12:31:27,049 INFO Action ID: 1, "create_index" completed.<br /> 2018-08-30 12:31:27,050 INFO Preparing Action ID: 2, "delete_indices"<br /> 2018-08-30 12:31:27,058 INFO Trying Action ID: 2, "delete_indices": delete outdated indices for log-*<br /> 2018-08-30 12:31:27,119 INFO Deleting selected indices: ['log-2018.08.24', 'log-2018.08.25', 'log-2018.08.27', 'log-2018.08.26', 'log-2018.08.23']<br /> 2018-08-30 12:31:27,119 INFO ---deleting index log-2018.08.24<br /> 2018-08-30 12:31:27,120 INFO ---deleting index log-2018.08.25<br /> 2018-08-30 12:31:27,120 INFO ---deleting index log-2018.08.27<br /> 2018-08-30 12:31:27,120 INFO ---deleting index log-2018.08.26<br /> 2018-08-30 12:31:27,120 INFO ---deleting index log-2018.08.23<br /> 2018-08-30 12:31:27,282 INFO Action ID: 2, "delete_indices" completed.<br /> 2018-08-30 12:31:27,283 INFO Job completed.<br />

      从日志中可以看到,我们已经成功创建了隔天的索引,并删除了28号以前的索引。



      定时执行


      配置好curator后,还需要配置定时任务

      使用crontab -e编辑crontab,

      添加一行:

      bash<br /> 0 23 * * * /usr/local/bin/curator --config /root/.curator/curator.yml /etc/curator/actions/maintain_log.yml >> /var/curator.log 2>&1<br />

      crontab配置中的第一段是执行的周期,6个值分别是“分 时 日 月 周”,*表示全部。所以这段配置的含义是在每天23点执行我们的这段脚本。



      单个执行


      除了定时任务,我们也可以在不依赖action配置文件的情况下用curator执行一些临时的批量操作。curator提供了curator_cli的命令来执行单个action,比如我们想对所有log开头的索引做快照,使用一条命令即可完成:

      bash<br /> curator_cli snapshot --repository repo_name --filter_list {"filtertype": "pattern","kind": "prefix", "value": "log"}<br />

      是不是特别方便?



      执行流程


      ![image-20180830200126973](https://ws2.sinaimg.cn/large/0 ... 60.jpg)


      在命令执行过程中,Curator 会进行以下几步操作:

      1. 从ES拉取所有的索引信息
      2. 根据设置的过滤条件过滤出需要操作的索引
      3. 对过滤后的索引执行指定的动作



        复杂需求


        实际生产中,会有一些更复杂的需求,简单的action和filter组合并不能满足我们的业务。Curator还提供了[python包](https://curator.readthedocs.io/en/latest/),方便我们自己写脚本时调用它提供的actions和filters,减少我们的开发工作量。



        以上通过一个实际的场景向大家介绍了Curator的使用方式,但是只用到了它一小部分的功能。大家可以通过文中的链接查看官方文档,发掘出更多的使用姿势。希望对大家有所帮助!

        ![elasticTalk,qrcode](http://p8z8qq24s.bkt.clouddn.c ... 24.png)

failed to execute bulk item (index) 只有一条索引报这个是什么原因 es5.2

Elasticsearchlaoyang360 回复了问题 • 3 人关注 • 2 个回复 • 1675 次浏览 • 2018-08-30 21:49 • 来自相关话题