1、Elasticsearch存储详解
http://t.cn/RFcyAtp
2、Elastic stack 针对 Azure 云的监控解决方案
http://t.cn/RFc4ew4
3、SpringBoot集成ElasticSearch
http://t.cn/RFcyKM2

活动预告：
1、Elastic 中国开发者大会最后一波早鸟票发售进行中
https://conf.elasticsearch.cn/2018/shenzhen.html
2、Elastic Meetup 9月8日 北京线下沙龙正在报名中
https://elasticsearch.cn/article/759

编辑：铭毅天下
归档：https://elasticsearch.cn/article/780
订阅：https://tinyletter.com/elastic-daily

[Curator](https://www.elastic.co/guide/e ... x.html) 是elasticsearch 官方的一个索引管理工具，可以通过配置文件的方式帮助我们对指定的一批索引进行创建/删除、打开/关闭、快照/恢复等管理操作。

场景

比如，出于读写性能的考虑，我们通常会把基于时间的数据按时间来创建索引。

当数据量到达一定量级时，为了节省内存或者磁盘空间，我们往往会根据实际情况选择关闭或者删除一定时间之前的索引。通常我们会写一段脚本调用elasticsearch的api，放到crontab中定期执行。这样虽然可以达到目的，但是脚本多了之后会变得难以维护。

Curator是如何解决这类问题的呢？我们一步一步来：

安装

首先，Curator是基于python实现的，我们可以直接通过pip来安装，这种方式最简单。

bash<br /> pip install elasticsearch-curator<br />

基本配置

接下来，需要为 Curator 配置es连接:

```yaml

~/.curator/curator.yml

client:
hosts:

• 127.0.0.1
  port: 9200
  
  logging:
  loglevel: INFO
  ```
  
  其中hosts 允许配置多个地址，但是只能属于同一个集群。
  
  这边只列举了最基本的配置，[官方文档](https://www.elastic.co/guide/e ... e.html)中包含了更详细的配置。
  
  
  
  

  动作配置
  

  
  然后需要配置我们需要执行的动作，每个动作会按顺序执行：
  
  ```yaml
  

  /etc/curator/actions/maintain_log.yml
  

  
  actions:
  1:
  

  创建第二天的索引
  

  action: create_index
  description: "create new time-based index for log-*"
  options:
  name: '<log-{now/d+1d}>'
  2:
  

  删除3天前的索引
  

  action: delete_indices
  description: "delete outdated indices for log-*"
  filters:
  

• filtertype: pattern
  kind: prefix
  value: log
  
• filtertype: age
  source: name
  direction: older
  timestring: '%Y.%m.%d'
  unit: days
  unit_count: 3
  ```
  
  action 定义了需要执行的动作，curator支持十多种动作，可以在[官方文档](https://www.elastic.co/guide/e ... s.html)查看完整的动作列表。
  
  options 定义了执行动作所需的参数，不同动作的参数也不尽相同，具体文档中都有写明。
  
  filters 定义了动作的执行对象，通过设置filter，可以过滤出我们需要操作的索引。同一个action下的filter之间是且的关系。比如在上面的定义中，delete_indices下定义了两个filters：
  
  
  • 模式匹配：匹配前缀为log的索引
    
  • “年龄”匹配：根据索引名中“%Y.%m.%d”时间格式，过滤出3天以前的索引
    
    curator支持十多种filter，可以在[官方文档](https://www.elastic.co/guide/e ... s.html)查看完整列表。
    
    
    
    

    执行
    

    
    最后，我们通过curator命令行工具来执行：
    
    <br /> curator --config /etc/curator/curator.yml /etc/curator/actions/maintain_log.yml<br />
    
    得到命令行输出：
    
    <br /> 2018-08-30 12:31:26,829 INFO Preparing Action ID: 1, "create_index"<br /> 2018-08-30 12:31:26,841 INFO Trying Action ID: 1, "create_index": create new time-based index for log-*<br /> 2018-08-30 12:31:26,841 INFO "<log-{now/d+1d}>" is using Elasticsearch date math.<br /> 2018-08-30 12:31:26,841 INFO Creating index "<log-{now/d+1d}>" with settings: {}<br /> 2018-08-30 12:31:27,049 INFO Action ID: 1, "create_index" completed.<br /> 2018-08-30 12:31:27,050 INFO Preparing Action ID: 2, "delete_indices"<br /> 2018-08-30 12:31:27,058 INFO Trying Action ID: 2, "delete_indices": delete outdated indices for log-*<br /> 2018-08-30 12:31:27,119 INFO Deleting selected indices: ['log-2018.08.24', 'log-2018.08.25', 'log-2018.08.27', 'log-2018.08.26', 'log-2018.08.23']<br /> 2018-08-30 12:31:27,119 INFO ---deleting index log-2018.08.24<br /> 2018-08-30 12:31:27,120 INFO ---deleting index log-2018.08.25<br /> 2018-08-30 12:31:27,120 INFO ---deleting index log-2018.08.27<br /> 2018-08-30 12:31:27,120 INFO ---deleting index log-2018.08.26<br /> 2018-08-30 12:31:27,120 INFO ---deleting index log-2018.08.23<br /> 2018-08-30 12:31:27,282 INFO Action ID: 2, "delete_indices" completed.<br /> 2018-08-30 12:31:27,283 INFO Job completed.<br />
    
    从日志中可以看到，我们已经成功创建了隔天的索引，并删除了28号以前的索引。
    
    
    
    

    定时执行
    

    
    配置好curator后，还需要配置定时任务
    
    使用crontab -e编辑crontab，
    
    添加一行：
    
    bash<br /> 0 23 * * * /usr/local/bin/curator --config /root/.curator/curator.yml /etc/curator/actions/maintain_log.yml >> /var/curator.log 2>&1<br />
    
    crontab配置中的第一段是执行的周期，6个值分别是“分 时 日 月 周”，*表示全部。所以这段配置的含义是在每天23点执行我们的这段脚本。
    
    
    
    

    单个执行
    

    
    除了定时任务，我们也可以在不依赖action配置文件的情况下用curator执行一些临时的批量操作。curator提供了curator_cli的命令来执行单个action，比如我们想对所有log开头的索引做快照，使用一条命令即可完成：
    
    bash<br /> curator_cli snapshot --repository repo_name --filter_list {"filtertype": "pattern","kind": "prefix", "value": "log"}<br />
    
    是不是特别方便？
    
    
    
    

    执行流程
    

    
    

    
    

    
    在命令执行过程中，Curator 会进行以下几步操作：
    
    

    1. 从ES拉取所有的索引信息
       
    2. 根据设置的过滤条件过滤出需要操作的索引
       
    3. 对过滤后的索引执行指定的动作
       
       
       
       

       复杂需求
       

       
       实际生产中，会有一些更复杂的需求，简单的action和filter组合并不能满足我们的业务。Curator还提供了[python包](https://curator.readthedocs.io/en/latest/)，方便我们自己写脚本时调用它提供的actions和filters，减少我们的开发工作量。
       
       
       
       以上通过一个实际的场景向大家介绍了Curator的使用方式，但是只用到了它一小部分的功能。大家可以通过文中的链接查看官方文档，发掘出更多的使用姿势。希望对大家有所帮助！
       
       

1.OTTO Motors: 使用elastic stack扩展物联网环境
http://t.cn/RF5H9OG
2.ELK构建MySQL慢日志收集平台详解
http://t.cn/Rk7zKT7
3.千亿级数量下日志分析系统的技术架构选型
http://t.cn/RF5HEhS

活动预告：
1.Elastic 中国开发者大会最后一波早鸟票发售进行中
https://conf.elasticsearch.cn/2018/shenzhen.html
2.Elastic Meetup 9月8日 北京线下沙龙正在报名中
https://elasticsearch.cn/article/759

编辑：金桥
归档：https://elasticsearch.cn/article/778
订阅：https://tinyletter.com/elastic-daily

1.基于 Elasticsearch 的人才搜索架构
http://t.cn/RKYPGL3 
2.ElasticSearch 深入理解系列
http://t.cn/RF2LdiG 
http://t.cn/RF2zPF9 
http://t.cn/RF2zABQ 
http://t.cn/RF22Efd 
3.使用ELK构建微服务的日志平台
http://t.cn/Rkb1wdM 
​
1、活动预告：Elastic 中国开发者大会最后一波早鸟票发售进行中
https://conf.elasticsearch.cn/2018/shenzhen.html 
2、Elastic Meetup 9月8日 北京线下沙龙正在报名中
https://elasticsearch.cn/article/759 

编辑：江水
归档：https://elasticsearch.cn/article/777
订阅：https://tinyletter.com/elastic-daily
 

10月5日，Elastic 正式在纽交所上市了，股票代码 ESTC，当日股票涨幅超过100%，超越14年阿里巴巴，开盘价创有史以来新高。

Elastic这么受欢迎，说明大家手里的 Elastic 技术更值钱了，那么在国内的年度开发者交流大会更是不能错过啦，并且现在福利来了，大会门票抢购中，[https://www.bagevent.com/event ... 50OFF](https://www.bagevent.com/event ... D50OFF) 手快有，手慢无啊！

知道 ELK 么？知道 Elasticsearch 么？目前最流行的开源数据库及分析类软件，目前已新晋级到数据库兵器谱排名第七位，搜索引擎排行榜长期霸占第一位，想要了解更多他的本事，快来了解一下他的官方用户大会：Elastic 中国开发者大会，时间2018年11月10日周六，地点深圳金茂 JW 万豪酒店。届时，将有来自 Elastic、eBay、暴雪、Grab、华为、阿里巴巴、顺丰等公司的25位各领域的专家大拿为你带来围绕 Elastic 开源技术的各自精彩干货分享。

Elastic Stack 作为目前全球最流行的数据搜索与实时分析引擎套件，其产品累计下载次数已超过三亿五千万次，各行各业从一线互联网公司到传统的行业都能找到使用 Elasticsearch 的身影。Elastic 的开源技术正越来越受到众多开发者的青睐，已然成为大数据领域分析工具的最佳选择。

[来自 db-engines.com的最新综合排名]

Elastic 中国开发者大会 2018（Elastic Developers China 2018）是由 Elastic 官方在中国举办的第二次开发者大会，主要围绕 Elastic 的开源产品: Elasticsearch、Logstash、Kibana 和 Beats，探讨在搜索、数据实时分析、日志分析、安全等领域的实践与应用。

举办 Elastic 开发者大会的目的是为中国广大的 Elastic 开发者提供一个技术交流和学习切磋的地方，汇集业界众多的成功案例，集思广益，发散思维，促进社区和行业的进步。

不管您是 Elasticsearch 的初学者还是资深的用户，您都应该参加！

大会亮点

01 部分精彩议题

1. Beats 创始人 Monica Sarbu 带来的运维分析的三连击
   
   
2. 新产品 Codesearch（原 Insight.io） 的初次亮相
   
   
3. Elastic 内部是如何使用 Elastic 产品的案例
   
   
4. 暴雪中国借助 ELK 运营游戏的经验分享
   
   
5. 东南亚打车软件 Grab 的 POI 搜索平台迁移史
   
   
6. 东半球对 Kibana 二次开发最多团队带来的经验分享
   
   
7. 千亿数据规模下的 Elasticsearch 深度应用
   
   
8. Elasticsearch 和 AI 的深度结合与用户画像系统
   
   更多在互联网、证券、快递、新零售、安全等领域的分享，点击[这里](https://www.bagevent.com/event ... D50OFF)了解更多
   
   
   

   02 部分嘉宾阵容
   

   
   

   

   
   
   

   

   
   
   
   

   03 Elastic AMA 展台
   

   
   

   

   
   
   AMA 即 Ask Me Anything，意思是尽管随便问，您可以在大会当天，尽情的在现场咨询 Elastic 官方工作人员任意的问题，可以是技术的咨询，可以是特性的讲解，可以是最佳实践，可以是商务合作。AMA 展台，您一定不要错过。
   
   
   

   04 Elastic Demo 展台
   

   
   

   

   
   
   如果您对 Elastic 能够帮您做哪些事情比较感兴趣，最直观的方式就是来到 Elastic 的 Demo 展台，现场有 Elastic 技术专家为您讲解各种酷炫的 Demo 以及具体的如何使用 Elastic Stack 来完成特定的任务。 Demo 展台有趣又好玩，记得打卡。
   
   
   

   05 闪电演讲
   

   
   

   

   
   
   您也来讲讲，大会的最后一个环节名叫闪电演讲，参会者可以现场报名，每位分享者可以有5分钟的时间来进行分享，可以是任何相关的话题，可以是 Demo 演示，可以是技术脱口秀，或是您的一个开源的项目，名额有限，先报先得。
   
   最后，赶紧报名吧！
   [https://www.bagevent.com/event ... 50OFF](https://www.bagevent.com/event ... D50OFF)