[前几期忘记发了，补上]



 欢迎来到 Elastic 社区电台的第三期节目，本期嘉宾是来自上海饿了么公司的两位技术负责人。饿了么是中国专业的网上订餐平台，饿了么最早从 2.3 版本开始使用 Elasticsearch，从最早的 12 个集群，100 个节点，每天 400 万单，到如今达到 32 个集群，300 多个节点，千万个索引，总数据量达到 60 TB，共十几个业务系统的接入，每天高峰处理超 800 万单数据，搜索推荐、用户交易、后台营销等均通过 Elastic Stack 来实现。欢迎收听本期节目，了解饿了么应用 Elastic Stack 的具体情况、在规模化过程中遇到的挑战，以及他们的经验分享。


主持人：

Elastic 技术布道师，曾勇（Medcl）。


嘉宾：

张延明，饿了么运维专家，主要负责 ES 的部署、运维和 JVM 性能优化。曾供职于腾讯等大公司，在业务和基础运维方面有十年的工作经验，对 ES、Kafka 等分布式技术具有强烈的兴趣，一直负责核心业务场景的运维部署。


徐胜，饿了么 ES 的负责人，主要负责 ES 的平台化研发、ES 集群和查询性能优化，以及基于 ES 构建通用搜索引擎平台。对分布式计算、大数据具有浓厚的兴趣，在 ES 分布式搜索、大数据计算、聚合统计分析、性能优化等业务场景积累了三年经验。



可以点击下面的任意链接来收听（时长约 45 分钟）：

Apple iTunes：https://itunes.apple.com/cn/po ... t%3D2
喜马拉雅：http://www.ximalaya.com/keji/14965410/94803743
蜻蜓 FM：http://share.qingting.fm/vchan ... 12932


关于 Elastic 社区电台

Elastic 开源社区举办的一款播客类节目， 邀请来自开源社区的用户，一起聊聊 Elastic 开源产品的使用案例、经验分享、架构变迁等等。


关于饿了么

“饿了么”是中国专业的餐饮O2O平台，由拉扎斯网络科技（上海）有限公司开发运营。 作为中国餐饮业数字化领跑者，“饿了么”秉承激情、极致、创新之信仰，以建立全面完善的数字化餐饮生态系统为使命，为用户提供便捷服务极致体验，为餐厅提供一体化运营解决方案，推进整个餐饮行业的数字化发展进程。

 

1.Curator 从入门到实战
http://t.cn/RFX0HoV
2.论 Elasticsearch 数据建模的重要性
http://t.cn/RFOdWke
3.Elasticsearch 原理分析
http://t.cn/ReCN93k
 
​活动预告
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html
2、Elastic Meetup 9月8日 北京线下交流活动免费报名中
https://elasticsearch.cn/article/759
 
编辑：江水
归档：https://elasticsearch.cn/article/788
订阅：https://tinyletter.com/elastic-daily
 

Cleaner

这是一个管理index TTL 插件，精美UI，高效运维管理elasticsearch index助手

[https://github.com/TrumanDu/cleaner](https://github.com/TrumanDu/cleaner)
---

screenshots


config

1. scheduleTime
   
   server job schedule period,unit second ,default value is 60 second.
   
   you can edit it. like: cleaner.scheduleTime: 100
   
2. mergePattern
   
   merge pattern,default value is [^a-z]+$.
   
   you can edit it. like: cleaner.mergePattern: '[\d]{4}[-|\.|/][\d]{1,2}[-|\.|/][\d]{1,2}'
   
   

   development
   

   
   See the [kibana contributing guide](https://github.com/elastic/kib ... ING.md) for instructions setting up your development environment. Once you have completed that, use the following npm tasks.
   
   

   • npm start
     
     Start kibana and have it include this plugin
     
     
   • npm start -- --config kibana.yml
     
     You can pass any argument that you would normally send to bin/kibana by putting them after -- when running npm start
     
     
   • npm run build
     
     Build a distributable archive
     
     
   • npm run test:browser
     
     Run the browser tests in a real web browser
     
     
   • npm run test:server
     
     Run the server tests using mocha
     
     For more information about any of these commands run npm run ${task} -- --help.
     

从Logstash 1.5开始，我们可以在logstash配置中使用metadata。metadata不会在output中被序列化输出，这样我们便可以在metadata中添加一些临时的中间数据，而不需要去删除它。

我们可以通过以下方式来访问metadata:

<br /> [@metadata][foo]<br />

用例

假设我们有这样一条日志：

<br /> [2017-04-01 22:21:21] production.INFO: this is a test log message by leon<br />



我们可以在filter中使用grok来做解析:

ruby<br /> grok {<br /> match => { "message" => "\[%{TIMESTAMP_ISO8601:timestamp}\] %{DATA:env}\.%{DATA:log_level}: %{DATA:content}" }<br /> }<br />

解析的结果为

ruby<br /> {<br /> "env" => "production",<br /> "timestamp" => "2017-04-01 22:21:21",<br /> "log_level" => "INFO",<br /> "content" => "{\"message\":\"[2017-04-01 22:21:21] production.INFO: this is a test log message by leon\"}"<br /> }<br />



假设我们希望

1. 能把log_level为INFO的日志丢弃掉，但又不想让该字段出现在最终的输出中
   
2. 输出的索引名中能体现出env，但也不想让该字段出现在输出结果里
   
   对于1，一种方案是在输出之前通过mutate插件把不需要的字段删除掉，但是一旦这样的处理多了，会让配置文件变得“不干净”。
   
   通过 metadata，我们可以轻松地处理这些问题：
   
   ruby<br /> grok {<br /> match => { "message" => "\[%{TIMESTAMP_ISO8601:timestamp}\] %{DATA:[@metadata][env]}\.%{DATA:[@metadata][log_level]}: %{DATA:content}" }<br /> }<br /> <br /> if [@metadata][log_level] == "INFO"{<br /> drop{} <br /> }<br /> <br /> output{<br /> elasticsearch {<br /> hosts => ["127.0.0.1:9200"]<br /> index => "%{[@metadata][env]}-log-%{+YYYY.MM}"<br /> document_type => "_doc"<br /> }<br /> }<br />
   
   除了简化我们的配置文件、减少冗余字段意外，同时也能提高logstash的处理速度。
   
   
   
   
   
   

   Elasticsearch input插件
   

   
   有些插件会用到metadata这个特性，比如elasticsearch input插件：
   
   ```ruby
   input {
   elasticsearch {
   host => "127.0.0.1"
   

   把 ES document metadata (_index, _type, _id) 包存到 @metadata 中
   

   docinfo_in_metadata => true
   }
   }
   
   filter{
   ......
   }
   
   output {
   elasticsearch {
   document_id => "%{[@metadata][_id]}"
   index => "transformed-%{[@metadata][_index]}"
   type => "%{[@metadata][_type]}"
   }
   }
   ```
   
   
   
   

   调试
   

   
   一般来说metadata是不会出现在输出中的，除非使用 rubydebug codec 的方式输出：
   
   <br /> output { <br /> stdout { <br /> codec => rubydebug {<br /> metadata => true<br /> }<br /> }<br /> }<br />
   
   日志经过处理后输出中会包含：
   
   ruby<br /> {<br /> ....,<br /> "@metadata" => {<br /> "env" => "production",<br /> "log_level" => "INFO"<br /> }<br /> }<br />
   
   
   
   

   总结
   

   
   由上可见，metadata提供了一种简单、方便的方式来保存中间数据。这样一方面减少了logstash配置文件的复杂性：避免调用remove_field，另一方面也减少了输出中的一些不必要的数据。通过这篇对metadata的介绍，希望能对大家有所帮助。