文章 - 搜索客，搜索人自己的社区

Day2:《Kibana 系漫游指南》

大家好，欢迎你们来到 ELK 三体星系的第二天。昨天，wood 送给大家一本脚踏实地的生存指南，今天让我们仰望星空，由我给大家介绍一下围绕在 Kibana 身边的诸多行星们~

Kibana Plugin 类型简介

我们最熟悉的 Kibana Plugin，其实就是 Kibana 本身~ Kibana 提供了一整套框架，我们可以在此基础上，开发诸多不同类型的插件，包括：

app
visTypes
spyModes
fieldFormatter

列这么几个源码里的名词出来可能大家觉得比较晦涩。其实呢，app 就是同时具有前后端实现的应用，在 Kibana 5 里，默认分发的 app 有四个：实现日志查询和可视化的 kibana app、实现时序指标统计和可视化的 timelion app、实现和 ES 接口交互命令的 console app、在有异常的时候才看得到的状态页面 status_page app。

而 visTypes 则是在 kibana 中具体可用的可视化效果。默认分发的有：kbn_vislib_vis_types、metric、table、markdown。我们常用的那些由 D3.js 完成的饼图线图地图，都是在 kbn_vislib_vis_types 中完成的。

fieldFormatter 则用来定义在 ES 中相同类型的数据，根据其实际含义，可以有不同的展示方式。比如说：URL 肯定是一个字符串，但是可以用 fieldFormatter 把它在页面展示的时候，加上 `<a href></a>` 的样式，让人一键点击；同理，还可以过滤判断一下图片类 URL，加上 `<img src></img>` 的样式，直接在 Kibana 界面上就看图片内容~~

官方的我们会看手册啦~

好啦好啦，我也不会真的去抄一把官方手册假冒《Kibana 系漫游指南》来骗你们流量的。下面给大家介绍一些社区开源的，让你绝对眼前一亮的各种新奇扩展：

1. logtrail
这是一个 app 插件，创意来自 papertrail 公司的产品。完全的满足了 Geeker 们喜欢黑底白字终端的癖好~不过其实实现非常简单：每隔 10 秒请求一次最近 500 条日志就是啦！

2. vectormap
这是一个 visType 插件，也就是我们在 Kibana3 里曾经用过的 map panel 效果。这个插件不被官方直接采用的一个原因是版权许可问题。不做商用的情况下，这个插件还是可以极大方便我们做行政区域的访问情况统计和展示的。

3. kbn_network
这也是一个 visType 插件，酷毙了的网状图效果！通过不同的 aggs 数据展示 node 和 relational。
注意这个跟 Elastic 的 graph 并不是完全一致的东西。该插件要求你本身的数据已经有直接的关联可用。

4. sentinl
这是一个同时带有 spyMode 和 app 双插件的项目。其基础思路是参照 Elastic 的 Watcher 接口，但是将监控告警的进程从 ES 挪到 Kibana 里。同时还可以通过 phantomjs 做到截图报表。

这个项目最大的特点，是通过 spyMode 插件，大大降低了配置告警规则的复杂度。这个扩展让你可以在 Kibana 上配置任意聚合效果之后，就地点击定义当前聚合语句为告警规则！

5. kibana-keynote
这是另一个剑走偏锋的 app 插件，出自 Kibana 作者本人之手。它的作用是：播放 keynote 演讲稿！事实上项目里放的演讲稿就是作者本人在 ELastic{ON} 2016 上用的。让我们猜一猜下周的大会上，他会不会就用这个插件给我们分享呢？

今天就先讲这几颗最闪亮的星了~有兴趣了解更多 Kibana 行星的游客，欢迎阅读全本《Kibana系漫游指南》。

也欢迎观看 Kibana 行星的《探索·发现》节目哟~

继续阅读 »

大家好，欢迎你们来到 ELK 三体星系的第二天。昨天，wood 送给大家一本脚踏实地的生存指南，今天让我们仰望星空，由我给大家介绍一下围绕在 Kibana 身边的诸多行星们~

Kibana Plugin 类型简介

我们最熟悉的 Kibana Plugin，其实就是 Kibana 本身~ Kibana 提供了一整套框架，我们可以在此基础上，开发诸多不同类型的插件，包括：

app
visTypes
spyModes
fieldFormatter

列这么几个源码里的名词出来可能大家觉得比较晦涩。其实呢，app 就是同时具有前后端实现的应用，在 Kibana 5 里，默认分发的 app 有四个：实现日志查询和可视化的 kibana app、实现时序指标统计和可视化的 timelion app、实现和 ES 接口交互命令的 console app、在有异常的时候才看得到的状态页面 status_page app。

而 visTypes 则是在 kibana 中具体可用的可视化效果。默认分发的有：kbn_vislib_vis_types、metric、table、markdown。我们常用的那些由 D3.js 完成的饼图线图地图，都是在 kbn_vislib_vis_types 中完成的。

fieldFormatter 则用来定义在 ES 中相同类型的数据，根据其实际含义，可以有不同的展示方式。比如说：URL 肯定是一个字符串，但是可以用 fieldFormatter 把它在页面展示的时候，加上 `<a href></a>` 的样式，让人一键点击；同理，还可以过滤判断一下图片类 URL，加上 `<img src></img>` 的样式，直接在 Kibana 界面上就看图片内容~~

官方的我们会看手册啦~

好啦好啦，我也不会真的去抄一把官方手册假冒《Kibana 系漫游指南》来骗你们流量的。下面给大家介绍一些社区开源的，让你绝对眼前一亮的各种新奇扩展：

1. logtrail
这是一个 app 插件，创意来自 papertrail 公司的产品。完全的满足了 Geeker 们喜欢黑底白字终端的癖好~不过其实实现非常简单：每隔 10 秒请求一次最近 500 条日志就是啦！

2. vectormap
这是一个 visType 插件，也就是我们在 Kibana3 里曾经用过的 map panel 效果。这个插件不被官方直接采用的一个原因是版权许可问题。不做商用的情况下，这个插件还是可以极大方便我们做行政区域的访问情况统计和展示的。

3. kbn_network
这也是一个 visType 插件，酷毙了的网状图效果！通过不同的 aggs 数据展示 node 和 relational。
注意这个跟 Elastic 的 graph 并不是完全一致的东西。该插件要求你本身的数据已经有直接的关联可用。

4. sentinl
这是一个同时带有 spyMode 和 app 双插件的项目。其基础思路是参照 Elastic 的 Watcher 接口，但是将监控告警的进程从 ES 挪到 Kibana 里。同时还可以通过 phantomjs 做到截图报表。

这个项目最大的特点，是通过 spyMode 插件，大大降低了配置告警规则的复杂度。这个扩展让你可以在 Kibana 上配置任意聚合效果之后，就地点击定义当前聚合语句为告警规则！

5. kibana-keynote
这是另一个剑走偏锋的 app 插件，出自 Kibana 作者本人之手。它的作用是：播放 keynote 演讲稿！事实上项目里放的演讲稿就是作者本人在 ELastic{ON} 2016 上用的。让我们猜一猜下周的大会上，他会不会就用这个插件给我们分享呢？

今天就先讲这几颗最闪亮的星了~有兴趣了解更多 Kibana 行星的游客，欢迎阅读全本《Kibana系漫游指南》。

也欢迎观看 Kibana 行星的《探索·发现》节目哟~ 收起阅读 »

Day1: 大规模Elasticsearch集群管理心得

【携程旅行网吴晓刚】
ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如ELKStack，数据规模可能达到千亿或更多。这两种场景的数据索引和应用访问模式上差异较大，在硬件选型和集群优化方面侧重点也会有所不同。一般来说后一种场景属于大数据范畴，数据量级和集群规模更大，在管理方面也更有挑战。

应Medcl大大的邀请，为ES中文社区做今年的Advent开篇，分享一下我在管理自家公司用于日志分析的ES集群方面的一点心得，蜻蜓点水，泛泛而谈，希望大方向上能对大家提供一些帮助。

这里的自家，即是携程旅行网。从2013年开始接触ES，我们团队先后实践过0.9.x -> 5.0.0中间各个版本，从最初只用于运维内部IIS日志的分析，到如今支持IT、呼叫中心、安全、测试、业务研发等多个部门超过200种日志型数据的实时检索与分析。一路走来，愉悦了大家，也死磕了自己。

目前我们最大的日志单集群有120个data node，运行于70台物理服务器上。数据规模如下:

单日索引数据条数600亿，新增索引文件25TB (含一个复制片则为50TB)
业务高峰期峰值索引速率维持在百万条/秒
历史数据保留时长根据业务需求制定，从10天 - 90天不等
集群共3441个索引、17000个分片、数据总量约9300亿, 磁盘总消耗1PB
Kibana用户600多人, 每日来自Kibana和第三方的API调用共63万次
查询响应时间百分位 75%:0.160s 90%:1.640s 95%:6.691s 99%:14.0039s

运维这样大规模的ES集群，有哪些值得注意的地方？

一. 必不可少的工具
工欲善其事必先利其器，从一开始，哪怕就只有几个node，就应该使用分布式配置管理工具来做集群的部署。随着应用的成熟，集群规模的逐步扩大，效率的提升会凸显。官方提供了ES Puppet Module和Chef Cookbook，熟悉这两个工具的同学可以直接拿过来用。我们自己则是采用的Ansible，编写了一套Playbook来达到类似的效果。用熟这类工具，对于集群的初始部署，配置批量更改，集群版本升级，重启故障结点都会快捷和安全许多。
第二个必备利器就是sense插件。通过这个插件直接调用集群的restful API，在做集群和索引的状态查看，索引配置更改的时候非常方便。语法提示和自动补全功能更是实用，减少了翻看文档的频率。在Kibana5里面，sense已经成为一个内置的控制台，无需额外安装。

二. 硬件配置
我们采用的是32vcoreCPU + 128GB RAM的服务器，磁盘配置大部分服务器是12块4TB SATA机械磁盘做的Raid0，少部分机器是刚上了不久的6块800GB SSD raid0，主要目的是想做冷热数据分离，后面谈到集群架构的时候，再进一步解释一下如何利用硬件资源。

三. 集群的管理

首先很有必要对ES的结点做角色划分和隔离。大家知道ES的data node除了放数据以外，也可以兼任master和client的角色，多数同学会将这些角色混入到data node。然而对于一个规模较大，用户较多的集群，master和client在一些极端使用情况下可能会有性能瓶颈甚至内存溢出，从而使得共存的data node故障。data node的故障恢复涉及到数据的迁移，对集群资源有一定消耗，容易造成数据写入延迟或者查询减慢。如果将master和client独立出来，一旦出现问题，重启后几乎是瞬间就恢复的，对用户几乎没有任何影响。另外将这些角色独立出来的以后，也将对应的计算资源消耗从data node剥离出来，更容易掌握data node资源消耗与写入量和查询量之间的联系，便于做容量管理和规划。
避免过高的并发，包括控制shard数量和threadpool的数量。在写入量和查询性能能够满足的前提下，为索引分配尽量少的分片。分片过多会带来诸多负面影响，例如：每次查询后需要汇总排序的数据更多；过多的并发带来的线程切换造成过多的CPU损耗；索引的删除和配置更新更慢Issue#18776; 过多的shard也带来更多小的segment，而过多的小segment会带来非常显著的heap内存消耗，特别是如果查询线程配置得很多的情况下。配置过大的threadpool更是会产生很多诡异的性能问题Issue#18161里所描述的问题就是我们所经历过的。默认的Theadpool大小一般来说工作得很不错了。
冷热数据最好做分离。对于日志型应用来说，一般是每天建立一个新索引，当天的热索引在写入的同时也会有较多的查询。如果上面还存有比较长时间之前的冷数据，那么当用户做大跨度的历史数据查询的时候，过多的磁盘IO和CPU消耗很容易拖慢写入，造成数据的延迟。所以我们用了一部分机器来做冷数据的存储，利用ES可以给结点配置自定义属性的功能，为冷结点加上"boxtype":"weak"的标识，每晚通过维护脚本更新冷数据的索引路由设置index.routing.allocation.{require|include|exclude}，让数据自动向冷结点迁移。冷数据的特性是不再写入，用户查的频率较低，但量级可能很大。比如我们有个索引每天2TB，并且用户要求保持过去90天数据随时可查。保持这么大量的索引为open状态，并非只消耗磁盘空间。ES为了快速访问磁盘上的索引文件，需要在内存里驻留一些数据(索引文件的索引)，也就是所谓的segment memory。稍微熟悉ES的同学知道，JVM heap分配不能超过32GB，对于我们128GB RAM, 48TB磁盘空间的机器而言，如果只跑一个ES实例，只能利用到32GB不到的heap，当heap快用饱和的时候，磁盘上保存的索引文件还不到10TB，这样显然是不经济的。因此我们决定在冷结点上跑3个ES实例，每个分配31GB heap空间，从而可以在一台物理服务器上存储30多TB的索引数据并保持open状态，供用户随时搜索。实际使用下来，由于冷数据搜索频率不高，也没有写入，即时只剩余35GB内存给os做文件系统缓存，查询性能还是可以满足需求的。
不同数据量级的shard最好隔离到不同组别的结点。大家知道ES会自己平衡shard在集群的分布，这个自动平衡的逻辑主要考量三个因素。其一同一索引下的shard尽量分散到不同的结点;其二每个结点上的shard数量尽量接近;其三结点的磁盘有足够的剩余空间。这个策略只能保证shard数量分布均匀，而并不能保证数据大小分布均匀。实际应用中，我们有200多种索引，数据量级差别很大，大的一天几个TB，小的一个月才几个GB，并且每种类型的数据保留时长又千差万别。抛出的问题，就是如何能比较平衡并充分的利用所有节点的资源。针对这个问题，我们还是通过对结点添加属性标签来做分组，结合index routing控制的方式来做一些精细化的控制。尽量让不同量级的数据使用不同组别的结点，使得每个组内结点上的数据量比较容易自动平衡。
定期做索引的force merge，并且最好是每个shard merge成一个segment。前面提到过，heap消耗与segment数量也有关系，force merge可以显著降低这种消耗。如果merge成一个segment还有一个好处，就是对于terms aggregation，搜索时无需构造Global Ordinals，可以提升聚合速度。

四. 版本选择
我们在2.4版本上稳定跑了很长时间，比较保守的同学可以上2.4，激进有精力折腾的可以考虑最新的5.0。我们集群两周前从v2.4.0升级到了v5.0.0这个版本，除了升级第一周遇到一个不稳定的问题以外，感觉新版本带来的以下特性还是非常值得去升级的:

结点启动的Bootstrap过程加入了很多关键系统参数设置的核验，比如Max File Descriptors, Memory Lock, Virtual Memory设置等等，如果设置不正确会拒绝启动并抛出异常。与其带着错误的系统参数启动，并在日后造成性能问题，不如启动失败告知用户问题，是个很好的设计！
索引性能提升。升级后在同样索引速率下，我们看到cpu消耗下降非常明显，除了对索引速率提升有帮助，也会一定程度提升搜索速率。
新的数值型数据结构，存储空间更小，Range和地理位置计算更快速
Instant Aggregation对于类似now-7d to now这样的范围查询聚合能够做cache了，实际使用下来，效果明显，用户在Kibana上跑个过去一周数据的聚合，头2次刷新慢点，之后有cache了几乎就瞬间刷出！
更多的保护措施保证集群的稳定，比如对一次搜索hit的shard数量做了限制，增强了circuit breaker的特性，更好的防护集群资源被坏查询耗尽。

升级第一周，我们的冷数据结点出现间歇性不响应问题，从而刨出3个issue提交给官方:
Issue#21595 Issue#21612 Issue#21611
第一个问题确认为Bug，将在5.0.2修复，其他两个目前还不清楚根源，看起来也只在我们的应用场景里遇到了。所幸问题都找到了了规避措施，实施这些措施以后，最近一周我们的集群重新回到以前2.4版本时期的稳定状态。

五. 监控
不差钱没空折腾的建议还是买官方的xpack省心，有精力折腾的，利用ES各种丰富的stats api，用自己熟悉的监控工具采集数据，可视化出来就好了。那么多监控指标，最最关键的还是以下几类:

各类Thread pool的使用情况，active/queue/reject可视化出来。判断集群是否有性能瓶颈了，看看业务高峰期各类queue是不是很高，reject是不是经常发生，基本可以做到心里有数。
JVM的heap used%以及old GC的频率，如果old GC频率很高，并且多次GC过后heap used%几乎下不来，说明heap压力太大，要考虑扩容了。（也有可能是有问题的查询或者聚合造成的，需要结合用户访问记录来判断)。
Segment memory大小和Segment的数量。节点上存放的索引较多的时候，这两个指标就值得关注，要知道segment memory是常驻heap不会被GC回收的，因此当heap压力太大的时候，可以结合这个指标判断是否是因为节点上存放的数据过多，需要扩容。Segement的数量也是比较关键的，如果小的segment非常多，比如有几千，即使segment memory本身不多，但是在搜索线程很多的情况下，依然会吃掉相当多的heap，原因是lucene为每个segment会在thread local里记录状态信息，这块的heap内存开销和(segment数量* thread数量)相关。
很有必要记录用户的访问记录。我们只开放了http api给用户，前置了一个nginx做http代理，将用户第三方api的访问记录通过access log全部记录下来。通过分析访问记录，可以在集群出现性能问题时，快速找到问题根源，对于问题排查和性能优化都很有帮助。

最后就是多上手实践，遇到问题多查官方资料，多Google看是否有其他人遇到同类问题，精力充足有编程背景的同学也可以多刨刨源码。

继续阅读 »

【携程旅行网吴晓刚】
ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如ELKStack，数据规模可能达到千亿或更多。这两种场景的数据索引和应用访问模式上差异较大，在硬件选型和集群优化方面侧重点也会有所不同。一般来说后一种场景属于大数据范畴，数据量级和集群规模更大，在管理方面也更有挑战。

应Medcl大大的邀请，为ES中文社区做今年的Advent开篇，分享一下我在管理自家公司用于日志分析的ES集群方面的一点心得，蜻蜓点水，泛泛而谈，希望大方向上能对大家提供一些帮助。

这里的自家，即是携程旅行网。从2013年开始接触ES，我们团队先后实践过0.9.x -> 5.0.0中间各个版本，从最初只用于运维内部IIS日志的分析，到如今支持IT、呼叫中心、安全、测试、业务研发等多个部门超过200种日志型数据的实时检索与分析。一路走来，愉悦了大家，也死磕了自己。

目前我们最大的日志单集群有120个data node，运行于70台物理服务器上。数据规模如下:

单日索引数据条数600亿，新增索引文件25TB (含一个复制片则为50TB)
业务高峰期峰值索引速率维持在百万条/秒
历史数据保留时长根据业务需求制定，从10天 - 90天不等
集群共3441个索引、17000个分片、数据总量约9300亿, 磁盘总消耗1PB
Kibana用户600多人, 每日来自Kibana和第三方的API调用共63万次
查询响应时间百分位 75%:0.160s 90%:1.640s 95%:6.691s 99%:14.0039s

运维这样大规模的ES集群，有哪些值得注意的地方？

一. 必不可少的工具
工欲善其事必先利其器，从一开始，哪怕就只有几个node，就应该使用分布式配置管理工具来做集群的部署。随着应用的成熟，集群规模的逐步扩大，效率的提升会凸显。官方提供了ES Puppet Module和Chef Cookbook，熟悉这两个工具的同学可以直接拿过来用。我们自己则是采用的Ansible，编写了一套Playbook来达到类似的效果。用熟这类工具，对于集群的初始部署，配置批量更改，集群版本升级，重启故障结点都会快捷和安全许多。
第二个必备利器就是sense插件。通过这个插件直接调用集群的restful API，在做集群和索引的状态查看，索引配置更改的时候非常方便。语法提示和自动补全功能更是实用，减少了翻看文档的频率。在Kibana5里面，sense已经成为一个内置的控制台，无需额外安装。

二. 硬件配置
我们采用的是32vcoreCPU + 128GB RAM的服务器，磁盘配置大部分服务器是12块4TB SATA机械磁盘做的Raid0，少部分机器是刚上了不久的6块800GB SSD raid0，主要目的是想做冷热数据分离，后面谈到集群架构的时候，再进一步解释一下如何利用硬件资源。

三. 集群的管理

首先很有必要对ES的结点做角色划分和隔离。大家知道ES的data node除了放数据以外，也可以兼任master和client的角色，多数同学会将这些角色混入到data node。然而对于一个规模较大，用户较多的集群，master和client在一些极端使用情况下可能会有性能瓶颈甚至内存溢出，从而使得共存的data node故障。data node的故障恢复涉及到数据的迁移，对集群资源有一定消耗，容易造成数据写入延迟或者查询减慢。如果将master和client独立出来，一旦出现问题，重启后几乎是瞬间就恢复的，对用户几乎没有任何影响。另外将这些角色独立出来的以后，也将对应的计算资源消耗从data node剥离出来，更容易掌握data node资源消耗与写入量和查询量之间的联系，便于做容量管理和规划。
避免过高的并发，包括控制shard数量和threadpool的数量。在写入量和查询性能能够满足的前提下，为索引分配尽量少的分片。分片过多会带来诸多负面影响，例如：每次查询后需要汇总排序的数据更多；过多的并发带来的线程切换造成过多的CPU损耗；索引的删除和配置更新更慢Issue#18776; 过多的shard也带来更多小的segment，而过多的小segment会带来非常显著的heap内存消耗，特别是如果查询线程配置得很多的情况下。配置过大的threadpool更是会产生很多诡异的性能问题Issue#18161里所描述的问题就是我们所经历过的。默认的Theadpool大小一般来说工作得很不错了。
冷热数据最好做分离。对于日志型应用来说，一般是每天建立一个新索引，当天的热索引在写入的同时也会有较多的查询。如果上面还存有比较长时间之前的冷数据，那么当用户做大跨度的历史数据查询的时候，过多的磁盘IO和CPU消耗很容易拖慢写入，造成数据的延迟。所以我们用了一部分机器来做冷数据的存储，利用ES可以给结点配置自定义属性的功能，为冷结点加上"boxtype":"weak"的标识，每晚通过维护脚本更新冷数据的索引路由设置index.routing.allocation.{require|include|exclude}，让数据自动向冷结点迁移。冷数据的特性是不再写入，用户查的频率较低，但量级可能很大。比如我们有个索引每天2TB，并且用户要求保持过去90天数据随时可查。保持这么大量的索引为open状态，并非只消耗磁盘空间。ES为了快速访问磁盘上的索引文件，需要在内存里驻留一些数据(索引文件的索引)，也就是所谓的segment memory。稍微熟悉ES的同学知道，JVM heap分配不能超过32GB，对于我们128GB RAM, 48TB磁盘空间的机器而言，如果只跑一个ES实例，只能利用到32GB不到的heap，当heap快用饱和的时候，磁盘上保存的索引文件还不到10TB，这样显然是不经济的。因此我们决定在冷结点上跑3个ES实例，每个分配31GB heap空间，从而可以在一台物理服务器上存储30多TB的索引数据并保持open状态，供用户随时搜索。实际使用下来，由于冷数据搜索频率不高，也没有写入，即时只剩余35GB内存给os做文件系统缓存，查询性能还是可以满足需求的。
不同数据量级的shard最好隔离到不同组别的结点。大家知道ES会自己平衡shard在集群的分布，这个自动平衡的逻辑主要考量三个因素。其一同一索引下的shard尽量分散到不同的结点;其二每个结点上的shard数量尽量接近;其三结点的磁盘有足够的剩余空间。这个策略只能保证shard数量分布均匀，而并不能保证数据大小分布均匀。实际应用中，我们有200多种索引，数据量级差别很大，大的一天几个TB，小的一个月才几个GB，并且每种类型的数据保留时长又千差万别。抛出的问题，就是如何能比较平衡并充分的利用所有节点的资源。针对这个问题，我们还是通过对结点添加属性标签来做分组，结合index routing控制的方式来做一些精细化的控制。尽量让不同量级的数据使用不同组别的结点，使得每个组内结点上的数据量比较容易自动平衡。
定期做索引的force merge，并且最好是每个shard merge成一个segment。前面提到过，heap消耗与segment数量也有关系，force merge可以显著降低这种消耗。如果merge成一个segment还有一个好处，就是对于terms aggregation，搜索时无需构造Global Ordinals，可以提升聚合速度。

四. 版本选择
我们在2.4版本上稳定跑了很长时间，比较保守的同学可以上2.4，激进有精力折腾的可以考虑最新的5.0。我们集群两周前从v2.4.0升级到了v5.0.0这个版本，除了升级第一周遇到一个不稳定的问题以外，感觉新版本带来的以下特性还是非常值得去升级的:

结点启动的Bootstrap过程加入了很多关键系统参数设置的核验，比如Max File Descriptors, Memory Lock, Virtual Memory设置等等，如果设置不正确会拒绝启动并抛出异常。与其带着错误的系统参数启动，并在日后造成性能问题，不如启动失败告知用户问题，是个很好的设计！
索引性能提升。升级后在同样索引速率下，我们看到cpu消耗下降非常明显，除了对索引速率提升有帮助，也会一定程度提升搜索速率。
新的数值型数据结构，存储空间更小，Range和地理位置计算更快速
Instant Aggregation对于类似now-7d to now这样的范围查询聚合能够做cache了，实际使用下来，效果明显，用户在Kibana上跑个过去一周数据的聚合，头2次刷新慢点，之后有cache了几乎就瞬间刷出！
更多的保护措施保证集群的稳定，比如对一次搜索hit的shard数量做了限制，增强了circuit breaker的特性，更好的防护集群资源被坏查询耗尽。

升级第一周，我们的冷数据结点出现间歇性不响应问题，从而刨出3个issue提交给官方:
Issue#21595 Issue#21612 Issue#21611
第一个问题确认为Bug，将在5.0.2修复，其他两个目前还不清楚根源，看起来也只在我们的应用场景里遇到了。所幸问题都找到了了规避措施，实施这些措施以后，最近一周我们的集群重新回到以前2.4版本时期的稳定状态。

五. 监控
不差钱没空折腾的建议还是买官方的xpack省心，有精力折腾的，利用ES各种丰富的stats api，用自己熟悉的监控工具采集数据，可视化出来就好了。那么多监控指标，最最关键的还是以下几类:

各类Thread pool的使用情况，active/queue/reject可视化出来。判断集群是否有性能瓶颈了，看看业务高峰期各类queue是不是很高，reject是不是经常发生，基本可以做到心里有数。
JVM的heap used%以及old GC的频率，如果old GC频率很高，并且多次GC过后heap used%几乎下不来，说明heap压力太大，要考虑扩容了。（也有可能是有问题的查询或者聚合造成的，需要结合用户访问记录来判断)。
Segment memory大小和Segment的数量。节点上存放的索引较多的时候，这两个指标就值得关注，要知道segment memory是常驻heap不会被GC回收的，因此当heap压力太大的时候，可以结合这个指标判断是否是因为节点上存放的数据过多，需要扩容。Segement的数量也是比较关键的，如果小的segment非常多，比如有几千，即使segment memory本身不多，但是在搜索线程很多的情况下，依然会吃掉相当多的heap，原因是lucene为每个segment会在thread local里记录状态信息，这块的heap内存开销和(segment数量* thread数量)相关。
很有必要记录用户的访问记录。我们只开放了http api给用户，前置了一个nginx做http代理，将用户第三方api的访问记录通过access log全部记录下来。通过分析访问记录，可以在集群出现性能问题时，快速找到问题根源，对于问题排查和性能优化都很有帮助。

最后就是多上手实践，遇到问题多查官方资料，多Google看是否有其他人遇到同类问题，精力充足有编程背景的同学也可以多刨刨源码。收起阅读 »

java客户端连接es5.0（基于xpack安全管理）

Settings settings = Settings.builder().put("cluster.name", "xxx")

                    .put("xpack.security.transport.ssl.enabled", false)

                    .put("xpack.security.user", "xxx:xxx")

                    .put("client.transport.sniff", true).build();

try {

    client = new PreBuiltXPackTransportClient(settings)

            .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("xxx.xxx.xxx.xxx"), 9300))

            .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("xxx.xxx.xxx.xxx"), 9300));

} catch (UnknownHostException e) {

    e.printStackTrace();

}

继续阅读 »

Settings settings = Settings.builder().put("cluster.name", "xxx")

                    .put("xpack.security.transport.ssl.enabled", false)

                    .put("xpack.security.user", "xxx:xxx")

                    .put("client.transport.sniff", true).build();

try {

    client = new PreBuiltXPackTransportClient(settings)

            .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("xxx.xxx.xxx.xxx"), 9300))

            .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("xxx.xxx.xxx.xxx"), 9300));

} catch (UnknownHostException e) {

    e.printStackTrace();

}

收起阅读 »

Pandasticsearch: An Elasticsearch client exposing DataFrame API

https://github.com/onesuper/pandasticsearch

# Create a DataFrame object

from pandasticsearch import DataFrame

df = DataFrame.from_es('http://localhost:9200', index='people')



# Print the schema(mapping) of the index

df.print_schema()

# company

# |-- employee

#   |-- name: {'index': 'not_analyzed', 'type': 'string'}

#   |-- age: {'type': 'integer'}

#   |-- gender: {'index': 'not_analyzed', 'type': 'string'}



# Inspect the columns

df.columns

#['name', 'age', 'gender']



# Get the column

df.name

# Column('name')



# Filter

df.filter(df.age < 13).collect()

# [Row(age=12,gender='female',name='Alice'), Row(age=11,gender='male',name='Bob')]



# Project

df.filter(df.age < 25).select('name', 'age').collect()

# [Row(age=12,name='Alice'), Row(age=11,name='Bob'), Row(age=13,name='Leo')]



# Print the rows into console

df.filter(df.age < 25).select('name').show(3)

# +------+

# | name |

# +------+

# | Alice|

# | Bob  |

# | Leo  |

# +------+



# Sort

df.sort(df.age.asc).select('name', 'age').collect()

#[Row(age=11,name='Bob'), Row(age=12,name='Alice'), Row(age=13,name='Leo')]



# Aggregate

df[df.gender == 'male'].agg(df.age.avg).collect()

# [Row(avg(age)=12)]



# Groupby

df.groupby('gender').collect()

# [Row(doc_count=1), Row(doc_count=2)]



# Groupby and then aggregate

df.groupby('gender').agg(df.age.max).collect()

# [Row(doc_count=1, max(age)=12), Row(doc_count=2, max(age)=13)]



# Convert to Pandas object for subsequent analysis

df[df.gender == 'male'].agg(df.age.avg).to_pandas()

#    avg(age)

# 0        12

继续阅读 »

https://github.com/onesuper/pandasticsearch

# Create a DataFrame object

from pandasticsearch import DataFrame

df = DataFrame.from_es('http://localhost:9200', index='people')



# Print the schema(mapping) of the index

df.print_schema()

# company

# |-- employee

#   |-- name: {'index': 'not_analyzed', 'type': 'string'}

#   |-- age: {'type': 'integer'}

#   |-- gender: {'index': 'not_analyzed', 'type': 'string'}



# Inspect the columns

df.columns

#['name', 'age', 'gender']



# Get the column

df.name

# Column('name')



# Filter

df.filter(df.age < 13).collect()

# [Row(age=12,gender='female',name='Alice'), Row(age=11,gender='male',name='Bob')]



# Project

df.filter(df.age < 25).select('name', 'age').collect()

# [Row(age=12,name='Alice'), Row(age=11,name='Bob'), Row(age=13,name='Leo')]



# Print the rows into console

df.filter(df.age < 25).select('name').show(3)

# +------+

# | name |

# +------+

# | Alice|

# | Bob  |

# | Leo  |

# +------+



# Sort

df.sort(df.age.asc).select('name', 'age').collect()

#[Row(age=11,name='Bob'), Row(age=12,name='Alice'), Row(age=13,name='Leo')]



# Aggregate

df[df.gender == 'male'].agg(df.age.avg).collect()

# [Row(avg(age)=12)]



# Groupby

df.groupby('gender').collect()

# [Row(doc_count=1), Row(doc_count=2)]



# Groupby and then aggregate

df.groupby('gender').agg(df.age.max).collect()

# [Row(doc_count=1, max(age)=12), Row(doc_count=2, max(age)=13)]



# Convert to Pandas object for subsequent analysis

df[df.gender == 'male'].agg(df.age.avg).to_pandas()

#    avg(age)

# 0        12

收起阅读 »

Elastic Advent Calendar 活动启动咯！

时间一转又到了年末，去年的 Advent 在三斗的发起下，进行的很不错，今年的 Advent 活动继续办下去吧，借鉴日本（http://qiita.com/advent-calendar/2016/elastic）的做法，我们今年可以先报名占坑，预定一个日子和你打算写的文章的标题，尽量错开时间。

今年的Advent文章也会同步发布到社区公众号。

去年 Advent 活动回顾 http://elasticsearch.cn/topic/advent

由于本站没有日历的功能，大家留言评论报名预定就好了。

格式（仅12月）：日期，标题
如：12月x日 , xxx 小技巧一则

已发布：
《大规模Elasticsearch集群管理心得》
《Kibana 系漫游指南》
《创建一个你自己的 Beat》
《将sql转换为es的DSL》
《Elasticsearch 2.x mapping tips》
《无外网环境10分钟快速集成 elasticsearch-head》
《Elasticsearch 5 入坑指南》
《可定制的 elasticsearch 数据导入工具 ——mysql_2_elasticsearch》
《记一次es性能调优》
《PacketBeat奇妙的OOM小记》
《ES5.0.0 安装记录》

继续阅读 »

Elastic Stack 5.0 正式发布

作者：Shay Banon，原文：https://www.elastic.co/blog/el ... eased

记得在 2016 年 2 月份，就在 Elastic{ON} 16 大会之后，我写了一篇标题为 [Heya, Elastic Stack and X-Pack] (https://www.elastic.co/blog/he ... -pack ) 的博客。经过了几乎整整一年的努力，中间发布了 5 个 Alpha，1 个 Beta 和一个 RC 版本，今天我们非常高兴的正式宣布发布 Elastic Stack 的 GA 正式版本。

并且，重要的是，于此同时，在我们的 [Elastic Cloud](https://www.elastic.co/cloud/as-a-service/signup ) 上面也同步进行了更新。所以如果你需要托管的 Elasticsearch 和 Kibana ，那么没有其它地方比这里更及时了。我们致力于让 Elastic Cloud 成为一个托管 Elasticsearch 的最佳场所。事实上，在正式版发布之前，我们也提供了 RC 版本方便你用于测试。

我们的团队今天正在庆祝这一时刻，我希望你能加入我们。

GA 版本今天已经可以下载了，如果要加入 Elastic 团队 11 月 3 号的线上活动，了解更多有关于本次发布和向工程师提问，请点击这里 [注册!](https://www.elastic.co/live/v5 )

在开始探索发布详情之前，我想借此机会来回顾一下有哪些背后的事情让我们走到今天。

## 我们的社区

最近的 Elastic{ON} Tour，在每场活动的开场我会讨论我们公司过去几年的简短历史。最近一次活动的高潮是当我宣布我们的累计下载总数达到了七千五百万。当我第一次开始这个项目的时候，我希望她能够被能够被广泛使用，但是我们的社区的热情和激情总是不断的给我快乐和惊喜。

## 先驱者计划

考虑到这一点，我想分享一下 [先驱者计划](https://www.elastic.co/blog/el ... ogram ) 的一些结果。该计划开始于一个简单的前提，你如何使用 Elastic Stack 对我们来说非常重要，不管是产品研发还是确保发布高质量的可用版本。我非常高兴的告诉大家自四月份发布的第一个Alpha版本，我们的社区一共提交了146个issue。

我们的社区是Elastic其中一个最宝贵的财产。事实上，在这次发布中讨论的最多的就是为什么命名为 "Elastic Stack"。

## Elastic Stack

过去一年，我们收购了Packetbeat 团队，然后Beats 就诞生了。这是一个开源的用于构建轻量级数据收集的平台，可用于日志、基础设施监控指标、网络流量等数据的收集，并且以前所未有的简单方式来将数据发送至Logstash或Elasticsearch。同时我们热爱那些已经习惯于将 ELK 作为代表我们软件栈的你们，只不过加上Beats，我们不知道如何将“B”和E-L-K组合在一起。（NOTE：过去用过ELKB）

但Elastic Stack 远不只是一个名字。当我们开始发布一个周期，我们开发提交、构建、测试和发布的是一整个软件栈。这个很重要，从内部来保证兼容性。并且，对你来说，它可以帮助你提升部署速度，减少版本冲突，让开发者轻松的处理整个 Elastic Stack的兼容性问题。

## 一场特性之旅

在我开始这篇博客之前，我打算列举每个产品的一些主要特性，但是发现好像很难确定从哪里开始和结束。我们每个产品和技术的leader 已经创建了单独的博客来讨论各自产品的特性，没人比他们更适合介绍其中的故事。我个人，更是对其中的一些特性感到非常兴奋，相较于简单的罗列，我会提供一些简短概要并且鼓励你去阅读每个产品详细的博客。

Ingest Node

Ingest Node 是Elasticsearch 的一个节点类型，允许你对数据做一些加工，比如：grok、geoip、date和其它索引（或重建）过程中的基本数据操作。通过访问REST API的时候指定一个参数“?pipeline=x”来使用由一系列处理器（processors）构造的管道，它可用帮你对文档进行预处理，原生的在Elasticsearch内部，在索引之前做灵活的 ingest部署。这不代表要替换掉Logstash，也不会移除对Beats的需要，只为你设计数据采集架构时提供一种更加灵活的可能性。

Elasticsearch 性能

性能报告倾向于提供一个大纲，尤其是比较性的性能测试报告，基于此，我们花了很大力气来比较5.0.0 与之前发布的版本。数据现在已经可用了，这个数据也是我们用来检查和确保我们正在做正确的事情来保证性能，我们是如此的公开来避免由性能测试数字引起的所谓秘密和怀疑。事实上，不止测试结果，我们还公布了我们的硬件和配置，我们还开源了我们的工具链(叫做 [Rally](https://github.com/elastic/rally )) 和测试记录本身([Rally-Tracks](https://github.com/elastic/rally-tracks ))。

Metricbeat

Metricbeat 替换 Topbeat 成为Elastic Stack里主要的收集度量指标的工具。和Topbeat一样，Metricbeat 收集和“top” 类似的诸如机器及进程的资源(CPU, memory, disk, network)统计信息。和Topbeat不同的是，Metricbeat 同时也收集其它系统的指标信息，如：Apache、HAProxy、MongoDB、MySQL、Nginx、PostgreSQL、 Redis和 Zookeeper，并且在不久的将来还会支持更多应用和系统。

Logstash 监控 API** - 这是一个新的监控特性提供Logstash 管道及其插件在运行时的可视状态。这个组件收集Logstash处理你数据的各种操作性统计指标信息，所有的这些信息都可通过简单的API来进行查询。

Timelion

以前以re{Search} 项目介绍过，现在Timelion 作为Kibana原生的核心组件可直接可用。Timelion 提供一个查询表达式和可视化类型让你探索基于时间的数据。

再列举几个，诸如BKD 树、scaled_float 和 half_float ，我们投入了大量的精力到 [Elasticsearch 可靠性](https://www.elastic.co/guide/e ... .html ) 中，另外Kibana惊艳的重新设计（我从来不知道我们以前有这么讨厌这些边框直到移除）， Beats 支持的Kafaka输出，等等，还有很多很多。

这是一个非常大的版本发布，非常有必要阅读相关独立的博客来了解更多范围内的改进。

[Elasticsearch](https://www.elastic.co/blog/el ... eased )

[Kibana](https://www.elastic.co/blog/kibana-5-0-0 )

[Logstash](https://www.elastic.co/blog/lo ... eased )

[Beats](https://www.elastic.co/blog/beats-5-0-0-released )

[X-Pack](https://www.elastic.co/blog/x-pack-5-0-0-released )

## X-Pack

在Elastic 我们热爱扩展。太多我们构建的东西我们给他们起了非常有趣的名字，如：Shield、Marvel和Watcher，作为提供给我们客户的额外的插件，独立闭源但没限制开源部分的能力的特性，随着后面又增加了Graph 和Reporting，安装流程也变得困难和困惑。

来和X-Pack 打个招呼吧!

一个包含了security、alerting、monitoring & management、reporting和graph 能力的Elastic Stack的插件。我们对5.0的工程不仅限于Elastic Stack，同时也包括给X-Pack 添加如下：

Kibana里的管理和监控的UI界面
Kibana里创建用户和角色的UI界面
非常简化的安装流程

X-Pack 可以试用，同时提供商业和免费（基本）授权证书选项。我们尤其兴奋的将X-Pack的某些特性开放出来免费使用，详细请见 [Subscriptions](https://www.elastic.co/subscriptions ) 页。

## 放在最后

我敬畏发布此次版本所做的所有努力，来自我们社区和客户的共同参与，以及为了将来发布所做的一系列背地里的工作。一如既往，理解一个版本的最好方式就是去体验它。

[Elasticsearch 5.0.0 下载](https://www.elastic.co/downloads/elasticsearch )

[Kibana 5.0.0 下载](https://www.elastic.co/downloads/kibana )

[X-Pack 5.0.0 安装指南](https://www.elastic.co/downloads/x-pack )

[Logstash 5.0.0 下载](https://www.elastic.co/downloads/logstash )

[Beats 5.0.0 下载](https://www.elastic.co/downloads/beats )

[ES-Hadoop 5.0.0 下载](https://www.elastic.co/downloads/hadoop )

继续阅读 »

作者：Shay Banon，原文：https://www.elastic.co/blog/el ... eased

记得在 2016 年 2 月份，就在 Elastic{ON} 16 大会之后，我写了一篇标题为 [Heya, Elastic Stack and X-Pack] (https://www.elastic.co/blog/he ... -pack ) 的博客。经过了几乎整整一年的努力，中间发布了 5 个 Alpha，1 个 Beta 和一个 RC 版本，今天我们非常高兴的正式宣布发布 Elastic Stack 的 GA 正式版本。

并且，重要的是，于此同时，在我们的 [Elastic Cloud](https://www.elastic.co/cloud/as-a-service/signup ) 上面也同步进行了更新。所以如果你需要托管的 Elasticsearch 和 Kibana ，那么没有其它地方比这里更及时了。我们致力于让 Elastic Cloud 成为一个托管 Elasticsearch 的最佳场所。事实上，在正式版发布之前，我们也提供了 RC 版本方便你用于测试。

我们的团队今天正在庆祝这一时刻，我希望你能加入我们。

GA 版本今天已经可以下载了，如果要加入 Elastic 团队 11 月 3 号的线上活动，了解更多有关于本次发布和向工程师提问，请点击这里 [注册!](https://www.elastic.co/live/v5 )

在开始探索发布详情之前，我想借此机会来回顾一下有哪些背后的事情让我们走到今天。

## 我们的社区

最近的 Elastic{ON} Tour，在每场活动的开场我会讨论我们公司过去几年的简短历史。最近一次活动的高潮是当我宣布我们的累计下载总数达到了七千五百万。当我第一次开始这个项目的时候，我希望她能够被能够被广泛使用，但是我们的社区的热情和激情总是不断的给我快乐和惊喜。

## 先驱者计划

考虑到这一点，我想分享一下 [先驱者计划](https://www.elastic.co/blog/el ... ogram ) 的一些结果。该计划开始于一个简单的前提，你如何使用 Elastic Stack 对我们来说非常重要，不管是产品研发还是确保发布高质量的可用版本。我非常高兴的告诉大家自四月份发布的第一个Alpha版本，我们的社区一共提交了146个issue。

我们的社区是Elastic其中一个最宝贵的财产。事实上，在这次发布中讨论的最多的就是为什么命名为 "Elastic Stack"。

## Elastic Stack

过去一年，我们收购了Packetbeat 团队，然后Beats 就诞生了。这是一个开源的用于构建轻量级数据收集的平台，可用于日志、基础设施监控指标、网络流量等数据的收集，并且以前所未有的简单方式来将数据发送至Logstash或Elasticsearch。同时我们热爱那些已经习惯于将 ELK 作为代表我们软件栈的你们，只不过加上Beats，我们不知道如何将“B”和E-L-K组合在一起。（NOTE：过去用过ELKB）

但Elastic Stack 远不只是一个名字。当我们开始发布一个周期，我们开发提交、构建、测试和发布的是一整个软件栈。这个很重要，从内部来保证兼容性。并且，对你来说，它可以帮助你提升部署速度，减少版本冲突，让开发者轻松的处理整个 Elastic Stack的兼容性问题。

## 一场特性之旅

在我开始这篇博客之前，我打算列举每个产品的一些主要特性，但是发现好像很难确定从哪里开始和结束。我们每个产品和技术的leader 已经创建了单独的博客来讨论各自产品的特性，没人比他们更适合介绍其中的故事。我个人，更是对其中的一些特性感到非常兴奋，相较于简单的罗列，我会提供一些简短概要并且鼓励你去阅读每个产品详细的博客。

Ingest Node

Ingest Node 是Elasticsearch 的一个节点类型，允许你对数据做一些加工，比如：grok、geoip、date和其它索引（或重建）过程中的基本数据操作。通过访问REST API的时候指定一个参数“?pipeline=x”来使用由一系列处理器（processors）构造的管道，它可用帮你对文档进行预处理，原生的在Elasticsearch内部，在索引之前做灵活的 ingest部署。这不代表要替换掉Logstash，也不会移除对Beats的需要，只为你设计数据采集架构时提供一种更加灵活的可能性。

Elasticsearch 性能

性能报告倾向于提供一个大纲，尤其是比较性的性能测试报告，基于此，我们花了很大力气来比较5.0.0 与之前发布的版本。数据现在已经可用了，这个数据也是我们用来检查和确保我们正在做正确的事情来保证性能，我们是如此的公开来避免由性能测试数字引起的所谓秘密和怀疑。事实上，不止测试结果，我们还公布了我们的硬件和配置，我们还开源了我们的工具链(叫做 [Rally](https://github.com/elastic/rally )) 和测试记录本身([Rally-Tracks](https://github.com/elastic/rally-tracks ))。

Metricbeat

Metricbeat 替换 Topbeat 成为Elastic Stack里主要的收集度量指标的工具。和Topbeat一样，Metricbeat 收集和“top” 类似的诸如机器及进程的资源(CPU, memory, disk, network)统计信息。和Topbeat不同的是，Metricbeat 同时也收集其它系统的指标信息，如：Apache、HAProxy、MongoDB、MySQL、Nginx、PostgreSQL、 Redis和 Zookeeper，并且在不久的将来还会支持更多应用和系统。

Logstash 监控 API** - 这是一个新的监控特性提供Logstash 管道及其插件在运行时的可视状态。这个组件收集Logstash处理你数据的各种操作性统计指标信息，所有的这些信息都可通过简单的API来进行查询。

Timelion

以前以re{Search} 项目介绍过，现在Timelion 作为Kibana原生的核心组件可直接可用。Timelion 提供一个查询表达式和可视化类型让你探索基于时间的数据。

再列举几个，诸如BKD 树、scaled_float 和 half_float ，我们投入了大量的精力到 [Elasticsearch 可靠性](https://www.elastic.co/guide/e ... .html ) 中，另外Kibana惊艳的重新设计（我从来不知道我们以前有这么讨厌这些边框直到移除）， Beats 支持的Kafaka输出，等等，还有很多很多。

这是一个非常大的版本发布，非常有必要阅读相关独立的博客来了解更多范围内的改进。

[Elasticsearch](https://www.elastic.co/blog/el ... eased )

[Kibana](https://www.elastic.co/blog/kibana-5-0-0 )

[Logstash](https://www.elastic.co/blog/lo ... eased )

[Beats](https://www.elastic.co/blog/beats-5-0-0-released )

[X-Pack](https://www.elastic.co/blog/x-pack-5-0-0-released )

## X-Pack

在Elastic 我们热爱扩展。太多我们构建的东西我们给他们起了非常有趣的名字，如：Shield、Marvel和Watcher，作为提供给我们客户的额外的插件，独立闭源但没限制开源部分的能力的特性，随着后面又增加了Graph 和Reporting，安装流程也变得困难和困惑。

来和X-Pack 打个招呼吧!

一个包含了security、alerting、monitoring & management、reporting和graph 能力的Elastic Stack的插件。我们对5.0的工程不仅限于Elastic Stack，同时也包括给X-Pack 添加如下：

Kibana里的管理和监控的UI界面
Kibana里创建用户和角色的UI界面
非常简化的安装流程

X-Pack 可以试用，同时提供商业和免费（基本）授权证书选项。我们尤其兴奋的将X-Pack的某些特性开放出来免费使用，详细请见 [Subscriptions](https://www.elastic.co/subscriptions ) 页。

## 放在最后

我敬畏发布此次版本所做的所有努力，来自我们社区和客户的共同参与，以及为了将来发布所做的一系列背地里的工作。一如既往，理解一个版本的最好方式就是去体验它。

[Elasticsearch 5.0.0 下载](https://www.elastic.co/downloads/elasticsearch )

[Kibana 5.0.0 下载](https://www.elastic.co/downloads/kibana )

[X-Pack 5.0.0 安装指南](https://www.elastic.co/downloads/x-pack )

[Logstash 5.0.0 下载](https://www.elastic.co/downloads/logstash )

[Beats 5.0.0 下载](https://www.elastic.co/downloads/beats )

[ES-Hadoop 5.0.0 下载](https://www.elastic.co/downloads/hadoop )

收起阅读 »

elasticsearch-analysis-pinyin更新至es2.4.1和5.0.0-rc1

版本分别支持到最新的 es v2.4.1和 es v5.0.0-rc1
新增若干特性，支持多种选项配置，支持 pinyin 的切分，比之前需要结合 ngram 的方式更加准确，
如：liudehuaalibaba13zhuanghan->liu,de,hua,a,li,ba,ba,13,zhuang,han，
具体配置参加文档：
https://github.com/medcl/elast ... inyin

下载：
https://github.com/medcl/elast ... eases

欢迎测试：

curl -XPUT http://localhost:9200/medcl/ -d'

{

    "index" : {

        "analysis" : {

            "analyzer" : {

                "pinyin_analyzer" : {

                    "tokenizer" : "my_pinyin"

                    }

            },

            "tokenizer" : {

                "my_pinyin" : {

                    "type" : "pinyin",

                    "keep_separate_first_letter" : false,

                    "keep_full_pinyin" : true,

                    "keep_original" : false,

                    "limit_first_letter_length" : 16,

                    "lowercase" : true

                }

            }

        }

    }

}'



curl http://localhost:9200/medcl/_a ... lyzer

{

  "tokens" : [ {

    "token" : "liu",

    "start_offset" : 0,

    "end_offset" : 1,

    "type" : "word",

    "position" : 0

  }, {

    "token" : "de",

    "start_offset" : 1,

    "end_offset" : 2,

    "type" : "word",

    "position" : 1

  }, {

    "token" : "hua",

    "start_offset" : 2,

    "end_offset" : 3,

    "type" : "word",

    "position" : 2

  }, {

    "token" : "a",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 3

  }, {

    "token" : "b",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 4

  }, {

    "token" : "c",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 5

  }, {

    "token" : "d",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 6

  }, {

    "token" : "liu",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 7

  }, {

    "token" : "de",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 8

  }, {

    "token" : "hua",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 9

  }, {

    "token" : "wo",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 10

  }, {

    "token" : "bu",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 11

  }, {

    "token" : "zhi",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 12

  }, {

    "token" : "dao",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 13

  }, {

    "token" : "shi",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 14

  }, {

    "token" : "shui",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 15

  }, {

    "token" : "ldhabcdliudehuaw",

    "start_offset" : 0,

    "end_offset" : 16,

    "type" : "word",

    "position" : 16

  } ]

}

继续阅读 »

版本分别支持到最新的 es v2.4.1和 es v5.0.0-rc1
新增若干特性，支持多种选项配置，支持 pinyin 的切分，比之前需要结合 ngram 的方式更加准确，
如：liudehuaalibaba13zhuanghan->liu,de,hua,a,li,ba,ba,13,zhuang,han，
具体配置参加文档：
https://github.com/medcl/elast ... inyin

下载：
https://github.com/medcl/elast ... eases

欢迎测试：

curl -XPUT http://localhost:9200/medcl/ -d'

{

    "index" : {

        "analysis" : {

            "analyzer" : {

                "pinyin_analyzer" : {

                    "tokenizer" : "my_pinyin"

                    }

            },

            "tokenizer" : {

                "my_pinyin" : {

                    "type" : "pinyin",

                    "keep_separate_first_letter" : false,

                    "keep_full_pinyin" : true,

                    "keep_original" : false,

                    "limit_first_letter_length" : 16,

                    "lowercase" : true

                }

            }

        }

    }

}'



curl http://localhost:9200/medcl/_a ... lyzer

{

  "tokens" : [ {

    "token" : "liu",

    "start_offset" : 0,

    "end_offset" : 1,

    "type" : "word",

    "position" : 0

  }, {

    "token" : "de",

    "start_offset" : 1,

    "end_offset" : 2,

    "type" : "word",

    "position" : 1

  }, {

    "token" : "hua",

    "start_offset" : 2,

    "end_offset" : 3,

    "type" : "word",

    "position" : 2

  }, {

    "token" : "a",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 3

  }, {

    "token" : "b",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 4

  }, {

    "token" : "c",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 5

  }, {

    "token" : "d",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 6

  }, {

    "token" : "liu",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 7

  }, {

    "token" : "de",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 8

  }, {

    "token" : "hua",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 9

  }, {

    "token" : "wo",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 10

  }, {

    "token" : "bu",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 11

  }, {

    "token" : "zhi",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 12

  }, {

    "token" : "dao",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 13

  }, {

    "token" : "shi",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 14

  }, {

    "token" : "shui",

    "start_offset" : 2,

    "end_offset" : 31,

    "type" : "word",

    "position" : 15

  }, {

    "token" : "ldhabcdliudehuaw",

    "start_offset" : 0,

    "end_offset" : 16,

    "type" : "word",

    "position" : 16

  } ]

}

收起阅读 »

Elastic{ON} Dev China 2016 开始报名了！

大会网站：https://info.elastic.co/elasticon-dev-china.html
大会网站：[url=http://conf.elasticsearch.cn]http://conf.elasticsearch.cn[/url]
大会介绍：
Elastic 中国开发者大会 2016（Elastic{ON} Dev China 2016）是由 Elastic 官方在中国举办的第一次开发者大会，前身 ESCC (Elasticsearch China Conference) 是由 Elastic 中文社区每年定期举办的线下交流活动，主要围绕 Elastic 的开源产品: Elasticsearch、Logstash、Kibana 和 Beats，探讨在搜索、数据实时分析、日志分析、安全等领域的实践与应用。

大会时间：
2016-12-10 08:00 至 2016-12-10 18:00 周六

如何参与：
提供赞助：http://elasticsearch.mikecrm.com/nECSP4
提交演讲：http://elasticsearch.mikecrm.com/x0y56G
当志愿者：http://elasticsearch.mikecrm.com/n5BVwP
购买门票：http://event.3188.la/460820612/

大会具体场地和日程不断更新中，敬请关注！

继续阅读 »

ElasticSearch java API - 聚合查询

以球员信息为例，player索引的player type包含5个字段，姓名，年龄，薪水，球队，场上位置。
index的mapping为：

"mappings": {

	"player": {

		"properties": {

			"name": {

				"index": "not_analyzed",

				"type": "string"

			},

			"age": {

				"type": "integer"

			},

			"salary": {

				"type": "integer"

			},

			"team": {

				"index": "not_analyzed",

				"type": "string"

			},

			"position": {

				"index": "not_analyzed",

				"type": "string"

			}

		},

		"_all": {

			"enabled": false

		}

	}

}

索引中的全部数据：

首先，初始化Builder：

SearchRequestBuilder sbuilder = client.prepareSearch("player").setTypes("player");

接下来举例说明各种聚合操作的实现方法，因为在es的api中，多字段上的聚合操作需要用到子聚合(subAggregation)，初学者可能找不到方法（网上资料比较少，笔者在这个问题上折腾了两天，最后度了源码才彻底搞清楚T_T），后边会特意说明多字段聚合的实现方法。另外，聚合后的排序也会单独说明。

group by/count

例如要计算每个球队的球员数，如果使用SQL语句，应表达如下：

select team, count(*) as player_count from player group by team;

ES的java api：

TermsBuilder teamAgg= AggregationBuilders.terms("player_count ").field("team");

sbuilder.addAggregation(teamAgg);

SearchResponse response = sbuilder.execute().actionGet();

group by多个field

例如要计算每个球队每个位置的球员数，如果使用SQL语句，应表达如下：

select team, position, count(*) as pos_count from player group by team, position;

ES的java api：

TermsBuilder teamAgg= AggregationBuilders.terms("player_count ").field("team");

TermsBuilder posAgg= AggregationBuilders.terms("pos_count").field("position");

sbuilder.addAggregation(teamAgg.subAggregation(posAgg));

SearchResponse response = sbuilder.execute().actionGet();

max/min/sum/avg

例如要计算每个球队年龄最大/最小/总/平均的球员年龄，如果使用SQL语句，应表达如下：

select team, max(age) as max_age from player group by team;

ES的java api：

TermsBuilder teamAgg= AggregationBuilders.terms("player_count ").field("team");

MaxBuilder ageAgg= AggregationBuilders.max("max_age").field("age");

sbuilder.addAggregation(teamAgg.subAggregation(ageAgg));

SearchResponse response = sbuilder.execute().actionGet();

对多个field求max/min/sum/avg

例如要计算每个球队球员的平均年龄，同时又要计算总年薪，如果使用SQL语句，应表达如下：

select team, avg(age)as avg_age, sum(salary) as total_salary from player group by team;

ES的java api：

TermsBuilder teamAgg= AggregationBuilders.terms("team");

AvgBuilder ageAgg= AggregationBuilders.avg("avg_age").field("age");

SumBuilder salaryAgg= AggregationBuilders.avg("total_salary ").field("salary");

sbuilder.addAggregation(teamAgg.subAggregation(ageAgg).subAggregation(salaryAgg));

SearchResponse response = sbuilder.execute().actionGet();

聚合后对Aggregation结果排序

例如要计算每个球队总年薪，并按照总年薪倒序排列，如果使用SQL语句，应表达如下：

select team, sum(salary) as total_salary from player group by team order by total_salary desc;

ES的java api：

TermsBuilder teamAgg= AggregationBuilders.terms("team").order(Order.aggregation("total_salary ", false);

SumBuilder salaryAgg= AggregationBuilders.avg("total_salary ").field("salary");

sbuilder.addAggregation(teamAgg.subAggregation(salaryAgg));

SearchResponse response = sbuilder.execute().actionGet();

需要特别注意的是，排序是在TermAggregation处执行的，Order.aggregation函数的第一个参数是aggregation的名字，第二个参数是boolean型，true表示正序，false表示倒序。

Aggregation结果条数的问题

默认情况下，search执行后，仅返回10条聚合结果，如果想反悔更多的结果，需要在构建TermsBuilder 时指定size：

TermsBuilder teamAgg= AggregationBuilders.terms("team").size(15);

Aggregation结果的解析/输出

得到response后：

Map<String, Aggregation> aggMap = response.getAggregations().asMap();

StringTerms teamAgg= (StringTerms) aggMap.get("keywordAgg");

Iterator<Bucket> teamBucketIt = teamAgg.getBuckets().iterator();

while (teamBucketIt .hasNext()) {

Bucket buck = teamBucketIt .next();

//球队名

String team = buck.getKey();

//记录数

long count = buck.getDocCount();

//得到所有子聚合

Map subaggmap = buck.getAggregations().asMap();

//avg值获取方法

double avg_age= ((InternalAvg) subaggmap.get("avg_age")).getValue();

//sum值获取方法

double total_salary = ((InternalSum) subaggmap.get("total_salary")).getValue();

//...

//max/min以此类推

}

总结

综上，聚合操作主要是调用了SearchRequestBuilder的addAggregation方法，通常是传入一个TermsBuilder，子聚合调用TermsBuilder的subAggregation方法，可以添加的子聚合有TermsBuilder、SumBuilder、AvgBuilder、MaxBuilder、MinBuilder等常见的聚合操作。

从实现上来讲，SearchRequestBuilder在内部保持了一个私有的 SearchSourceBuilder实例， SearchSourceBuilder内部包含一个List<AbstractAggregationBuilder>，每次调用addAggregation时会调用 SearchSourceBuilder实例，添加一个AggregationBuilder。
同样的，TermsBuilder也在内部保持了一个List<AbstractAggregationBuilder>，调用addAggregation方法（来自父类addAggregation）时会添加一个AggregationBuilder。有兴趣的读者也可以阅读源码的实现。

如果有什么问题，欢迎一起讨论，如果文中有什么错误，欢迎批评指正。

注：文中使用的Elastic Search API版本为2.3.2

继续阅读 »

以球员信息为例，player索引的player type包含5个字段，姓名，年龄，薪水，球队，场上位置。
index的mapping为：

"mappings": {

	"player": {

		"properties": {

			"name": {

				"index": "not_analyzed",

				"type": "string"

			},

			"age": {

				"type": "integer"

			},

			"salary": {

				"type": "integer"

			},

			"team": {

				"index": "not_analyzed",

				"type": "string"

			},

			"position": {

				"index": "not_analyzed",

				"type": "string"

			}

		},

		"_all": {

			"enabled": false

		}

	}

}

索引中的全部数据：

首先，初始化Builder：

SearchRequestBuilder sbuilder = client.prepareSearch("player").setTypes("player");

接下来举例说明各种聚合操作的实现方法，因为在es的api中，多字段上的聚合操作需要用到子聚合(subAggregation)，初学者可能找不到方法（网上资料比较少，笔者在这个问题上折腾了两天，最后度了源码才彻底搞清楚T_T），后边会特意说明多字段聚合的实现方法。另外，聚合后的排序也会单独说明。

group by/count

例如要计算每个球队的球员数，如果使用SQL语句，应表达如下：

select team, count(*) as player_count from player group by team;

ES的java api：

TermsBuilder teamAgg= AggregationBuilders.terms("player_count ").field("team");

sbuilder.addAggregation(teamAgg);

SearchResponse response = sbuilder.execute().actionGet();

group by多个field

例如要计算每个球队每个位置的球员数，如果使用SQL语句，应表达如下：

select team, position, count(*) as pos_count from player group by team, position;

ES的java api：

TermsBuilder teamAgg= AggregationBuilders.terms("player_count ").field("team");

TermsBuilder posAgg= AggregationBuilders.terms("pos_count").field("position");

sbuilder.addAggregation(teamAgg.subAggregation(posAgg));

SearchResponse response = sbuilder.execute().actionGet();

max/min/sum/avg

例如要计算每个球队年龄最大/最小/总/平均的球员年龄，如果使用SQL语句，应表达如下：

select team, max(age) as max_age from player group by team;

ES的java api：

TermsBuilder teamAgg= AggregationBuilders.terms("player_count ").field("team");

MaxBuilder ageAgg= AggregationBuilders.max("max_age").field("age");

sbuilder.addAggregation(teamAgg.subAggregation(ageAgg));

SearchResponse response = sbuilder.execute().actionGet();

对多个field求max/min/sum/avg

例如要计算每个球队球员的平均年龄，同时又要计算总年薪，如果使用SQL语句，应表达如下：

select team, avg(age)as avg_age, sum(salary) as total_salary from player group by team;

ES的java api：

TermsBuilder teamAgg= AggregationBuilders.terms("team");

AvgBuilder ageAgg= AggregationBuilders.avg("avg_age").field("age");

SumBuilder salaryAgg= AggregationBuilders.avg("total_salary ").field("salary");

sbuilder.addAggregation(teamAgg.subAggregation(ageAgg).subAggregation(salaryAgg));

SearchResponse response = sbuilder.execute().actionGet();

聚合后对Aggregation结果排序

例如要计算每个球队总年薪，并按照总年薪倒序排列，如果使用SQL语句，应表达如下：

select team, sum(salary) as total_salary from player group by team order by total_salary desc;

ES的java api：

TermsBuilder teamAgg= AggregationBuilders.terms("team").order(Order.aggregation("total_salary ", false);

SumBuilder salaryAgg= AggregationBuilders.avg("total_salary ").field("salary");

sbuilder.addAggregation(teamAgg.subAggregation(salaryAgg));

SearchResponse response = sbuilder.execute().actionGet();

需要特别注意的是，排序是在TermAggregation处执行的，Order.aggregation函数的第一个参数是aggregation的名字，第二个参数是boolean型，true表示正序，false表示倒序。

Aggregation结果条数的问题

默认情况下，search执行后，仅返回10条聚合结果，如果想反悔更多的结果，需要在构建TermsBuilder 时指定size：

TermsBuilder teamAgg= AggregationBuilders.terms("team").size(15);

Aggregation结果的解析/输出

得到response后：

Map<String, Aggregation> aggMap = response.getAggregations().asMap();

StringTerms teamAgg= (StringTerms) aggMap.get("keywordAgg");

Iterator<Bucket> teamBucketIt = teamAgg.getBuckets().iterator();

while (teamBucketIt .hasNext()) {

Bucket buck = teamBucketIt .next();

//球队名

String team = buck.getKey();

//记录数

long count = buck.getDocCount();

//得到所有子聚合

Map subaggmap = buck.getAggregations().asMap();

//avg值获取方法

double avg_age= ((InternalAvg) subaggmap.get("avg_age")).getValue();

//sum值获取方法

double total_salary = ((InternalSum) subaggmap.get("total_salary")).getValue();

//...

//max/min以此类推

}

总结

综上，聚合操作主要是调用了SearchRequestBuilder的addAggregation方法，通常是传入一个TermsBuilder，子聚合调用TermsBuilder的subAggregation方法，可以添加的子聚合有TermsBuilder、SumBuilder、AvgBuilder、MaxBuilder、MinBuilder等常见的聚合操作。

从实现上来讲，SearchRequestBuilder在内部保持了一个私有的 SearchSourceBuilder实例， SearchSourceBuilder内部包含一个List<AbstractAggregationBuilder>，每次调用addAggregation时会调用 SearchSourceBuilder实例，添加一个AggregationBuilder。
同样的，TermsBuilder也在内部保持了一个List<AbstractAggregationBuilder>，调用addAggregation方法（来自父类addAggregation）时会添加一个AggregationBuilder。有兴趣的读者也可以阅读源码的实现。

如果有什么问题，欢迎一起讨论，如果文中有什么错误，欢迎批评指正。

注：文中使用的Elastic Search API版本为2.3.2

收起阅读 »

成都地区Elastic中文社区线下活动通知公告！！！

Elastic中文社区技术沙龙【成都站】即将开始咯！
Elastic 中文社区联手成都卡莱博尔信息技术股份有限公司共同举办线下技术分享会，欢迎对elastic、搜索引擎、大数据等相关技术感兴趣的朋友来参加。
卡莱博尔是一家以“大数据、移动智能和认知计算”技术为核心的高新技术企业，公司坐落于成都市高新区天府五街，致力于成为中国高端装备产业大数据应用产品和服务提供商，主要为“国防军工、民用航空、先进船舶、轨道交通、电力能源”等装备行业，提供基于装备运行全生命周期故障预测与健康管理相关的大数据技术支撑和运营服务。
ElasticSearch（下文简称ES）是当前流行的企业级搜索引擎，它提供了一个分布式多用户能力的全文搜索引擎。大数据时代ES能够提供简单易用的方式帮助企业从大型数据库中快速提取有效信息进行分析。
主办方：elastic中文社区 http://elasticsearch.cn/article/101
协办方：成都卡莱博尔信息技术股份有限公司 http://www.cdcalabar.com

活动信息：
活动时间：2016年10月29日下午13:00-17:30（本周六）
活动地点：成都市高新区天府软件园E区1栋10楼 成都卡莱博尔信息技术股份有限公司多功能会议厅
（活动地点如有变化，会提前通知）
场地容量：60人
活动费用：免费
交通信息：地铁1号线天府五街站下车 E区1栋10楼

分享主题:
（1）ES 在多维分析中的使用 —— 李峰@ logicmonitor logicmonitor数据平台高级工程师
专注于hadoop生态系统相关实数数据的存储计算
（2）ElasticStack V5 新特性与变化 —— Medcl@elastic Elastic中文社区创始人和布道师
ElasticStack包括Elasticsearch、Logstash、Kibana和Beats，ElasticStack将在过段时间发布一个V5.0全新版本，这次的分享将给大家介绍一下5.0版里面各个产品的一些新的特性和改进。曾勇是Elasticsearch国内首批用户，自2010年起就开始接触Elasticsearch并投入到生产环境中使用，并编写过一系列的中文处理相关的插件，是Elasticsearch中文社区发起人，筹办了一系列线上线下的Elasticsearch技术分享与交流活动，出于对Elasticsearch的喜爱，目前已全职加入Elasticsearch项目背后的Elastic公司。
（3）探究ES的内部存储结构 —— 林添@ logicmonitor logicmonitor后端高级工程师

PPT资料链接：[url=https://github.com/rudyLi/es-chengdu-meetup-share]https://github.com/rudyLi/es-chengdu-meetup-share[/url]

报名方式：
（1）报名连接：http://www.jsform.com/web/form ... fc6a6
（2）扫描下面微信二维码加入成都Elastic微信群，无法扫描的同学加我微信(xcx_2013)，我来拉你进群。电话：15008467351

真诚邀请对elastic技术、搜索引擎技术、大数据存储索引可视化、大数据分析、日志分析等技术感兴趣的朋友前来交流和分享。

继续阅读 »

Elastic中文社区技术沙龙【成都站】即将开始咯！
Elastic 中文社区联手成都卡莱博尔信息技术股份有限公司共同举办线下技术分享会，欢迎对elastic、搜索引擎、大数据等相关技术感兴趣的朋友来参加。
卡莱博尔是一家以“大数据、移动智能和认知计算”技术为核心的高新技术企业，公司坐落于成都市高新区天府五街，致力于成为中国高端装备产业大数据应用产品和服务提供商，主要为“国防军工、民用航空、先进船舶、轨道交通、电力能源”等装备行业，提供基于装备运行全生命周期故障预测与健康管理相关的大数据技术支撑和运营服务。
ElasticSearch（下文简称ES）是当前流行的企业级搜索引擎，它提供了一个分布式多用户能力的全文搜索引擎。大数据时代ES能够提供简单易用的方式帮助企业从大型数据库中快速提取有效信息进行分析。
主办方：elastic中文社区 http://elasticsearch.cn/article/101
协办方：成都卡莱博尔信息技术股份有限公司 http://www.cdcalabar.com

活动信息：
活动时间：2016年10月29日下午13:00-17:30（本周六）
活动地点：成都市高新区天府软件园E区1栋10楼 成都卡莱博尔信息技术股份有限公司多功能会议厅
（活动地点如有变化，会提前通知）
场地容量：60人
活动费用：免费
交通信息：地铁1号线天府五街站下车 E区1栋10楼

分享主题:
（1）ES 在多维分析中的使用 —— 李峰@ logicmonitor logicmonitor数据平台高级工程师
专注于hadoop生态系统相关实数数据的存储计算
（2）ElasticStack V5 新特性与变化 —— Medcl@elastic Elastic中文社区创始人和布道师
ElasticStack包括Elasticsearch、Logstash、Kibana和Beats，ElasticStack将在过段时间发布一个V5.0全新版本，这次的分享将给大家介绍一下5.0版里面各个产品的一些新的特性和改进。曾勇是Elasticsearch国内首批用户，自2010年起就开始接触Elasticsearch并投入到生产环境中使用，并编写过一系列的中文处理相关的插件，是Elasticsearch中文社区发起人，筹办了一系列线上线下的Elasticsearch技术分享与交流活动，出于对Elasticsearch的喜爱，目前已全职加入Elasticsearch项目背后的Elastic公司。
（3）探究ES的内部存储结构 —— 林添@ logicmonitor logicmonitor后端高级工程师

PPT资料链接：[url=https://github.com/rudyLi/es-chengdu-meetup-share]https://github.com/rudyLi/es-chengdu-meetup-share[/url]

报名方式：
（1）报名连接：http://www.jsform.com/web/form ... fc6a6
（2）扫描下面微信二维码加入成都Elastic微信群，无法扫描的同学加我微信(xcx_2013)，我来拉你进群。电话：15008467351

真诚邀请对elastic技术、搜索引擎技术、大数据存储索引可视化、大数据分析、日志分析等技术感兴趣的朋友前来交流和分享。
收起阅读 »

如何反向设置es mapping template

比如，由logstash打到es中的数据，除了其中一个字段比如message，其余字段都想设置为not analyzed,这种情况如何设置？貌似目前es只支持设置那些具体的字段为not analyzed，而不能反过来设置啊？

继续阅读 »

Elastic中文社区【深圳】第一次线下活动开始报名啦！

Elastic中文社区技术沙龙【深圳站】

主办方：elastic中文社区 http://elasticsearch.cn/article/99
协办方：vivo移动互联网中心 [url=http://www.vivo.com.cn]http://www.vivo.com.cn [/url]

PPT 下载： https://github.com/node/esmeetup-shenzhen2016

活动现场：

活动信息：

活动时间：2016年9月10日下午13:00
活动地点：深圳市福田区上梅林地铁站安得街89号步步高大楼1楼
场地容量：100人
活动费用：免费 ( 现场有福利派发 : )
交通信息：地铁4号龙华线上梅林站，公交万科大厦站
参考地标：梅林天虹西侧，卓越城对面

报名方式：

报名链接：http://biaodan100.com/web/form ... 4e1e4
或者扫码二维码：

真诚邀请对elastic技术栈，搜索引擎技术，大数据存储索引可视化，日志分析等技术感兴趣的朋友前来交流和分享。

分享主题：

ElasticStack V5 新特性与变化 By 曾勇@elastic Elastic开发工程师与技术布道师ElasticStack包括Elasticsearch、Logstash、Kibana和Beats，ElasticStack将在过段时间发布一个V5.0全新版本，这次的分享将给大家介绍一下5.0版里面各个产品的一些新的特性和改进。曾勇是Elasticsearch国内首批用户，自2010年起就开始接触Elasticsearch并投入到生产环境中使用，并编写过一系列的中文处理相关的插件，是Elasticsearch中文社区发起人，筹办了一系列线上线下的Elasticsearch技术分享与交流活动，出于对Elasticsearch的喜爱，目前已全职加入Elasticsearch项目背后的Elastic公司。
ELK应用 --- 一卡易实时日志分析平台 By 夏小成@一卡易一线码农目前一卡易实时日志分析平台汇集了包括windows事务日志、linux日志、haproxy访问日志、业务数据库审计日志和大数据平台日志，为一卡易数十个产品线提供了便捷的日志检索和分析服务。未来我们会把elasticsearch逐渐引入到我们的业务系统，更深层次挖掘她的魅力。
构建数据驱动的动画工作室 - es及ELK实践 By 赵昆@东方梦工厂 IT与数据系统工程师
京东日志系统es运维经验分享及es源码改造实践 By 成睿 @京东曾负责京东日志系统的搜索平台，目前负责京东到家商品搜索平台。介绍京东日志系统es的一些运维经验和我2次改es源代码的实践。

----------------------------------------------------------------------------------
联络邮件： nodexy@qq.com 或者直接站内私信。----------------------------------------------------------------------------------

继续阅读 »

Elastic中文社区技术沙龙【深圳站】

主办方：elastic中文社区 http://elasticsearch.cn/article/99
协办方：vivo移动互联网中心 [url=http://www.vivo.com.cn]http://www.vivo.com.cn [/url]

PPT 下载： https://github.com/node/esmeetup-shenzhen2016

活动现场：

活动信息：

活动时间：2016年9月10日下午13:00
活动地点：深圳市福田区上梅林地铁站安得街89号步步高大楼1楼
场地容量：100人
活动费用：免费 ( 现场有福利派发 : )
交通信息：地铁4号龙华线上梅林站，公交万科大厦站
参考地标：梅林天虹西侧，卓越城对面

报名方式：

报名链接：http://biaodan100.com/web/form ... 4e1e4
或者扫码二维码：

真诚邀请对elastic技术栈，搜索引擎技术，大数据存储索引可视化，日志分析等技术感兴趣的朋友前来交流和分享。

分享主题：

ElasticStack V5 新特性与变化 By 曾勇@elastic Elastic开发工程师与技术布道师ElasticStack包括Elasticsearch、Logstash、Kibana和Beats，ElasticStack将在过段时间发布一个V5.0全新版本，这次的分享将给大家介绍一下5.0版里面各个产品的一些新的特性和改进。曾勇是Elasticsearch国内首批用户，自2010年起就开始接触Elasticsearch并投入到生产环境中使用，并编写过一系列的中文处理相关的插件，是Elasticsearch中文社区发起人，筹办了一系列线上线下的Elasticsearch技术分享与交流活动，出于对Elasticsearch的喜爱，目前已全职加入Elasticsearch项目背后的Elastic公司。
ELK应用 --- 一卡易实时日志分析平台 By 夏小成@一卡易一线码农目前一卡易实时日志分析平台汇集了包括windows事务日志、linux日志、haproxy访问日志、业务数据库审计日志和大数据平台日志，为一卡易数十个产品线提供了便捷的日志检索和分析服务。未来我们会把elasticsearch逐渐引入到我们的业务系统，更深层次挖掘她的魅力。
构建数据驱动的动画工作室 - es及ELK实践 By 赵昆@东方梦工厂 IT与数据系统工程师
京东日志系统es运维经验分享及es源码改造实践 By 成睿 @京东曾负责京东日志系统的搜索平台，目前负责京东到家商品搜索平台。介绍京东日志系统es的一些运维经验和我2次改es源代码的实践。

----------------------------------------------------------------------------------
联络邮件： nodexy@qq.com 或者直接站内私信。----------------------------------------------------------------------------------

收起阅读 »

kibana使用echarts

最近被催着要在kibana里加入关系图（社交网络类似的），然后百度的echarts支持关系图。之前一直以为修改kibana加入echarts会很难（因为node我不会，angularjs我也不会。。。），直到今天被逼要在几天之内加入关系图，我发现，加入echarts真的不太难！
我的做法是
①cd 进kibana的根目录，然后vim package.json,在dependencies中加入"echarts":"3.2.2"(key value结构，3.2.2是echarts最新版本)
②在kibana根目录使用npm update命令，会自动下载echats.
③npm start 开启debug模式
④在要修改的js 文件中加入let echarts=requrie("echarts");即可调用echarts进行开发了！

继续阅读 »

在一个Elasticsearch集群中可以使用过个版本数据节点共存吗？

我们现在Elasticsearch的版本较老，然后数据量比较大，我不知道有平滑升级的方案不？如果有，该怎么做？如果没有，我是否可以把新版本的节点加入到老版本的集群中使用，两个版本共存，然后最后老数据删除，老版本的数据节点也就删除了，想问一下我想的方案是否可行？

两个版本共存在一个集群中，会出现哪些可预知的问题？还希望了解的同学回答一下？谢谢！

继续阅读 »

laravel5.2 & es2.3.4 Demo

http://laravel.fuxiben.com/elastic 测试地址
https://github.com/zhuowenji/Laravel5.2-Demo github地址

搞了一晚上，头疼，高亮，分页，高级搜索还没搞。大家有建议或者 demo的一起分享下！

继续阅读 »

Day2:《Kibana 系漫游指南》

Day1: 大规模Elasticsearch集群管理心得

java客户端连接es5.0（基于xpack安全管理）

Pandasticsearch: An Elasticsearch client exposing DataFrame API

Elastic Advent Calendar 活动启动咯！

Elastic Stack 5.0 正式发布

elasticsearch-analysis-pinyin更新至es2.4.1和5.0.0-rc1

Elastic{ON} Dev China 2016 开始报名了！

ElasticSearch java API - 聚合查询

成都地区Elastic中文社区线下活动通知公告！！！

如何反向设置es mapping template

Elastic中文社区【深圳】第一次线下活动开始报名啦！

kibana使用echarts

在一个Elasticsearch集群中可以使用过个版本数据节点共存吗？

laravel5.2 & es2.3.4 Demo

活动推荐

热门文章

热门话题