不为失败找理由,要为成功找方法。

ES对于一个较小索引(几万doc,几十M大小)主分片设置多少合适?

Elasticsearchzqc0512 回复了问题 • 4 人关注 • 3 个回复 • 7273 次浏览 • 2018-11-20 09:52 • 来自相关话题

Nested嵌套的index 怎么导数据?

Elasticsearchlaoyang360 回复了问题 • 3 人关注 • 1 个回复 • 2497 次浏览 • 2018-11-19 20:48 • 来自相关话题

ES稀疏数据,怎么合理设置索引分片?

Elasticsearchrojay 回复了问题 • 1 人关注 • 1 个回复 • 3298 次浏览 • 2018-11-19 17:24 • 来自相关话题

腾讯云Elasticsearch团队招聘高级后台开发工程师 base深圳

求职招聘unpeeled_onion 发表了文章 • 0 个评论 • 3633 次浏览 • 2018-11-19 16:23 • 来自相关话题


Elasticsearch相关产品的新功能设计、开发、运营和维护工作;
 跟进研究业界前沿技术,推动产品技术升级。
岗位要求:
编程能力扎实,熟悉Java/C++中的一种,具有良好的数据结构、算法、操作系统等计算机基本知识;
 熟悉ElasticSearch/Lucene开源系统,有实际开发经验者优先;
 熟悉Hadoop、HBase、InfluxDB等开源系统,有云计算相关开发经验者优先;
 具有敏捷开发、完整产品生命周期开发者优先;
 学习能力强,善于独立思考,思维活跃,对技术有强烈激情。
 
请发简历至:360608805@qq.com
 

Elasticsearch相关产品的新功能设计、开发、运营和维护工作;
 跟进研究业界前沿技术,推动产品技术升级。
岗位要求:
编程能力扎实,熟悉Java/C++中的一种,具有良好的数据结构、算法、操作系统等计算机基本知识;
 熟悉ElasticSearch/Lucene开源系统,有实际开发经验者优先;
 熟悉Hadoop、HBase、InfluxDB等开源系统,有云计算相关开发经验者优先;
 具有敏捷开发、完整产品生命周期开发者优先;
 学习能力强,善于独立思考,思维活跃,对技术有强烈激情。
 
请发简历至:360608805@qq.com
 

kibana绘制柱状图,如何在每根柱上显示具体的数值

KibanaTanzezhi 回复了问题 • 3 人关注 • 1 个回复 • 2096 次浏览 • 2018-12-02 11:35 • 来自相关话题

ES批量插入可以使用别名插入吗

Elasticsearchrochy 回复了问题 • 5 人关注 • 3 个回复 • 4917 次浏览 • 2018-11-19 17:15 • 来自相关话题

按条件提取index里面指定的数据,然后在转存到新的index里面。

Elasticsearchzz_hello 回复了问题 • 3 人关注 • 1 个回复 • 2537 次浏览 • 2018-11-19 16:02 • 来自相关话题

怎么用kibana按照时间删除索引里部分数据

Kibanazqc0512 回复了问题 • 2 人关注 • 2 个回复 • 1862 次浏览 • 2018-11-19 15:33 • 来自相关话题

社区日报 第453期 (2018-11-19)

社区日报cyberdak 发表了文章 • 0 个评论 • 1650 次浏览 • 2018-11-19 12:51 • 来自相关话题

1. 使用elasticsearch来分析北京租房数据
http://t.cn/E2aQmeA
2. 如何租到靠谱的房子?Scrapy爬虫帮你一网打尽各平台租房信息!
http://t.cn/E2a8AoX
3. 理解elasticsearch的parent-child关系
http://t.cn/E2a89kd

编辑:cyberdak
归档:https://elasticsearch.cn/article/6146
订阅:https://tinyletter.com/elastic-daily

match_phrase_prefix出现无法命中的情况,谁可以帮忙解答一下?

Elasticsearchzz_hello 回复了问题 • 2 人关注 • 1 个回复 • 3302 次浏览 • 2018-11-19 13:14 • 来自相关话题

海量科技股份有限公司ES中文插件

Elasticsearchnovia 发表了文章 • 6 个评论 • 3962 次浏览 • 2018-11-19 11:31 • 来自相关话题

海量分词是天津海量信息技术股份有限公司自主研发的中文分词核心,已于2018年7月将分词5.0版免费开放,欢迎试用。
 
海量分词演示界面 http://www.hailiangxinxi.com/smartCenter2018/index

另外,海量提供免费API接口,文档详见http://www.hailiangxinxi.com/smartCenter2018/doc,欢迎大家试用,如有疑问,请联系nlp@hylanda.com

Analyzer: hlseg_search , hlseg_large , hlseg_normal, Tokenizer: hlseg_search , hlseg_large , hlseg_normal
 
github地址:https://github.com/HylandaOpen ... ME.md

rest full scorll 查询 传参问题

Elasticsearchrochy 回复了问题 • 2 人关注 • 1 个回复 • 3159 次浏览 • 2018-11-19 11:12 • 来自相关话题

查询几次后,es占用的内存大于heapsize

Elasticsearchzqc0512 回复了问题 • 4 人关注 • 2 个回复 • 3877 次浏览 • 2018-11-19 16:45 • 来自相关话题

ET007 ElasticStack 6.5 介绍

ElasticsearchLeon J 发表了文章 • 1 个评论 • 5664 次浏览 • 2018-11-19 09:18 • 来自相关话题

就在 11月14日,ElasticStack 6.5.0 发布了,此次发布带来了许多激动人心的特性,我们一起来体验一下:

![WX20181118-120551@2x](https://ws1.sinaimg.cn/large/0 ... 6u.jpg)

如果没有任何数据,kibana会提示我们导入sample数据,这边我选择Try our sample data, 然后导入全部3个样例数据,这可以让我们在没有数据的情况下快速体验新特性。

Infrastructure & Logs UI


很多用户使用 ElasticStack 收集基础架构的日志和指标,比如系统日志、安全日志、CPU指标,内存指标等等。在6.5中,kibana 侧边栏中增加了 Infrastructure 和 Logs 两个新的 tab,让用户更简单地查看自己的基础架构,和每台主机或者容器里的日志。



logs


进入logs标签页,如果当前没有数据,kibana会引导我们添加数据

![WX20181118-121032@2x](https://ws2.sinaimg.cn/large/0 ... 01.jpg)

我们选择 system logs

![WX20181118-121047@2x](https://ws4.sinaimg.cn/large/0 ... i3.jpg)

根据指示,我们安装部署好filebeat并启动,再次进入 logs 标签页便可以看到收集到的系统日志了

![image-20181118185158451](https://ws1.sinaimg.cn/large/0 ... xw.jpg)

  1. 搜索过滤框:在这里可以像在 discover 里一样写query string,并且会有输入提示
  2. 时间选择框:可以选择需要查看的时间点,如果点了 Stream live,会持续监听尾部新输出的日志内容,类似 linux 命令中的tail -f
  3. 日志时间轴:高亮的部位是当前查看日志所在的时间范围,对应的区域图标识了日志量

    假如我想实现 tail -f /var/log/system.log | grep google.com 一样的效果,可以打开 Stream live,并在搜索过滤框中这样输入:

    ![WX20181118-173432@2x](https://ws3.sinaimg.cn/large/0 ... 4h.jpg)

    很简单,很方便有木有?



    Infrastructure


    同样在kibana的引导下安装 Metric beat,并开启system模块,启动后进入 infrastructure 标签页:

    ![image-20181118190614385](https://ws3.sinaimg.cn/large/0 ... 9i.jpg)

    这里可以直观地看到所有基础架构的指标状况,深色的内层代表主机,颜色代表了健康状况。浅灰色的外层代表了group,因为我只在自己的笔记本上做了部署,所以只能看到一个host。

    ![image-20181118191527060](https://ws4.sinaimg.cn/large/0 ... ep.jpg)

    点击主机会弹出菜单

    • View logs : 跳转到 logs 标签页,并通过搜索过滤框指定host,只查看这台主机的日志。
    • View metrics : 跳转到这台主机的指标详情,可以查看历史数据
      ![shoot](https://ws2.sinaimg.cn/large/0 ... w1.jpg)



      APM


      Java 和 Go


      不负众望,继 Nodejs、Python、Ruby、Javascript 之后,Elastic APM 5.6.0 新增了对 Java 和 Golang 的支持!

      Distributed Tracing


      在 SOA 和 MSA 大行其道的年代,如何追踪请求在各个系统之间的流动成为了apm的关键问题。

      Elastic APM 支持 [OpenTracing](https://opentracing.io/) 标准,并在各个agent里内置了 OpenTracing 兼容的bridge

      以下是官网上该特性的截图:

      ![distributed_tracing](https://ws4.sinaimg.cn/large/0 ... b6.jpg)



      APM Server 监控


      如 ElasticStack的其他产品一般,APM也支持了监控,并可以在 Kinbana Montoring下查看监控信息:

      ![apm_monitoring](https://ws2.sinaimg.cn/large/0 ... ld.jpg)

      APM Server 内存占用优化


      通过新的基于NDJSON的协议,agent可以在采集信息后通过事件流立即发往APM server,这样 APM Server可以一个接一个地处理接收到的事件,而不是一次性地收到一大块(chunk),这样在很大程度上减少了APM Server的内存占用。



      Elasticsearch


      Cross-cluster replication


      这里的副本并非我们平时常见的分片副本,而是通过在集群B配置一个副本indexB来追随集群A中的indexA,indexA中发生的任何变化都会同步到indexB中来。另外也可以配置一个pattern,当集群A出现符合pattern的索引,自动在集群B创建他的副本,这听起来很酷。值得一提的是,这将是[白金版](https://www.elastic.co/subscriptions)里新增的一个特性。



      Minimal Snapshots


      snapshot 是 es 中用来创建索引副本的特性,在之前的版本中,snapshot会把完整的 index 都保存下来,包括原始数据和索引数据等等。新的 Minimal Snapshots 提供了一种只备份 _source 内容和 index metadata,当需要恢复时,需要通过 reindex 操作来完成。最小快照最多可能帮你节省50%的磁盘占用,但是会花费更多的时间来恢复。这个特性可能并不适合所有人,但给恢复窗口比较长,且磁盘容量有限的用户多了一种选择。



      SQL / ODBC


      现在可以使用 支持 ODBC 的第三方工具来连接 elasticsearch 了!我想可以找时间试试用 tableau 直连 elasticsearch会是啥效果。



      Java 11


      Java11 是一个 LTS 版本,相信会有越来越多的用户升级到 java11



      G1GC支持


      经过无数的测试,Elasticsearch官方宣布了在 JDK 10+ 上支持 G1GC。G1GC 相比 CMS有诸多优势,如今可以放心地使用G1GC了。(期待对ZGC的支持!)



      Authorization realm


      X-Pack Security中的新特性,可以对用户认证和用户授权分别配置 realm,比如使用内置的用户体系来认证,再去ldap中获取用户的角色、权限等信息。这也是白金版新增的特性。



      机器学习的新特性


    • 支持在同一个机器学习任务中分析多个时间系列
    • 为机器学习任务添加了新的多分桶(multi-bucket) 分析



      Kibana


      Canvas


      Canvas ! 我在做数据分析师的同学看到之后说太酷了,像 PPT。

      点击侧边栏的 canvas 标签,可以看到我们先前导入的样本数据也包含了 canvas 样例:

      ![WX20181118-210126@2x](https://ws3.sinaimg.cn/large/0 ... 15.jpg)

      在 11月的 深圳开发者大会上,上海普翔 也用 canvas 对填写调查问卷的参会人员做了分析:

      ![UNADJUSTEDNONRAW_thumb_1adc](https://ws2.sinaimg.cn/large/0 ... vw.jpg)

      https://github.com/alexfrancoe ... mples 这里有很多非常不错的 canvas 样例供大家学习,把json文件直接拖到 canvas 页面就可以导入学习了!



      Spaces


      把 kibana 对象(比如 visualizations、dashboards)组织到独立的 space 里,并且通过 RBAC 来控制哪些用户可以访问哪些 space。这实在是太棒了,想象在一个企业里,多个部门通过kibana查询、分析数据,大家关注的dashboard肯定是不一样的,在6.5之前,我们只能通过社区插件来实现这样的需求,而大版本的升级可能直接导致插件不可用,有了 Space,我们不必再担心!

      ![image-20181118212404768](https://ws1.sinaimg.cn/large/0 ... fd.jpg)



      Rollups UI


      Rollup 是 es6.4 中新增的一个特性,用来把一些历史数据压缩归档,用作以后的分析。6.5.0 中 kibana 增加了一个界面用来查看和管理 Rollup 任务。

      ![image9](https://ws3.sinaimg.cn/large/0 ... og.jpg)



      Data visualizer for files


      通过可视化的方式查看文件的结构,查看其中出现最频繁的内容:

      ![highlights_6_5_viz-logs](https://ws4.sinaimg.cn/large/0 ... ez.jpg)



      Beats


      Beats Central Management


      Beats 终于也支持中心化配置管理了!我们只需按照往常一样安装filebeat、metricbeat,然后使用 filebeat enroll <kibana-url> <token>,便可以通过kibana来管理beats的配置、甚至给他们打上tag:

      ![Image from iOS](https://ws1.sinaimg.cn/large/0 ... 0t.jpg)

      想一想,假如我们在上千台机器上部署filebeat,如果哪天需要批量变更配置文件,只需要通过脚本调用配置管理的API就可以了



      Functionbeat


      Functionbeat是一种新的beat类型,可以被部署为一个方法,而不需要跑在服务器环境上,比如 AWS Lambda function。



      以上就是 6.5.0 版本的主要特性,更详细的内容可以查看 https://www.elastic.co/blog/el ... eased ,希望通过我的介绍,可以让大家了解到新版本所带来的激动人心的特性。

      ![Image from iOS](http://p8z8qq24s.bkt.clouddn.c ... 24.png)

es内存占用过高

Elasticsearchrochy 回复了问题 • 3 人关注 • 2 个回复 • 7552 次浏览 • 2018-11-19 09:04 • 来自相关话题