elasticsearch 6.x php-client

回复

Elasticsearchmrxiaosen 发起了问题 • 1 人关注 • 0 个回复 • 17 次浏览 • 7 小时前 • 来自相关话题

Elastic日报 第363期 (2018-08-14)

Elastic日报kimichen123 发表了文章 • 0 个评论 • 64 次浏览 • 9 小时前 • 来自相关话题

1.你应该在MadCap Flare中使用Elasticsearch进行模糊匹配吗?
http://t.cn/RDRY7EB
2.使用Elasticsearch 6.3 Rollup 合并旧日志。
http://t.cn/Rdr8LIZ
3.Ub​untu 搭建 Elasticsearch 6 集群流程​。
http://t.cn/RDRYbjM

活动预告:
Elastic 中国开发者大会预热票发售进行中
https://conf.elasticsearch.cn/2018/shenzhen.html
 
编辑:叮咚光军
归档:https://elasticsearch.cn/article/755
订阅:https://tinyletter.com/elastic-daily

kibana 的coordinate map模式下,怎么设置中国位置为默认位置,而不是世界地图

回复

Kibanasun_changlong 发起了问题 • 1 人关注 • 0 个回复 • 58 次浏览 • 6 天前 • 来自相关话题

未定义本地变量或者方法错误

回复

Logstashwhosyddy 发起了问题 • 1 人关注 • 0 个回复 • 43 次浏览 • 6 天前 • 来自相关话题

Mmap fs可能让大索引访问变得缓慢

Elasticsearchkennywu76 发表了文章 • 0 个评论 • 50 次浏览 • 1 天前 • 来自相关话题

在一年多以前,我写过Elasticsearch 5 入坑指南一文,其中提到将生产的某个ES集群从2.4升级到5.0以后, 冷数据结点搜索性能变差,对大索引进行搜索的时候,io read会长时间飙高,导致系统load很重,甚至到无法响应的程度。
 
通过进一步分析,用Linux下的Sar -B命令,可以看到有大量的数据被pagein到内存。 虽然通过“试”的方法,定位到这个问题和5.0开始使用的mmap fs有关联,并且通过更改为nio fs以后得到解决,但问题的底层根源一直没找到。 
 
近期有空重新去看了一下这个问题, 在Github上发现一个对os底层更熟悉的人提交并分析了类似的问题 Avoid file cache trashing on Linux with mmapfs by using madvise 。  细读之后,感觉该文抓到了问题的本质,以下基于该文做个总结:
  1. mmap fs对比nio fs,省去了磁盘io上的系统调用,并且不需要在jvm内部做io缓存,也减轻了GC压力。 所以通常来说,mmapfs的性能应该更高。 这也是为什么lucene推荐使用mmap fs,并且ES从5.0开始做为默认的store配置的原因。
  2. 然而,mmap系统调用,在内核层面默认会有一个2MB的预读大小设置,也就是说,当映射了一个大文件以后,即使读取其中1k个字节,mmap也会预读取2MB的数据到缓存。 这种策略是基于文件的访问大多数是顺序的假设。
  3. 在ES这个特定的应用场景,如果某数据结点上索引不是很大,系统剩余缓存也足够,一般不会有问题。但是如果是大数据应用场景,典型的如海量的日志ELK应用,则可能对大索引的搜索聚合,产生较多的随机磁盘访问。 从而mmap的预读策略,可能会导致大量的无用数据从磁盘读取到系统缓存。 在系统可用的缓存不是非常宽裕的情况下,某些极端场景下,会导致热数据被过于频繁的踢出内存,再反复读入,让磁盘IO不堪重负。
  4. Lucene有一个NativePosixUtil.madvise(buffer,NativePosixUtil.RANDOM)的native调用,可以用于指导内核对mmap过的文件做读取的时候,禁用预读。 上文作者将该调用hack进lucene代码,做搜索对比测试。 结论是对于磁盘io和cache的消耗,niofs都要好于mmapfs,而patch过的mmapfs则比niofs更好。
  5. 作者的测试仅限于搜索,对于其他类型的io操作,如写入,merge没有做过详尽测试,因此不清楚利弊。
  6. ES官方开发人员认为这是一个有趣的发现,值得深入去探究。对于用户报告的mmap fs性能比nio fs更差的问题,猜测可能是在大索引读取的场景下,预读带来的额外开销,抵消了相对niofs节省的系统调用等开销。 
  7. ES官方提到Lucene已经有一种类似功能的store,叫做NativeUnixDirectory(显然ES目前还没有对这种store的支持),用户动手能力强的话,应该可以利用这个store自己写一个ES plugin。 另外提到JAVA 10提供了O_DIRECT to streams / channels ,似乎官方打算等这个出来以后再看怎么处理这个问题。
  8. 要注意,这个预读是mmap层面的,和块设备的预读是两回事。 我们曾经尝试过使用 blockdev --setra 这个linux命令取消块设备预读,证实无法解决这个问题。

 
结论: 如果ES结点上会存放海量的索引数据,经常会有大索引(如1TB+)的搜索聚合操作,使用NIOFS会更安全,可以避免很多怪异的性能问题。
 

Elastic日报 第357期 (2018-08-08)

Elastic日报elk123 发表了文章 • 0 个评论 • 107 次浏览 • 5 天前 • 来自相关话题

1.kibana插件Logtrail终端式体验。
http://t.cn/RDMgCLh
2.es集群启动流程。
http://t.cn/RDMkAsX
3.es搜索优化。
http://t.cn/RDMkDSv

活动预告
1. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
https://conf.elasticsearch.cn/2018/shenzhen.html 

编辑:wt
归档:https://elasticsearch.cn/article/747
订阅:https://tinyletter.com/elastic-daily

有北京招ES人员的么?

回复

求职招聘zqc0512 发起了问题 • 1 人关注 • 0 个回复 • 101 次浏览 • 5 天前 • 来自相关话题

cluster.routing.allocation.cluster_concurrent_rebalance 问题

回复

Elasticsearchredhat 发起了问题 • 1 人关注 • 0 个回复 • 31 次浏览 • 5 天前 • 来自相关话题

logstash6.2.4 多日志路径收集

回复

Logstashtt11403 发起了问题 • 2 人关注 • 0 个回复 • 52 次浏览 • 5 天前 • 来自相关话题

Elastic日报 第362期 (2018-08-13)

Elastic日报cyberdak 发表了文章 • 0 个评论 • 85 次浏览 • 1 天前 • 来自相关话题

1.来自AWS的ES报警设置实践。
http://t.cn/RDTns2Y
2.利用HDFS备份实现 Elasticsearch 容灾。
http://t.cn/RDT3UHT
3.360私有云平台Elasticsearch服务初探。
http://t.cn/RYDV14C
 
活动预告:
Elastic 中国开发者大会预热票发售进行中
https://conf.elasticsearch.cn/2018/shenzhen.html
 
编辑:cyberdak
归档:https://elasticsearch.cn/article/753
订阅:https://tinyletter.com/elastic-daily

Elastic日报 第361期 (2018-08-12)

Elastic日报至尊宝 发表了文章 • 0 个评论 • 94 次浏览 • 2 天前 • 来自相关话题

1.(自备梯子)ELK Stack 详细配置。
http://t.cn/RDWHBvW
2.Elasticsearch安全性:身份验证,加密,备份。
http://t.cn/RDWl15I
3.(自备梯子)数据科学中必备的数学知识。
http://t.cn/RDWYsfF

活动预告:
Elastic 中国开发者大会预热票发售进行中 
https://conf.elasticsearch.cn/2018/shenzhen.html

编辑:至尊宝
归档:https://elasticsearch.cn/article/752
订阅:https://tinyletter.com/elastic-daily

请问:查找nested里的记录数大于100的脚本应该怎么写?如果改成child应该怎么写呢?

回复

Elasticsearchmyst 发起了问题 • 1 人关注 • 0 个回复 • 48 次浏览 • 5 天前 • 来自相关话题

Elastic日报 第360期 (2018-08-11)

Elastic日报bsll 发表了文章 • 0 个评论 • 73 次浏览 • 3 天前 • 来自相关话题

  1. 如何根据自己的日志记录来选择ES集群结构?
    [http://t.cn/RDpOkya](http://t.cn/RDpOkya)

  2. 一款计算向量相似度的插件。
    [http://t.cn/R6Nt4X3](http://t.cn/R6Nt4X3)

  3. 让 Kibana 支持 Nested document的插件。
    [http://t.cn/RDIeIbq](http://t.cn/RDIeIbq)

    活动预告
  4. 活动预告:Elastic 中国开发者大会预热票发售进行中
    https://conf.elasticsearch.cn/2018/shenzhen.html

Elastic日报 第358期 (2018-08-09)

Elastic日报白衬衣 发表了文章 • 0 个评论 • 67 次浏览 • 4 天前 • 来自相关话题

1.探讨ES的long_range,date_range类型,可能不仅只是语法糖
http://t.cn/RDXKwq7
2.Elasticsearch 6.3 X-PACK SQL 简述
http://t.cn/RDXKUPs
3.如何建设高吞吐量的日志平台
http://t.cn/RDXK5On

活动预告
1. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
https://conf.elasticsearch.cn/2018/shenzhen.html 
 
编辑:金桥
归档:https://elasticsearch.cn/article/748
订阅:https://tinyletter.com/elastic-daily

index.cache.field.type在ES5.5.0中如何设置

回复

ElasticsearchLXJ 发起了问题 • 1 人关注 • 0 个回复 • 50 次浏览 • 4 天前 • 来自相关话题