elasticsearch排序java api如何实现根据某字段值不同选择不同字段排序
Elasticsearch • hufuman 回复了问题 • 2 人关注 • 1 个回复 • 4558 次浏览 • 2018-07-05 21:18
filebeat怎么配置日志文件路径,目前有重复数据
Beats • niumore 回复了问题 • 3 人关注 • 3 个回复 • 7331 次浏览 • 2018-07-07 13:41
社区日报 第323期 (2018-07-05)
社区日报 • elk123 发表了文章 • 0 个评论 • 2344 次浏览 • 2018-07-05 13:40
http://t.cn/RBzKP6H
2.使用Beats模块将日志和指标导入ES
http://t.cn/RdLtJJp
3.如何在生产环境中重启Elasticsearch集群
http://t.cn/RdL4oxk
活动预告
1. 7月21日上海meetup演讲申请中
https://elasticsearch.cn/m/article/655
编辑:sterne vencel
归档:https://elasticsearch.cn/article/702
订阅:https://tinyletter.com/elastic-daily
logstash 发送日志内容丢失
Logstash • Fanfan 回复了问题 • 2 人关注 • 1 个回复 • 6105 次浏览 • 2018-07-21 21:06
config文件中filter使用了 ruby解析日志,每次重启logstash,添加新日志,出现异常
回复Logstash • zhulun 发起了问题 • 1 人关注 • 0 个回复 • 2450 次浏览 • 2018-07-05 12:03
elasticsearch5.2.0安装时Could not find any executable java binary.
Elasticsearch • Dm 回复了问题 • 2 人关注 • 1 个回复 • 4363 次浏览 • 2018-07-05 14:42
Kibana TSVB 注解的使用
Kibana • medcl 发表了文章 • 0 个评论 • 8203 次浏览 • 2018-07-05 09:38
昨天介绍了 Kibana 的里程碑插件,举了个用里程碑来展示数据的注解,写完之后,还是觉得这个例子有点不是太好,
第一,里程碑时间轴还是比较独立,和其他时序图形的时间轴对不上,所以看起来,很不好进行参考,虽然可以首先对时间过滤到出现异常的范围,然后再看里程碑图表的信息,不过,这个实在是体验太差了,用里程碑显示独立的里程信息应该是很好的,如果要做数据的注解,有没有更好的办法呢?
答案是有的,以上一个图形展示的 TSVB 来说,TSVB 本来就自带了数据注解的功能,今天我来给大家介绍一下怎么使用。
1. 打开 TSVB 的编辑,转到 Annotations 选项卡
2. 在 Index Patterns 里面设置你要引用的数据,然后设置一个时间字段,此处为 `@timestamp`
3. 设置要显示的 Tag 字段,支持多个,用逗号分隔
4. 设置显示的标签,支持模板, `{{字段名}}`
最后的效果及设置的截图,如下所示:
是不是很简单。
ROOT用户启动ES后出现Too many open files异常
Elasticsearch • qq171563857 回复了问题 • 4 人关注 • 3 个回复 • 7728 次浏览 • 2019-09-02 11:36
社区日报 第323期 (2018-07-05)
社区日报 • sterne vencel 发表了文章 • 0 个评论 • 2325 次浏览 • 2018-07-05 09:34
http://t.cn/RBzKP6H
2.使用Beats模块将日志和指标导入ES
http://t.cn/RdLtJJp
3.如何在生产环境中重启Elasticsearch集群
http://t.cn/RdL4oxk
活动预告
1. 7月21日上海meetup演讲申请中
https://elasticsearch.cn/m/article/655
编辑:sterne vencel
归档:https://elasticsearch.cn/article/700
订阅:https://tinyletter.com/elastic-daily
ElasticSearch不知道怎么插入数据
Elasticsearch • 大慈大悲掌 回复了问题 • 2 人关注 • 1 个回复 • 2829 次浏览 • 2018-07-04 17:25
windows运行ElasticSearch.bat报错
Elasticsearch • Dm 回复了问题 • 2 人关注 • 1 个回复 • 4844 次浏览 • 2018-07-05 14:47
计算字段所占百分比
Elasticsearch • xiaoyanghapi 回复了问题 • 2 人关注 • 2 个回复 • 6125 次浏览 • 2018-12-29 14:57
ES内存分配规划
Elasticsearch • yayg2008 发表了文章 • 2 个评论 • 10075 次浏览 • 2018-07-04 15:15
阅读本文前,请先阅读[ES内存分析](https://elasticsearch.cn/article/698)。
ES默认配置下,heap是存在超卖情况的。
| 类目 | 默认占比 | 是否常驻 | 淘汰策略(在控制大小情况下) | 控制参数 |
| --- | --- | --- | --- | --- |
| query cache | 10% | 是 | LRU | indices.queries.cache.size |
| request cache | 1% | 是 | LRU | indices.requests.cache.size |
| fielddata cache | 无限制 | 是 | LRU | indices.fielddata.cache.size |
| segment memory | 无限制 | 是 | 无 | 不能通过参数控制 |
| common space | 70% | 否 | GC | 通过熔断器 indices.breaker.total.limit 限制 |
common space(可GC)
| 子类目 | 默认占比 | 控制参数 |
| --- | --- | --- |
| indexing buffer | 10% | indices.memory.index_buffer_size |
| request agg data | 60% | indices.breaker.request.limit |
| in-flight data | 100% | network.breaker.inflight_requests.limit |
通过上表可知,segment memory是非常重要,而且是不可通过参数干预的内存空间,而cache部分则可以提升性能,可以被清除。common space 是运行时的动态空间,可以被GC。
综上所述,需要保证segment memory+cache+common space不超过100%。由于熔断器是按整个heap大小来计算的,所以如果segment memory 过大,仍然可能会导致OOM。为了减少这种情况的发生,需要预留足够空间给segment。
优化
- 限制fielddata大小,fielddata是针对text类型进行排序、聚合才用到。正常应该避免这种情况发生。
- 限制request agg data大小,这个参数会影响聚合使用的内存,如果触发熔断,业务需要进行优化。
内存分配
segment memory
预留10%
fielddata cache
限制在20%
query cache
限制10%
request cache
限制1%
indexing buffer
限制10%
request agg data
限制1%
父熔断器配置30%,扣除fielddata,agg剩余的就是in-flight
in-flight data
限制9%
参数设置
```plain
indices.fielddata.cache.size:1%--需要重启节点
PUT _cluster/settings
{
"persistent": {
"indices.breaker.fielddata.limit":"20%",
"indices.breaker.request.limit":"1%",
"indices.breaker.total.limit":"70%"
}
}
```


