身安不如心安,屋宽不如心宽 。

es 设计mapping时 如何创建 嵌套型实体:一个实体里面有一个list

回复

ElasticsearchPhoebM 回复了问题 • 1 人关注 • 1 个回复 • 6578 次浏览 • 2018-02-11 20:02 • 来自相关话题

transportClient api : 字段折叠后按照数量排序

回复

Elasticsearchdlliwei 发起了问题 • 1 人关注 • 0 个回复 • 2823 次浏览 • 2018-02-11 16:22 • 来自相关话题

elasticsearch源码导入intellij

Elasticsearchzhangguojun 发表了文章 • 1 个评论 • 3372 次浏览 • 2018-02-11 15:11 • 来自相关话题

环境准备:
   windows10,jdk1.8,elasticsearch-6.1.3,gradle-4.5,intellij
过程:
   1:从github上下载elasticsearch-6.1.3版本,并且解压
   2:安装gradle配置环境变量
   3:进入elasticsearch目录执行:gradle idea命令
   4:使用intellij导入elasticsearch项目
 
环境准备:
   windows10,jdk1.8,elasticsearch-6.1.3,gradle-4.5,intellij
过程:
   1:从github上下载elasticsearch-6.1.3版本,并且解压
   2:安装gradle配置环境变量
   3:进入elasticsearch目录执行:gradle idea命令
   4:使用intellij导入elasticsearch项目
 

logstash消费redis集群中数据

Logstashzhangyufu 回复了问题 • 4 人关注 • 3 个回复 • 5727 次浏览 • 2018-02-12 08:48 • 来自相关话题

磁盘读写速度和IO使用率对ES的稳定性是否有影响?

Elasticsearchlocatelli 回复了问题 • 4 人关注 • 1 个回复 • 6626 次浏览 • 2018-02-12 04:53 • 来自相关话题

org.elasticsearch.index.mapper.MapperParsingException: No type specified for field

回复

ElasticsearchDeepRedApple 发起了问题 • 1 人关注 • 0 个回复 • 5621 次浏览 • 2018-02-11 11:04 • 来自相关话题

谁推荐一本关于es以及lucene的书籍,深入学习es

Elasticsearchcode4j 回复了问题 • 6 人关注 • 4 个回复 • 19877 次浏览 • 2019-08-05 10:35 • 来自相关话题

请问当结果集比较大或者bucket数量太多时,使用dateHistogram,terms进行聚合分析如何优化?

Elasticsearchlaoyang360 回复了问题 • 4 人关注 • 2 个回复 • 6026 次浏览 • 2018-02-11 19:38 • 来自相关话题

社区日报 第186期 (2018-02-11)

社区日报至尊宝 发表了文章 • 0 个评论 • 1884 次浏览 • 2018-02-11 09:06 • 来自相关话题

1.如何用Kibana监控AdroitLogic ESB(UltraESB-X)。
http://t.cn/RRbOoII
2.分析3个月的未读电子邮件。
http://t.cn/RRbMyR8
3.(自备梯子)使用ELK堆栈实现客户智能。
http://t.cn/RRbx2XL

编辑:至尊宝
归档:https://elasticsearch.cn/article/497
订阅:https://tinyletter.com/elastic-daily

logstash 日志里老是有错误

Logstashhaiying 回复了问题 • 3 人关注 • 3 个回复 • 9948 次浏览 • 2018-06-29 12:03 • 来自相关话题

在使用es2.4版本过程中关于映射的问题!

回复

Elasticsearchajaq454 回复了问题 • 1 人关注 • 1 个回复 • 2388 次浏览 • 2018-02-10 15:44 • 来自相关话题

推荐indies_view 插件

Kibanatruman.p.du 发表了文章 • 1 个评论 • 3415 次浏览 • 2018-02-10 15:05 • 来自相关话题

indies_view


[https://github.com/TrumanDu/indices_view](https://github.com/TrumanDu/indices_view)

An awesome kibana plugin for view indies!
这个是一个可以查看indices 相关信息的kibana plugin ,欢迎大家使用,或者提出宝贵的经验

---

Screenshots


indices_view.gif



Reg pattern


```

  1. /[^a-z] $/
  2. /[\d]{4}[-|.|/][\d]{1,2}[-|.|/][\d]{1,2}/
    ```

    Development


    See the [kibana contributing guide](https://github.com/elastic/kib ... ING.md) for instructions setting up your development environment. Once you have completed that, use the following npm tasks.

    • npm start

      Start kibana and have it include this plugin

    • npm start -- --config kibana.yml

      You can pass any argument that you would normally send to bin/kibana by putting them after -- when running npm start

    • npm run build

      Build a distributable archive

    • npm run test:browser

      Run the browser tests in a real web browser

    • npm run test:server

      Run the server tests using mocha

      For more information about any of these commands run npm run ${task} -- --help.

      Deploy


      important : edit this plugin version and kibana.version to you kibana version in package.json

    • npm install
    • npm run build

      Build a distributable archive

      Install


  3. cp to docker container

    $ sudo docker cp ****.zip id:/****.zip

  4. install to kibana

    $bin/kibana-plugin install file:///****.zip

社区日报 第185期 (2018-02-10)

社区日报elk123 发表了文章 • 0 个评论 • 2127 次浏览 • 2018-02-10 11:29 • 来自相关话题

  1. Elasticsearch与Hbase特性对比。
    http://t.cn/RRyM1vm
  2. 将Elasticsearch作为Hive的存储?
    http://t.cn/RRyxDNZ
  3. 基于Elasticsearch实现搜索推荐
    http://t.cn/RRyJiHx

kibana使用geoip插件展示地图热力图

Kibanaziyou 发表了文章 • 10 个评论 • 26415 次浏览 • 2018-02-09 16:56 • 来自相关话题

geoip1.png



上图是我们最终的地图效果。

总体步骤:

一、使用logstash geoip插件解析IP字段;

二、配置geoip.location字段为geo_point类型。

三、使用kibana的Coordinate map作图。

具体步骤:

一、解析IP字段

使用logstash的geoip插件 logstash-filter-geoip 解析IP字段,需要在logstash的配置文件中配置geoip的解析配置,配置如下:
<br /> geoip {<br /> source => "ip" //需要解析的IP地址<br /> }<br />
解析出的效果如下:
<br /> "geoip": {<br /> "city_name": "Wuhan",<br /> "timezone": "Asia/Shanghai",<br /> "ip": "117.136.52.200",<br /> "latitude": 30.5801,<br /> "country_name": "China",<br /> "country_code2": "CN",<br /> "continent_code": "AS",<br /> "country_code3": "CN",<br /> "region_name": "Hubei",<br /> "location": {<br /> "lon": 114.2734,<br /> "lat": 30.5801<br /> },<br /> "region_code": "42",<br /> "longitude": 114.2734<br /> }<br /> <br />

备注:这个只是geoip的配置,解析日志的时候需要先解析出ip字段

二、配置geoip字段类型

IP经过logstash解析后就可以使用IP的所有解析信息了,但是如果想要在kibana中作图,就必须把geoip里面的相应信息配置成相应的字段类型,才能够被kibana识别,然后经过聚合作图。
需要配置的字段:geoip.location
需要配置的类型:geo_point
在mapping中的配置为:
<br /> "geoip" : {<br /> "properties" : {<br /> "location" : {<br /> "type" : "geo_point",<br /> "ignore_malformed": "true" <br /> }<br /> }<br /> }<br />
备注1:
ignore_malformed 如果true,格式错误的地理位置被忽略。如果false(默认),格式错误的地理位置引发异常并拒绝整个文档。
此字段需要配置成true,以防地理格式错误导致文档被拒绝。
也可以在所以级别进行设置:
"settings": {
"index.mapping.ignore_malformed": true
}

备注2:需要先设置mapping,再导入数据mapping才会生效,如果先导入数据,再设置mapping,则第二天八点后才会生效(北京时间)。

三、kibana作图

1、在kibana中打开visualize->coordinate map

geoip2.png



2、选择相应的索引进行画图

geoip3.png



3、选择geoip.location作为聚合字段,然后设置Options,调整地图效果即可。

geoip4.png



elasticsearch.yml 个人解读

Elasticsearch夏李俊 发表了文章 • 0 个评论 • 3874 次浏览 • 2018-02-09 16:08 • 来自相关话题

  • 属性 cluster.name 如果在同一网段下有多个集群,就可以用这个属性来区分不同的集群。
  • 属性 node.name 节点名可以忽略
  • 属性 node.master 指定该节点是否有资格被选举成为node,默认是true
  • 属性 index.number_of_shard 设置默认索引分片个数,默认为5片
  • 属性 index.number_of_replica 设置默认索引副本个数,默认为1个副本
  • 属性 path.conf 设置配置文件的存储路径,默认是es根目录下的config文件夹。
  • 属性 path.data 设置索引数据的存储路径,默认是es根目录下的data文件夹
  • 属性 path.work 设置临时文件的存储路径,默认是es根目录下的work文件夹
  • 属性 path.logs 设置日志文件的存储路径,默认是es根目录下的logs文件夹
  • 属性 path.repo 快照存储路径
  • 属性 gateway.recover_after_nodes 设置集群中N个节点启动时进行数据恢复,默认为1
  • 属性 network.host 映射出来的ip
  • 属性 transport.tcp.port 设置节点间交互的tcp端口,默认是9300
  • 属性 http.port: 9200 设置对外服务的http端口,默认为9200
  • 属性 index.number_of_replicas 索引的复制副本数量
  • 属性 indices.fielddata.cache.size fielddata缓存限制,默认无限制
  • 属性 indices.breaker.fielddata.limit fielddata级别限制,默认为堆的60% 
  • 属性 indices.breaker.request.limit request级别请求限制,默认为堆的40% 
  • 属性 indices.breaker.total.limit 保证上面两者组合起来的限制,默认堆的70%
  • 属性 discovery.zen.ping.multicast.enabled 是否广播模式,默认true,广播模式即同一个网段的ES服务只要集群名[cluster.name]一致,则自动集群
  • 属性 discovery.zen.ping.unicast.hosts 手动指定,哪个几个可以ping通的es服务做集群,注意该设置应该设置在master节点上,data节点无效

----------------------------------------------------------------------------------------------------------------------------------
GC Logging 
monitor.jvm.gc.young.warn: 1000ms
monitor.jvm.gc.young.info: 700ms
monitor.jvm.gc.young.debug: 400ms

monitor.jvm.gc.old.warn: 10s
monitor.jvm.gc.old.info: 5s
monitor.jvm.gc.old.debug: 2s