1. ES6.2支持对非英文日志进行分类 http://t.cn/REwaWPN

2. 运行400+节点的ES集群的经验分享 http://t.cn/RR5zYwk

3. 新人课堂：ES中动态映射和自定义映射的介绍 http://t.cn/REAxpSS

• 编辑：bsll

• 归档：https://elasticsearch.cn/article/506

• 订阅：https://tinyletter.com/elastic-daily

1. Elasticsearch6.2新增自定义vega可视化。 http://t.cn/REh8K0O

2. 调整Elasticsearch碎片的思考和收益。 http://t.cn/REh8C0l

3. ES-Spark连接ES后，ES Client节点流量打满分析。 http://t.cn/REh8pXb

• 编辑：金桥

• 归档：https://elasticsearch.cn/article/504

• 订阅：https://tinyletter.com/elastic-daily

indies_view

https://github.com/TrumanDu/indices_view

An awesome kibana plugin for view indies! 这个是一个可以查看indices 相关信息的kibana plugin ,欢迎大家使用，或者提出宝贵的经验

Screenshots

Reg pattern

1. /[^a-z] $/
2. /[\d]{4}[-|\.|/][\d]{1,2}[-|\.|/][\d]{1,2}/

Development

See the kibana contributing guide for instructions setting up your development environment. Once you have completed that, use the following npm tasks.

• npm start

Start kibana and have it include this plugin

• npm start -- --config kibana.yml

You can pass any argument that you would normally send to bin/kibana by putting them after -- when running npm start

• npm run build

Build a distributable archive

• npm run test:browser

Run the browser tests in a real web browser

• npm run test:server

Run the server tests using mocha

For more information about any of these commands run npm run ${task} -- --help.

Deploy

important : edit this plugin version and kibana.version to you kibana version in package.json

• npm install
• npm run build

Build a distributable archive

Install

1. cp to docker container

$ sudo docker cp ****.zip id:/****.zip

2. install to kibana

$bin/kibana-plugin install file:///****.zip

1. Elasticsearch与Hbase特性对比。 http://t.cn/RRyM1vm
2. 将Elasticsearch作为Hive的存储？ http://t.cn/RRyxDNZ
3. 基于Elasticsearch实现搜索推荐 http://t.cn/RRyJiHx

• 编辑：wt
• 归档：https://elasticsearch.cn/article/495
• 订阅：https://tinyletter.com/elastic-daily

上图是我们最终的地图效果。

总体步骤：

一、使用logstash geoip插件解析IP字段；

二、配置geoip.location字段为geo_point类型。

三、使用kibana的Coordinate map作图。

具体步骤：

一、解析IP字段

使用logstash的geoip插件 logstash-filter-geoip 解析IP字段，需要在logstash的配置文件中配置geoip的解析配置，配置如下：

geoip {
       source => "ip" //需要解析的IP地址
      }

解析出的效果如下：

"geoip": {
      "city_name": "Wuhan",
      "timezone": "Asia/Shanghai",
      "ip": "117.136.52.200",
      "latitude": 30.5801,
      "country_name": "China",
      "country_code2": "CN",
      "continent_code": "AS",
      "country_code3": "CN",
      "region_name": "Hubei",
      "location": {
        "lon": 114.2734,
        "lat": 30.5801
      },
      "region_code": "42",
      "longitude": 114.2734
    }

备注：这个只是geoip的配置，解析日志的时候需要先解析出ip字段

二、配置geoip字段类型

IP经过logstash解析后就可以使用IP的所有解析信息了，但是如果想要在kibana中作图，就必须把geoip里面的相应信息配置成相应的字段类型，才能够被kibana识别，然后经过聚合作图。 需要配置的字段：geoip.location 需要配置的类型：geo_point 在mapping中的配置为：

"geoip" : {
          "properties" : {
            "location" : {
              "type" : "geo_point",
              "ignore_malformed": "true"  
            }
          }
        }

备注1： ignore_malformed 如果true，格式错误的地理位置被忽略。如果false（默认），格式错误的地理位置引发异常并拒绝整个文档。 此字段需要配置成true，以防地理格式错误导致文档被拒绝。 也可以在所以级别进行设置： "settings": { "index.mapping.ignore_malformed": true }

备注2：需要先设置mapping，再导入数据mapping才会生效，如果先导入数据，再设置mapping，则第二天八点后才会生效(北京时间)。

三、kibana作图

1、在kibana中打开visualize->coordinate map

2、选择相应的索引进行画图

3、选择geoip.location作为聚合字段，然后设置Options，调整地图效果即可。

• 属性 cluster.name 如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。
• 属性 node.name 节点名可以忽略
• 属性 node.master 指定该节点是否有资格被选举成为node，默认是true
• 属性 index.number_of_shard 设置默认索引分片个数，默认为5片
• 属性 index.number_of_replica 设置默认索引副本个数，默认为1个副本
• 属性 path.conf 设置配置文件的存储路径，默认是es根目录下的config文件夹。
• 属性 path.data 设置索引数据的存储路径，默认是es根目录下的data文件夹
• 属性 path.work 设置临时文件的存储路径，默认是es根目录下的work文件夹
• 属性 path.logs 设置日志文件的存储路径，默认是es根目录下的logs文件夹
• 属性 path.repo 快照存储路径
• 属性 gateway.recover_after_nodes 设置集群中N个节点启动时进行数据恢复，默认为1
• 属性 network.host 映射出来的ip
• 属性 transport.tcp.port 设置节点间交互的tcp端口，默认是9300
• 属性 http.port: 9200 设置对外服务的http端口，默认为9200
• 属性 index.number_of_replicas 索引的复制副本数量
• 属性 indices.fielddata.cache.size fielddata缓存限制,默认无限制
• 属性 indices.breaker.fielddata.limit fielddata级别限制，默认为堆的60% 
• 属性 indices.breaker.request.limit request级别请求限制，默认为堆的40% 
• 属性 indices.breaker.total.limit 保证上面两者组合起来的限制，默认堆的70%
• 属性 discovery.zen.ping.multicast.enabled 是否广播模式,默认true,广播模式即同一个网段的ES服务只要集群名[cluster.name]一致,则自动集群
• 属性 discovery.zen.ping.unicast.hosts 手动指定,哪个几个可以ping通的es服务做集群,注意该设置应该设置在master节点上,data节点无效