要不要再翻翻文档呢?

社区日报 第149期 (2018-01-05)

1、mongo同步到elasticsearch解读
http://t.cn/RHzUzl5
2、Elasticsearch.缓存分类体系
http://t.cn/RH47mO1
3、你知道elasticsearch 集群启动流程吗?
http://t.cn/RHESLQK 

编辑:铭毅天下
归档:https://elasticsearch.cn/article/442
订阅: https://tinyletter.com/elastic-daily
 
继续阅读 »
1、mongo同步到elasticsearch解读
http://t.cn/RHzUzl5
2、Elasticsearch.缓存分类体系
http://t.cn/RH47mO1
3、你知道elasticsearch 集群启动流程吗?
http://t.cn/RHESLQK 

编辑:铭毅天下
归档:https://elasticsearch.cn/article/442
订阅: https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第148期 (2018-01-04)

1.同步 MySQL 数据到 Elasticsearch
http://t.cn/RHHK9mr
2.elasticsearch源码分析-cat API是如何加载的
http://t.cn/RHHKpJM
3.filebeat 5.3.1 结合 rancher 和 data-volume 实现横向扩展
http://t.cn/RHHKOEf

编辑:金桥
归档:https://elasticsearch.cn/article/441
订阅: https://tinyletter.com/elastic-daily
继续阅读 »
1.同步 MySQL 数据到 Elasticsearch
http://t.cn/RHHK9mr
2.elasticsearch源码分析-cat API是如何加载的
http://t.cn/RHHKpJM
3.filebeat 5.3.1 结合 rancher 和 data-volume 实现横向扩展
http://t.cn/RHHKOEf

编辑:金桥
归档:https://elasticsearch.cn/article/441
订阅: https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第147期 (2018-1-3)

1. Kibana 使用的 Lucene 查询语法
http://t.cn/RaFHnD8 
6.x 新增 Kuery
http://t.cn/RHYhKdv 
2. ELK6.0 部署
http://t.cn/RHYhW7l 
3. Elasticsearch 元数据(meta-fields)介绍
http://t.cn/RHYhB13 
 
编辑:江水
归档:https://elasticsearch.cn/article/440 
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1. Kibana 使用的 Lucene 查询语法
http://t.cn/RaFHnD8 
6.x 新增 Kuery
http://t.cn/RHYhKdv 
2. ELK6.0 部署
http://t.cn/RHYhW7l 
3. Elasticsearch 元数据(meta-fields)介绍
http://t.cn/RHYhB13 
 
编辑:江水
归档:https://elasticsearch.cn/article/440 
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第146期 (2018-1-2)

1.Elasticsearch使用场景深入详解。
http://t.cn/RHWhZ6U 
2.还在为bulk rejections犯愁,看看官网详解。
http://t.cn/RY5BJy7 
3.使用ELK分析Jenkins日志。
http://t.cn/RHOWw1X 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/439 
订阅:https://tinyletter.com/elastic-daily 
 
 
继续阅读 »
1.Elasticsearch使用场景深入详解。
http://t.cn/RHWhZ6U 
2.还在为bulk rejections犯愁,看看官网详解。
http://t.cn/RY5BJy7 
3.使用ELK分析Jenkins日志。
http://t.cn/RHOWw1X 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/439 
订阅:https://tinyletter.com/elastic-daily 
 
  收起阅读 »

社区日报 第145期 (2017-12-29)

1.提高Elasticsearch性能的建议
http://t.cn/RHJRhik
2.中国民生银行大数据团队的Flume实践
http://t.cn/RYOh7Lc
3.Filebeat简单压测
http://t.cn/RHJRJfQ

编辑:金桥
归档:https://elasticsearch.cn/article/438
订阅: https://tinyletter.com/elastic-daily
继续阅读 »
1.提高Elasticsearch性能的建议
http://t.cn/RHJRhik
2.中国民生银行大数据团队的Flume实践
http://t.cn/RYOh7Lc
3.Filebeat简单压测
http://t.cn/RHJRJfQ

编辑:金桥
归档:https://elasticsearch.cn/article/438
订阅: https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第144期 (2017-12-28)

1.Elastic Advent Calendar总结
http://t.cn/RHcsoi6
2.elasticsearch源码分析-Setting和Environment
http://t.cn/RHfjJ47
3.一个hangout的output ClickHouse插件
http://t.cn/RHcsXHq

编辑:金桥
归档:https://elasticsearch.cn/article/437
订阅: https://tinyletter.com/elastic-daily
继续阅读 »
1.Elastic Advent Calendar总结
http://t.cn/RHcsoi6
2.elasticsearch源码分析-Setting和Environment
http://t.cn/RHfjJ47
3.一个hangout的output ClickHouse插件
http://t.cn/RHcsXHq

编辑:金桥
归档:https://elasticsearch.cn/article/437
订阅: https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第143期 (2017-12-27)

1. elasticsearch recovery 分析
http://t.cn/RH5T64q
2. elasticsearch aggregations 聚合分析
http://t.cn/RH5TCdm
3. logstash-output-jdbc 插件 支持hbase(phoenix)
http://t.cn/RH5HPeD
 
编辑:江水
归档:https://elasticsearch.cn/article/436 
订阅:https://tinyletter.com/elastic-daily  
继续阅读 »
1. elasticsearch recovery 分析
http://t.cn/RH5T64q
2. elasticsearch aggregations 聚合分析
http://t.cn/RH5TCdm
3. logstash-output-jdbc 插件 支持hbase(phoenix)
http://t.cn/RH5HPeD
 
编辑:江水
归档:https://elasticsearch.cn/article/436 
订阅:https://tinyletter.com/elastic-daily  
收起阅读 »

社区日报 第142期 (2017-12-26)

1.如何使用Grafana从Elasticsearch中拉取数据。
http://t.cn/RH2FFXU 
2.基于Elasticsearch的沪江搜索平台。
http://t.cn/RHLZSEk 
3.使用Elasticsearch的五个结论。
http://t.cn/RHLwxM8 
4.Elastic Advent Calendar, Day 25:Elastic Advent Calendar最后一文,一些众所周知的权威建议。
http://t.cn/RHLyzo4 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/435 
订阅:https://tinyletter.com/elastic-daily  
 
继续阅读 »
1.如何使用Grafana从Elasticsearch中拉取数据。
http://t.cn/RH2FFXU 
2.基于Elasticsearch的沪江搜索平台。
http://t.cn/RHLZSEk 
3.使用Elasticsearch的五个结论。
http://t.cn/RHLwxM8 
4.Elastic Advent Calendar, Day 25:Elastic Advent Calendar最后一文,一些众所周知的权威建议。
http://t.cn/RHLyzo4 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/435 
订阅:https://tinyletter.com/elastic-daily  
  收起阅读 »

社区搜索试运行

访问地址:
https://index.elasticsearch.cn

badge.png

 
姑且叫做:Elastic 情报局!
这个东西有什么用?
聚合 Elastic 社区的各种资源,
  • Elastic 官网资料、文档、博客、视频
  • Elastic 中文社区
  • Elastic 英文社区
  • Github 仓库的最新事件
  • 其他社区的相关主题,如 StackOverflow、Reddit等

用来提供一站式的垂直搜索,
方便提供您更好的学习和寻找参考资料。

Snip20171225_3.png

 
基于开源爬虫 GOPAElasticsearch 搭建,目前试运行,功能和数据正在完善中,欢迎反馈。
继续阅读 »
访问地址:
https://index.elasticsearch.cn

badge.png

 
姑且叫做:Elastic 情报局!
这个东西有什么用?
聚合 Elastic 社区的各种资源,
  • Elastic 官网资料、文档、博客、视频
  • Elastic 中文社区
  • Elastic 英文社区
  • Github 仓库的最新事件
  • 其他社区的相关主题,如 StackOverflow、Reddit等

用来提供一站式的垂直搜索,
方便提供您更好的学习和寻找参考资料。

Snip20171225_3.png

 
基于开源爬虫 GOPAElasticsearch 搭建,目前试运行,功能和数据正在完善中,欢迎反馈。 收起阅读 »

社区日报 第141期 (2017-12-25)

1.XPack 6的改动:移除了默认密码。
http://t.cn/RHAyUPV

2.如何构建一个搜索UI。
http://t.cn/RToO9aU

3.使用ELK监控Spark集群。
http://t.cn/RHAA6Me

4.(德语)Elastic Advent Calendar, Day 24:  用Elasticsearch和Kibana进行数据探索
http://t.cn/RHAZZbV 

编辑:cyberdak
归档:https://elasticsearch.cn/article/433
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1.XPack 6的改动:移除了默认密码。
http://t.cn/RHAyUPV

2.如何构建一个搜索UI。
http://t.cn/RToO9aU

3.使用ELK监控Spark集群。
http://t.cn/RHAA6Me

4.(德语)Elastic Advent Calendar, Day 24:  用Elasticsearch和Kibana进行数据探索
http://t.cn/RHAZZbV 

编辑:cyberdak
归档:https://elasticsearch.cn/article/433
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第140期 (2017-12-24)

1.宣布Kibana比赛的胜者。
http://t.cn/RHhL7ss
2.(自备梯子)用Zipkin和Kibana跟踪微服务。
http://t.cn/RHPkfsi
3.(自备梯子)Apache Kafka的区块链实验。
http://t.cn/RHPsx09
4.(英语)Elastic Advent Calendar, Day 23:  新用户的Kibana小贴士
http://t.cn/RHhAlGm

编辑:至尊宝
归档:https://elasticsearch.cn/article/432
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.宣布Kibana比赛的胜者。
http://t.cn/RHhL7ss
2.(自备梯子)用Zipkin和Kibana跟踪微服务。
http://t.cn/RHPkfsi
3.(自备梯子)Apache Kafka的区块链实验。
http://t.cn/RHPsx09
4.(英语)Elastic Advent Calendar, Day 23:  新用户的Kibana小贴士
http://t.cn/RHhAlGm

编辑:至尊宝
归档:https://elasticsearch.cn/article/432
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

Elasticsearch关于unassigned shards修复

ES 版本: 5.2.1

步骤:

  • curl localhost:9200/_cat/shards > shards
  • 跑脚本:nohup python recovery.py &

    注意:跑脚本过程会返回大量json,时间较长,请注意放入后台

  • 查看修复shard进度:curl 127.0.0.1:9200/_cat/recovery/你修复shard对应的索引
  • 结果: 找到索引对应的shard,看到existing_store done说明已经从本地修复
     index 19 268ms existing_store done n/a        n/a                    10.0.58.67 node_name
#!/usr/bin/env python
#name: recovery.py

import requests
import json
host = "http://localhost:9200/_cluster/allocation/explain"
s= requests.Session()
def reroute_shard(index,shard,node):
    data = {
    "commands" : [
        {
          "allocate_stale_primary" : {
              "index" : index, "shard" : shard, "node" : node, "accept_data_loss": True
          }
        }
    ]
   }
    print data
    url = "http://localhost:9200/_cluster/reroute"
    res = s.post(url,json=data)
    print res

def get_node(line):
    if "UNASSIGNED" in line:
        line = line.split()
        index = line[0]
        shard = line[1]
        if line[2] != "p":
            return
        body = {
           "index": index,
           "shard": shard,
           "primary": True
               }
        res = s.get(host, json = body)
        for store in res.json().get("node_allocation_decisions"):
            if store.get("store").get("allocation_id"):
               node_name = store.get("node_name")
               reroute_shard(index,shard,node_name)
    else:
        return

with open("shards", 'rb') as f:
    map(get_node,f)

相关文档:

继续阅读 »

ES 版本: 5.2.1

步骤:

  • curl localhost:9200/_cat/shards > shards
  • 跑脚本:nohup python recovery.py &

    注意:跑脚本过程会返回大量json,时间较长,请注意放入后台

  • 查看修复shard进度:curl 127.0.0.1:9200/_cat/recovery/你修复shard对应的索引
  • 结果: 找到索引对应的shard,看到existing_store done说明已经从本地修复
     index 19 268ms existing_store done n/a        n/a                    10.0.58.67 node_name
#!/usr/bin/env python
#name: recovery.py

import requests
import json
host = "http://localhost:9200/_cluster/allocation/explain"
s= requests.Session()
def reroute_shard(index,shard,node):
    data = {
    "commands" : [
        {
          "allocate_stale_primary" : {
              "index" : index, "shard" : shard, "node" : node, "accept_data_loss": True
          }
        }
    ]
   }
    print data
    url = "http://localhost:9200/_cluster/reroute"
    res = s.post(url,json=data)
    print res

def get_node(line):
    if "UNASSIGNED" in line:
        line = line.split()
        index = line[0]
        shard = line[1]
        if line[2] != "p":
            return
        body = {
           "index": index,
           "shard": shard,
           "primary": True
               }
        res = s.get(host, json = body)
        for store in res.json().get("node_allocation_decisions"):
            if store.get("store").get("allocation_id"):
               node_name = store.get("node_name")
               reroute_shard(index,shard,node_name)
    else:
        return

with open("shards", 'rb') as f:
    map(get_node,f)

相关文档:

收起阅读 »

社区日报 第139期 (2017-12-23)

1、iPrice集团使用elasticsearch集群经验分享
http://t.cn/RTkTb0f
2、使用Elassandra(Elasticsearch+Apache  Cassandra)进行NBA球员数据探索
http://t.cn/RTkT7SV
3、如何使用kibana基于时间序列的Visual  Builder展示数据
http://t.cn/RTkJX5s
4、Elastic Advent Calendar Day 22:忘记elastic密码的解决办法
http://t.cn/RTkWoRR

编辑:bsll
归档:https://elasticsearch.cn/article/430
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1、iPrice集团使用elasticsearch集群经验分享
http://t.cn/RTkTb0f
2、使用Elassandra(Elasticsearch+Apache  Cassandra)进行NBA球员数据探索
http://t.cn/RTkT7SV
3、如何使用kibana基于时间序列的Visual  Builder展示数据
http://t.cn/RTkJX5s
4、Elastic Advent Calendar Day 22:忘记elastic密码的解决办法
http://t.cn/RTkWoRR

编辑:bsll
归档:https://elasticsearch.cn/article/430
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第138期 (2017-12-22)

1、 NMAP扫描结果同步到Elasticsearch
http://t.cn/R94eGiz
2、elasticsearch对gmail建立索引?
http://t.cn/RZbYIug
3、es6.1的变化清单
http://t.cn/RTS7BcU
4、Elastic Advent Calendar Day 21:高性能Elasticsearch建议
http://t.cn/RTezts5

编辑:铭毅天下
归档:https://elasticsearch.cn/article/429
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1、 NMAP扫描结果同步到Elasticsearch
http://t.cn/R94eGiz
2、elasticsearch对gmail建立索引?
http://t.cn/RZbYIug
3、es6.1的变化清单
http://t.cn/RTS7BcU
4、Elastic Advent Calendar Day 21:高性能Elasticsearch建议
http://t.cn/RTezts5

编辑:铭毅天下
归档:https://elasticsearch.cn/article/429
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

Filebeat使用的若干问题

1、日志文件是json格式(对应ES的索引的字段),如果输出到ES,那么对应ES的格式数据(mapping)应该怎么定义,放到哪个目录,怎么引用。
 
2、为了方便我每条日志生成一个文件,这样文件多了会不会影响Filebeat的性能。
 
3、接第2问怎么配置可以“读取并输出成功”就删除该日志文件。
继续阅读 »
1、日志文件是json格式(对应ES的索引的字段),如果输出到ES,那么对应ES的格式数据(mapping)应该怎么定义,放到哪个目录,怎么引用。
 
2、为了方便我每条日志生成一个文件,这样文件多了会不会影响Filebeat的性能。
 
3、接第2问怎么配置可以“读取并输出成功”就删除该日志文件。 收起阅读 »