0、授人以渔，少走半年弯路！

[死磕 Elasticsearch 方法论：普通程序员高效精进的 10 大狠招！](https://mp.weixin.qq.com/s/stC_xMP1n3aQ-0ZNAc3eQA)

一、Elasitcsearch基础篇

1.1 Elasitcsearch基础认知

1、[Elasticsearch学习，请先看这一篇！](https://blog.csdn.net/laoyang3 ... 244917)

2、[Elasticsearch增、删、改、查操作深入详解](https://blog.csdn.net/laoyang3 ... 931981)

3、[Elasticsearch 索引存储深入详解](https://blog.csdn.net/laoyang3 ... 166095)

1.2 Elasticsearch集群部署

4、[Elasticsearch安装与测试验证详解](https://blog.csdn.net/laoyang3 ... 141709)

5、[Elasticsearch windows下一键安装实现深入详解](https://blog.csdn.net/laoyang3 ... 190235)

6、[Elasticsearch集群部署详解](https://blog.csdn.net/laoyang3 ... 850834)

7、[Elasticsearch5.4.0(head/kibana/logstash)安装部署深入详解](https://blog.csdn.net/laoyang3 ... 368740)

1.3 Elasticsearch 插件安装

8、[Elasticsearch插件一——-head插件安装详解](https://blog.csdn.net/laoyang3 ... 472821)

9、[Elasticsearch插件二—— kibana插件安装详解](https://blog.csdn.net/laoyang3 ... 472888)

10、[Elasticsearch插件三—— Marvel插件安装详解](https://blog.csdn.net/laoyang3 ... 472902)

11、[Elasticsearch插件四—— logstash插件安装详解](https://blog.csdn.net/laoyang3 ... 472914)

12、[Elasticsearch插件五—— graph插件安装详解](https://blog.csdn.net/laoyang3 ... 472931)

13、[Elasticsearch插件六—— 分词 IK analyzer插件安装详解](https://blog.csdn.net/laoyang3 ... 472953)

14、[Elasticsearch5.4.0 IK分词插件安装详解](https://blog.csdn.net/laoyang3 ... 090357)

1.4 Elasticsearch小试牛刀

15、[ES技术团队划重点 | ES5.X，你必须知道的API和相关技巧](https://blog.csdn.net/laoyang3 ... 412668)

16、[Elasticsearch检索分类深入详解—基础篇](https://blog.csdn.net/laoyang3 ... 623013)

17、[上线必备 | 高性能ES5.X部署配置清单](https://blog.csdn.net/laoyang3 ... 985822)

18、[ Elasticsearch究竟要设置多少分片数？](https://blog.csdn.net/laoyang3 ... 080602)

19、[深究｜Elasticsearch单字段支持的最大字符数?](https://blog.csdn.net/laoyang3 ... 207980)

20、[Elasticsearch6.X 新类型Join深入详解](https://blog.csdn.net/laoyang3 ... 774481)

二、Elasticsearch进阶篇

2.1 Elasitcsearch数据同步

2.1.1 ES与关系型数据库同步

21、[logstash-input-jdbc实现mysql 与elasticsearch实时同步深入详解](https://blog.csdn.net/laoyang3 ... 747266)

22、[elasticsearch-jdbc实现MySQL同步到ElasticSearch深入详解](https://blog.csdn.net/laoyang3 ... 694519)

23、[go-mysql-elasticsearch实现mysql 与elasticsearch实时同步深入详解](https://blog.csdn.net/laoyang3 ... 771483)

24、[mysql 与elasticsearch实时同步常用插件及优缺点对比](https://blog.csdn.net/laoyang3 ... 771621)

25、[logstash-input-jdbc 同步原理及相关问题解读](https://blog.csdn.net/laoyang3 ... 793301)

26、[ logstash-input-jdbc实现oracle 与elasticsearch实时同步详解](https://blog.csdn.net/laoyang3 ... 824617)

27、[logstash一次同步Mysql多张表到ES深入详解](https://blog.csdn.net/laoyang3 ... 452953)

2.1.2 ES与非关系型数据库同步

28、[ logstash_output_mongodb插件用途及安装详解](https://blog.csdn.net/laoyang3 ... 448962)

29、[ logstash-output-mongodb实现Mysql到Mongodb数据同步](https://blog.csdn.net/laoyang3 ... 449127)

30、[logstash-out-mongodb实现elasticsearch到Mongodb的数据同步](https://blog.csdn.net/laoyang3 ... 449239)

31、[mongo-connector实现MongoDB与elasticsearch实时同步深入详解](https://blog.csdn.net/laoyang3 ... 842822)

2.1.3 ES与Kafka同步

32、[kafka数据同步Elasticsearch深入详解](https://blog.csdn.net/laoyang3 ... 868806)

2.1.4 ES文件同步

33、[ Elasticsearch批量导入本地Json文件Java实现](https://blog.csdn.net/laoyang3 ... 911669)

34、[logstash实现日志文件同步到elasticsearch深入详解](https://blog.csdn.net/laoyang3 ... 842744)

2.1.5 ES同步小结

35、[如何将不同类型数据导入Elaticsearch中？](https://blog.csdn.net/laoyang3 ... 304223)

36、[一张图理清楚关系型/非关系型数据库与Elasticsearch同步](https://blog.csdn.net/laoyang3 ... 792865)

2.2 Elasticsearch检索进阶

37、[你必须知道的23个最有用的Elasticseaerch检索技巧](https://blog.csdn.net/laoyang3 ... 769208)

38、[Elasticsearch实战 | match_phrase搜不出来，怎么办？](https://blog.csdn.net/laoyang3 ... 249823)

2.3 Elasitcsearch聚合进阶

39、[ Elasticsearch聚合深入详解——对比Mysql实现](https://blog.csdn.net/laoyang3 ... 048455)

40、[Elasticsearch聚合后分页深入详解](https://blog.csdn.net/laoyang3 ... 112946)

41、[Elasticsearch聚合优化 | 聚合速度提升5倍](https://blog.csdn.net/laoyang3 ... 253294)

2.4 Elasticsearch Java API 详解

42、[ Elasticsearch Java API深入详解](https://blog.csdn.net/laoyang3 ... 146063)

43、[Elasticsearch Jest实战深入详解](https://blog.csdn.net/laoyang3 ... 793210)

2.5 Elasitcsearch数据迁移

44、[Elasticsearch索引迁移的四种方式](https://blog.csdn.net/laoyang3 ... 449407)

2.6 Elasticsearch性能测试

45、[ Elasticsearch自定义脚本完成性能测试](https://blog.csdn.net/laoyang3 ... 231924)

46、[Elasticsearch性能测试工具rally深入详解](https://blog.csdn.net/laoyang3 ... 176246)

47、[esrally性能分析结果图形化展示深入详解](https://blog.csdn.net/laoyang3 ... 176045)

48、[esrally性能测试原理](https://blog.csdn.net/laoyang3 ... 155481)

2.7 Elasitcsearch安全监控

49、[Elasticsearch6.2.2 X-Pack部署及使用详解](https://blog.csdn.net/laoyang3 ... 632579)

三、Elasticsearch实战篇

3.1 Elasticsearch应用场景

50、[Elasticsearch的使用场景深入详解](https://blog.csdn.net/laoyang3 ... 227541)

51、[ Elasticsearch全文检索实战小结](https://blog.csdn.net/laoyang3 ... 823112)

3.2 Elasticsearch架构设计

52、[ Elasticsearch实战——全文检索架构设计](https://blog.csdn.net/laoyang3 ... 090398)

53、[干货 |《深入理解Elasticsearch》读书笔记](https://blog.csdn.net/laoyang3 ... 554610)

3.3 Elasticsearch项目实战

54、[Elasticsearch全文检索系统实现深入详解](https://blog.csdn.net/laoyang3 ... 933314)

55、[ Elasticsearch大文件检索性能提升20倍实践（干货）](https://blog.csdn.net/laoyang3 ... 025024)

56、[刨根问底 | Elasticsearch 5.X集群多节点角色配置深入详解](https://blog.csdn.net/laoyang3 ... 290484)

57、[干货 | Elasticsearch5.X Mapping万能模板](https://blog.csdn.net/laoyang3 ... 396928)

58、[干货 | Elasticsearch 集群健康值红色终极解决方案](https://blog.csdn.net/laoyang3 ... 443006)

59、[ 实战 | Elasticsearch打造知识库检索系统](https://blog.csdn.net/laoyang3 ... 703177)

60、[Elasticsearch实战 | 必要的时候，还得空间换时间!](https://blog.csdn.net/laoyang3 ... 515295)

61、[ Elasticsearch全量数据增量遍历实现原理](https://blog.csdn.net/laoyang3 ... 437408)

62、[ Elasticsearch索引增量统计及定时邮件实现](https://blog.csdn.net/laoyang3 ... 427706)

更多干货，持续更新中.....
更新地址：http://t.cn/Rmwzx9t


        这两天在看ES数据备份方面的事情，因为我们ES集群的存储空间有限，需要定时对ES的数据进行备份和清理，把备份的数据存储到其他地方去，然后在ES集群中释放掉。
        看大家好多是主要考虑数据的安全性才做的数据的备份，我们就比较low了，我们就是因硬盘不够，要删数据。上个项目是因为日志数据重要程度一般般，就保留了一个月的量，然后也没有做数据的备份转储。这次上线的项目要求就高点了，需要删除的数据存储到其他地方，但是硬盘的容量更低了。所以就需要做ES数据备份和转储，转储完了就清掉。
        这里是用ES官方推荐的数据快照方案，这个方案可以完全通过ES API进行操作，比价方便、快捷，在数据恢复方面也是方便的。
先上ES官方的链接，大家看看：https://www.elastic.co/guide/e ... .html
        然后就是步骤了：
执行过程分为两部分：
一、准备过程
1、添加ES备份存储目录
在集群的每台机器上进行目录创建
mkdir /home/esdata
2、挂载共享文件存储目录
在集群的每台机器上目录挂载
mount -t nfs 10.70.61.80:/home/apmtest /home/esdata
3、修改ES集群配置
在ES集群的每台机器上都添加path.repo属性
path.repo: ["/home/esdata"]
4、重启ES集群
ES集群重启必须是关闭所有机器后，再启动。
5、建立备份仓库
PUT /_snapshot/my_backup   
{ 
    "type": "fs",   
    "settings": { 
        "location": "/home/esdata"   
    } 
}

二、备份数据快照
1、通过API执行备份
PUT /_snapshot/my_backup/snapshot_2018.03.01?wait_for_completion=true 
{ 
    "indices": "filebeat-2018.03.01" 
}
 
        快照仓库需要注意的地方就是需要在整个集群的每一台机器上挂载相同的共享文件存储目录，保证在集群里做的操作是输出到相同的地方的。
 
下面来一份shell脚本，可以定时执行，是做ES数据的定时转储和清理的，大家可以借鉴一下

#!/bin/bash

ESIP=127.0.0.1

DATE=`date -d '-2 days' +'%Y.%m.%d'`

INDEX='{ "indices": "'$DATE'" }'

echo "begin to backup ES LOG..."

 

curl -XPUT "http://$ESIP:9200/_snapshot/my_backup/snapshot_$DATE?wait_for_completion=true" -d $INDEX

 

echo "----------------------------------------------------------------------------"

 

echo "begin to clean ES LOG..."

 

URL1="http://$ESIP:9200/filebeat-$DATE"

 

curl -XDELETE $URL1



 

echo "TRANSFER AND CLEAN ES LOG END!"