工作职责： 1、ElasticSearch集群的配置管理和优化； 2、ElasticSearch相关开发。技能及资质要求： 1、本科及以上学历，熟悉Java，Linux； 2、熟悉ElasticSearch，有相关使用或开发经验； 3、熟悉搜索技术、nosql或hadoop等优先。有意向者，请将简历发送至：noh1122@163.com，QQ: 2472659680 收起阅读 »

1.如何基于 Java 和 Elasticsearch 打造一个搜索框架
http://t.cn/RNDj4cz 

2.有赞搜索引擎实践
工程篇  http://t.cn/RNDHO1W 
算法篇  http://t.cn/RqjlyIR 

3. 民生银行基于 ELK 的选型以及基本应用
http://t.cn/RND80vn 
 
编辑：江水
归档：https://elasticsearch.cn/article/257 
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1.系统扩容导致的的ES故障和解决方法，你是否用的上？
http://t.cn/RC7iMym 
2.聊聊ES5.0以上版本的磁盘优化策略和建议。
http://t.cn/RN0g6bh 
3.如何定义ES集群的生命周期，可以参考一下Ebay给出的方案！
http://t.cn/RXlwIqQ 

编辑：叮咚光军
归档：https://elasticsearch.cn/article/256
订阅：https://tinyletter.com/elastic-daily 
  收起阅读 »

1.使用sql来搜索Elasticsearch数据:

http://t.cn/RNWqqUx

2.使用Elasticsearch做全站搜索？快来学习 targetprocess 对全站搜索的优化（自备梯子）：

http://t.cn/RNW5sWH

3. 使用Elasticsearch做数据分析？那么你一定要来看看kibi，一个更加智能的数据平台（自备梯子）：

http://t.cn/RNWVW6h
编辑：cyberdak

归档：https://elasticsearch.cn/article/255

订阅：https://tinyletter.com/elastic-daily
  收起阅读 »

1.Snaptrip使用Elasticsearch改善客户体验：
http://t.cn/RNKFisR
2. 手把手教你在Windows上安装Elasticsearch v5.5.0：
http://t.cn/RNKFCpg
3.基于Mesos的当当作业云Elastic-Job-Cloud：
http://t.cn/RfCBHZt

编辑：至尊宝
归档：https://elasticsearch.cn/article/254
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1. es的各种关系索引、查询你清楚吗？
http://t.cn/RNXpc2Y
2. 手把手教你用Lassie从互联网搜集收据，并导入到es
http://t.cn/RNXWeGk
3. 如何利用painless更好的完成你的个性化需求，这篇文章带你入门。
http://t.cn/RNXjWeG
 
编辑：bsll
归档：https://elasticsearch.cn/article/253
订阅：https://tinyletter.com/elastic-daily
  收起阅读 »

最近发现es节点在gc时，引起节点脱落，将配置改成如下后，过了一阵又发生节点脱落的情况。discovery.zen.fd.ping_timeout: 60s
discovery.zen.fd.ping_interval: 10s
discovery.zen.fd.ping_retries: 10
 
这个配置值如何设置？另是否还有其他的解决方案
  收起阅读 »

1. 掌握这些Elasticsearch面试知识点，年薪30W+不再是梦！
http://t.cn/RNbMJjR 

2. 淘宝Elasticsearch搜索建议实战解读
http://t.cn/Rxb4uau 

3. Spark Streaming + Elasticsearch构建App异常监控平台
http://t.cn/RNb9Qcn 
 

编辑：laoyang360
归档：https://www.elasticsearch.cn/article/251 
订阅：https://tinyletter.com/elastic-daily 

  收起阅读 »

1.中文专题：怎么将elasticsearch当数据库使用
http://t.cn/RG6eSVE

2.用react与elasticsearch构建一个搜索的最简单的方法
http://t.cn/Rqv3jow

3.看Collector Bank怎么使用elastic stack驱动业务创新
http://t.cn/RNyCFSp

编辑：金桥
归档：https://elasticsearch.cn/article/250
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

一、★★★★★★★单机版安装及环境配置★★★★★★★
安装环境 CentOS release 6.7 (Final)
1、因Elasticsearch是基于Java写的，所以它的运行环境中需要java的支持，在Linux下执行命令：
java -version，检查Jar包是否安装
安装java版本至少是1.8以上

2、首先准备下载Elasticsearch5.5.0 安装包
wget https://artifacts.elastic.co/d ... earch

3、下载到/usr/openv 目录下，解压
tar -zxvf  elasticsearch-5.5.0.tar.gz

4、因为Elasticsearch5.0之后,不能使用root账户启动,我们先创建一个esuser组和账户
useradd  esuser -g esuser -p esuser

5.更改文件夹权限
chown -R esuser:esuser /usr/openv/elasticsearch-5.5.0

6、启动elasticsearch：
/usr/openv/elasticsearch-5.5.0/bin
su esuser
./elasticsearch    (前台启动)
这时候我们看见下面的提示，说明就成功了：
    1.    [elasticsearch@vmlnx-sma bin]$ ./elasticsearch  
2.    [2017-03-02T21:43:21,185][INFO ][o.e.n.Node               ] [] initializing ...  
3.    [2017-03-02T21:43:21,264][INFO ][o.e.e.NodeEnvironment    ] [uY3prpy] using [1] data paths, mounts [[/ (/dev/mapper/VolGroup-lv_root)]], net usable_space [43.5gb], net total_space [54.6gb], spins? [possibly], types [ext4]  
4.    [2017-03-02T21:43:21,265][INFO ][o.e.e.NodeEnvironment    ] [uY3prpy] heap size [1.9gb], compressed ordinary object pointers [true]  
5.    [2017-03-02T21:43:21,268][INFO ][o.e.n.Node               ] node name [uY3prpy] derived from node ID [uY3prpyqTHim5twauiVWhQ]; set [node.name] to override  
6.    [2017-03-02T21:43:21,271][INFO ][o.e.n.Node               ] version[5.2.2], pid[5602], build[f9d9b74/2017-02-24T17:26:45.835Z], OS[Linux/3.10.5-3.el6.x86_64/amd64], JVM[Oracle Corporation/OpenJDK 64-Bit Server VM/1.8.0_121/25.121-b13]  
7.    [2017-03-02T21:43:22,226][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [aggs-matrix-stats]  
8.    [2017-03-02T21:43:22,226][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [ingest-common]  
9.    [2017-03-02T21:43:22,226][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [lang-expression]  
10.    [2017-03-02T21:43:22,227][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [lang-groovy]  
11.    [2017-03-02T21:43:22,227][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [lang-mustache]  
12.    [2017-03-02T21:43:22,227][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [lang-painless]  
13.    [2017-03-02T21:43:22,228][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [percolator]  
14.    [2017-03-02T21:43:22,228][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [reindex]  
15.    [2017-03-02T21:43:22,228][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [transport-netty3]  
16.    [2017-03-02T21:43:22,229][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [transport-netty4]  
17.    [2017-03-02T21:43:22,230][INFO ][o.e.p.PluginsService     ] [uY3prpy] no plugins loaded  
18.    [2017-03-02T21:43:24,689][INFO ][o.e.n.Node               ] initialized  
19.    [2017-03-02T21:43:24,689][INFO ][o.e.n.Node               ] [uY3prpy] starting ...  
20.    [2017-03-02T21:43:24,929][INFO ][o.e.t.TransportService   ] [uY3prpy] publish_address {10.245.250.65:9300}, bound_addresses {10.245.250.65:9300}  
21.    [2017-03-02T21:43:24,948][INFO ][o.e.b.BootstrapChecks    ] [uY3prpy] bound or publishing to a non-loopback or non-link-local address, enforcing bootstrap checks  
22.    [2017-03-02T21:43:28,010][INFO ][o.e.c.s.ClusterService   ] [uY3prpy] new_master {uY3prpy}{uY3prpyqTHim5twauiVWhQ}{AqALBH68RCucWcPmHCE6dw}{10.245.250.65}{10.245.250.65:9300}, reason: zen-disco-elected-as-master ([0] nodes joined)  
23.    [2017-03-02T21:43:28,034][INFO ][o.e.h.HttpServer         ] [uY3prpy] publish_address {10.245.250.65:9200}, bound_addresses {10.245.250.65:9200}  
24.    [2017-03-02T21:43:28,034][INFO ][o.e.n.Node               ] [uY3prpy] started  
25.    [2017-03-02T21:43:28,061][INFO ][o.e.g.GatewayService     ] [uY3prpy] recovered [0] indices into cluster_state  

./elasticsearch -d (后台启动)

执行 curl http://localhost:9200

打开另一个终端进行测试：
curl 'http://localhost:9200/?pretty'

你能看到以下返回信息：

{
   "status": 200,
   "name": "Shrunken Bones",
   "version": {
      "number": "1.4.0",
      "lucene_version": "4.10"
   },
   "tagline": "You Know, for Search"
}

说明安装成功。
但是我们希望能够使用ip访问，那么还需要设置相关内容
跳转到Elasticsearch的config配置文件下，使用vim打开elasticsearch.yml，找到里面的"network.host",将其改为本机IP,保存。

cd elasticsearch/config/

vim elasticsearch.yml

重启ElasticSearch，然后使用http://192.168.37.137:9200/访问。

二、★★★★★★★常见错误★★★★★★★

问题一：警告提示
[2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter: 
java.lang.UnsupportedOperationException: seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER compiled in
at org.elasticsearch.bootstrap.Seccomp.linuxImpl(Seccomp.java:349) ~[elasticsearch-5.0.0.jar:5.0.0]
at org.elasticsearch.bootstrap.Seccomp.init(Seccomp.java:630) ~[elasticsearch-5.0.0.jar:5.0.0]
报了一大串错误，其实只是一个警告。
解决：使用心得linux版本，就不会出现此类问题了。
 
问题二：ERROR: bootstrap checks failed
max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
max number of threads [1024] for user [lishang] likely too low, increase to at least [2048]
解决：切换到root用户，编辑limits.conf 添加类似如下内容
vi /etc/security/limits.conf 
添加如下内容:
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
 
问题三：max number of threads [1024] for user [lish] likely too low, increase to at least [2048]
解决：切换到root用户，进入limits.d目录下修改配置文件。
vi /etc/security/limits.d/90-nproc.conf 
修改如下内容：
* soft nproc 1024
#修改为
* soft nproc 2048
 
问题四：max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
解决：切换到root用户修改配置sysctl.conf
vi /etc/sysctl.conf 
添加下面配置：
vm.max_map_count=655360
并执行命令：
sysctl -p
然后，重新启动elasticsearch，即可启动成功。

三、★★★★★★★★★★★★★★★★★★★
查看集群健康状态：curl -XGET 'http://localhost:9200/_cluster/health?pretty=true' 
                  
查看本地节点信息：curl -XGET http://localhost:9200/

其它一些命令：

查看集群状态：curl -XGET http://localhost:9200/_cat/health?v
              curl -XGET 'http://localhost:9200/_cluster/state?pretty'
              curl -XGET 'http://localhost:9200/_cluster/stats?human&pretty'

查看集群节点：curl -XGET http://localhost:9200/_cat/nodes?v
              curl -XGET 'http://localhost:9200/_nodes/stats?pretty'
              curl -XGET 'http://localhost:9200/_nodes/stats/os,process?pretty'

查询索引列表：curl -XGET http://localhost:9200/_cat/indices?v

创建索引：curl -XPUT http://localhost:9200/customer?pretty

查询索引：curl -XGET http://localhost:9200/customer/external/1?pretty

删除索引：curl -XDELETE http://localhost:9200/customer?pretty

停服与重启

停止ES服务器
如果是前台启动，直接Ctrl+Z或者直接关掉命令行窗口，则服务器立即停止。

如果是通过后台启动的ES服务，则需要用如下命令停止服务器：

也可以直接在Window系统的服务列表中找到安装的服务，然后右键停止。

另外，还可以通过curl工具来关掉整个集群或者集群中的指定节点，命令如下：

关掉集群：curl -XPOST http://localhost:9200/-cluster/nodes/_shutdown。

关掉指定的节点，节点标识符为jMJhGirhSRa9Iw2fQtjJ5A：curl -XPOST http://localhost:9200/_cluster ... tdown。

重启ES服务器

如果是想再次重启已经启动的ES服务，可以在Window系统的服务列表中找到安装的服务，然后右键重新启动即可。





























收起阅读 »

1.改造 Filebeat，让你的 Filebeat 支持更多功能并且性能至少提升三倍
http://t.cn/RNZUcJq 

2.基于 ELKB 架构的欢乐逛大数据平台
http://t.cn/RCj62cL 

3. Streaming SQL on Kafka
http://t.cn/RNhatJX 
 
4. 腾讯招聘ES研发工程师
https://elasticsearch.cn/article/239

编辑：江水
归档：https://elasticsearch.cn/article/248
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1.Spark2最令人关注的Spark Structured Streaming，ES-Hadoop 6.0将对其完美支持。http://t.cn/RCgciXG 

2.五个你需要知道的Logstash的过滤器插件。http://t.cn/RCe9Zy2 

3.Yelp将核心商家搜索功能迁移至Elasticsearch，看看他们是如何一步步攻克技术难题的吧！http://t.cn/R9flGaF 

编辑：叮咚光军
归档：https://elasticsearch.cn/article/247
订阅：https://tinyletter.com/elastic-daily 
  收起阅读 »

1. 删除的文档还会增加index体积？点击这里查看lucene如何处理被删除的文档
http://t.cn/RC1APZi
2. kibana数据无法区别?使用kibana-own-home来给每个用户的kibana数据有一个自己的家吧
http://t.cn/RC16dXZ
3. 还在用es 2.x ? 一行代码让你的查询速度加快30倍
http://t.cn/RI5vDAB 

编辑：cyberdak
归档：https://www.elasticsearch.cn/article/246
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1.floragunn公司的Search Guard，一个Elasticsearch的安全套件：
http://t.cn/RCmlB4S
2.(自备梯子)在Django项目中使用ElasticSearch作为搜索引擎：
http://t.cn/RCmlFVS
3.一周热点，为什么我们需要区块链，区块链和传统数据库应用的比较：
http://t.cn/RCmjzIx

编辑：至尊宝
归档：https://elasticsearch.cn/article/245
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1. 几种验证es与源数据是否同步的简单方法

http://t.cn/RCTARnH

2. 对于英语除了设置Standard分析器,你还可以利用官方提供的tokenizer和filter选项构建更适合自己的分析器

http://t.cn/RCTbs2d

3. 有关es数据的备份和恢复，留着以备不时之需。

http://t.cn/RCQaeOJ

编辑：bsll




归档：https://www.elasticsearch.cn/article/244

订阅：https://tinyletter.com/elastic-daily 收起阅读 »