文章 - 搜索客，搜索人自己的社区

社区日报第43期 (2017-09-10)

1.用Elasticsearch处理实体间的关联关系。
http://t.cn/Rpt082p
2.ELK配合Auditbeat模块跟踪监控Linux系统。
http://t.cn/Rpt0nBT
3.使用Wireshark，Elasticsearch和Kibana分析网络数据包。
http://t.cn/RptTsyy

编辑：至尊宝
归档：https://elasticsearch.cn/article/266
订阅：https://tinyletter.com/elastic-daily

继续阅读 »

社区日报第42期 (2017-09-09)

1.正确使用bool语法,你做到了吗:
http://t.cn/RpGg46z

2.有时候scripts并不是最佳选择：
http://t.cn/RpGg9kw

3.手把手教你用docker部署es：
http://t.cn/RpGeJ5U

编辑：bsll
归档：https://elasticsearch.cn/article/264
订阅：https://tinyletter.com/elastic-daily

继续阅读 »

Filebeat 配置「SSL」證書加密出現錯誤 ... ERR Failed to publish events

各位朋友大家好:

進行配置「Filebeat」證書加密出現錯誤如下，有哪位朋友遇過此問題可以幫幫忙!

ERR Failed to publish events caused by: read tcp 192.168.1.57:56182->192.168.1.249:5043: wsarecv: An existing connection was forcibly closed by the remote host.

使用過「telnet IP Port」測試「ELK」服務器，確認通訊協議 OK !

Filebeat 配置如檔如下: (Windows 環境)

filebeat.prospectors:

- input_type: log                      #輸入 type「log」

  paths:

    - D:\Wireshark_Log\*               #指定推送日誌「Log」文件

    

output.logstash:

  hosts: ["192.168.1.249:5043"]         #指定接收Logstash

  tls:

      certificate_authorities:

      - C:\filebeat-5.5.0-windows-x86_64\ssl\logstash\192.168.1.249.crt

      ssl.certificate:

      - C:\filebeat-5.5.0-windows-x86_64\ssl\filebeat\192.168.1.57.crt

      ssl.certificate:

      - C:\filebeat-5.5.0-windows-x86_64\ssl\filebeat\192.168.1.57.key

以下是「FileBeat」錯誤日誌

2017-09-08T14:14:57+08:00 ERR Failed to publish events caused by: read tcp 192.168.1.57:56202->192.168.1.249:5043: wsarecv: An existing connection was forcibly closed by the remote host.

2017-09-08T14:14:57+08:00 INFO Error publishing events (retrying): read tcp 192.168.1.57:56202->192.168.1.249:5043: wsarecv: An existing connection was forcibly closed by the remote host.

2017-09-08T14:15:19+08:00 INFO Non-zero metrics in the last 30s: filebeat.harvester.closed=1 filebeat.harvester.open_files=-1 filebeat.harvester.running=-1 libbeat.logstash.call_count.PublishEvents=1 libbeat.logstash.publish.read_errors=1 libbeat.logstash.publish.write_bytes=323 libbeat.logstash.published_but_not_acked_events=5

2017-09-08T14:15:49+08:00 INFO No non-zero metrics in the last 30s

2017.09.08 感謝 medcl 兄弟幫忙，再次修改如下:

filebeat.prospectors:

- input_type: log                      #輸入 type「log」

  paths:

    - D:\Wireshark_Log\*               #指定推送日誌「Log」文件

    

output.logstash:

  hosts: ["192.168.1.249:5043"]         #指定接收Logstash

  ssl:     # <=== 新版本貌似要改成「SSL」

      certificate_authorities:

      - C:\filebeat-5.5.0-windows-x86_64\ssl\logstash\192.168.1.249.crt

      ssl.certificate:

      - C:\filebeat-5.5.0-windows-x86_64\ssl\filebeat\192.168.1.57.crt

      ssl.key: # <===  修正為「ssl.key」      

      - C:\filebeat-5.5.0-windows-x86_64\ssl\filebeat\192.168.1.57.key

以下是「FileBeat」錯誤日誌

2017-09-08T15:40:23+08:00 INFO Non-zero metrics in the last 30s: filebeat.harvester.open_files=1 filebeat.harvester.running=1 filebeat.harvester.started=1 libbeat.logstash.publish.read_bytes=5120 libbeat.logstash.publish.write_bytes=660 libbeat.publisher.published_events=20

2017-09-08T15:40:29+08:00 ERR Connecting error publishing events (retrying): x509: certificate is valid for 192.168.1.57, not 192.168.1.249

2017-09-08T15:40:53+08:00 INFO Non-zero metrics in the last 30s: libbeat.logstash.publish.read_bytes=1024 libbeat.logstash.publish.write_bytes=132

2017-09-08T15:41:01+08:00 ERR Connecting error publishing events (retrying): x509: certificate is valid for 192.168.1.57, not 192.168.1.249

2017-09-08T15:41:23+08:00 INFO Non-zero metrics in the last 30s: libbeat.logstash.publish.read_bytes=1024 libbeat.logstash.publish.write_bytes=132

2017-09-08T15:41:53+08:00 INFO No non-zero metrics in the last 30s

意思是說
证书对 192.168.1.57 有效，而不是192.168.1.249 。這裡有些不明白...

继续阅读 »

各位朋友大家好:

進行配置「Filebeat」證書加密出現錯誤如下，有哪位朋友遇過此問題可以幫幫忙!

ERR Failed to publish events caused by: read tcp 192.168.1.57:56182->192.168.1.249:5043: wsarecv: An existing connection was forcibly closed by the remote host.

使用過「telnet IP Port」測試「ELK」服務器，確認通訊協議 OK !

Filebeat 配置如檔如下: (Windows 環境)

filebeat.prospectors:

- input_type: log                      #輸入 type「log」

  paths:

    - D:\Wireshark_Log\*               #指定推送日誌「Log」文件

    

output.logstash:

  hosts: ["192.168.1.249:5043"]         #指定接收Logstash

  tls:

      certificate_authorities:

      - C:\filebeat-5.5.0-windows-x86_64\ssl\logstash\192.168.1.249.crt

      ssl.certificate:

      - C:\filebeat-5.5.0-windows-x86_64\ssl\filebeat\192.168.1.57.crt

      ssl.certificate:

      - C:\filebeat-5.5.0-windows-x86_64\ssl\filebeat\192.168.1.57.key

以下是「FileBeat」錯誤日誌

2017-09-08T14:14:57+08:00 ERR Failed to publish events caused by: read tcp 192.168.1.57:56202->192.168.1.249:5043: wsarecv: An existing connection was forcibly closed by the remote host.

2017-09-08T14:14:57+08:00 INFO Error publishing events (retrying): read tcp 192.168.1.57:56202->192.168.1.249:5043: wsarecv: An existing connection was forcibly closed by the remote host.

2017-09-08T14:15:19+08:00 INFO Non-zero metrics in the last 30s: filebeat.harvester.closed=1 filebeat.harvester.open_files=-1 filebeat.harvester.running=-1 libbeat.logstash.call_count.PublishEvents=1 libbeat.logstash.publish.read_errors=1 libbeat.logstash.publish.write_bytes=323 libbeat.logstash.published_but_not_acked_events=5

2017-09-08T14:15:49+08:00 INFO No non-zero metrics in the last 30s

2017.09.08 感謝 medcl 兄弟幫忙，再次修改如下:

filebeat.prospectors:

- input_type: log                      #輸入 type「log」

  paths:

    - D:\Wireshark_Log\*               #指定推送日誌「Log」文件

    

output.logstash:

  hosts: ["192.168.1.249:5043"]         #指定接收Logstash

  ssl:     # <=== 新版本貌似要改成「SSL」

      certificate_authorities:

      - C:\filebeat-5.5.0-windows-x86_64\ssl\logstash\192.168.1.249.crt

      ssl.certificate:

      - C:\filebeat-5.5.0-windows-x86_64\ssl\filebeat\192.168.1.57.crt

      ssl.key: # <===  修正為「ssl.key」      

      - C:\filebeat-5.5.0-windows-x86_64\ssl\filebeat\192.168.1.57.key

以下是「FileBeat」錯誤日誌

2017-09-08T15:40:23+08:00 INFO Non-zero metrics in the last 30s: filebeat.harvester.open_files=1 filebeat.harvester.running=1 filebeat.harvester.started=1 libbeat.logstash.publish.read_bytes=5120 libbeat.logstash.publish.write_bytes=660 libbeat.publisher.published_events=20

2017-09-08T15:40:29+08:00 ERR Connecting error publishing events (retrying): x509: certificate is valid for 192.168.1.57, not 192.168.1.249

2017-09-08T15:40:53+08:00 INFO Non-zero metrics in the last 30s: libbeat.logstash.publish.read_bytes=1024 libbeat.logstash.publish.write_bytes=132

2017-09-08T15:41:01+08:00 ERR Connecting error publishing events (retrying): x509: certificate is valid for 192.168.1.57, not 192.168.1.249

2017-09-08T15:41:23+08:00 INFO Non-zero metrics in the last 30s: libbeat.logstash.publish.read_bytes=1024 libbeat.logstash.publish.write_bytes=132

2017-09-08T15:41:53+08:00 INFO No non-zero metrics in the last 30s

意思是說
证书对 192.168.1.57 有效，而不是192.168.1.249 。這裡有些不明白... 收起阅读 »

线下活动又来啦，长沙，武汉，广州，深圳的同学快来报名啊 ?

Elastic 线下活动又双叒叕来啦，????，这次的活动日程是：

1️⃣ 长沙，2017.10.28
2️⃣ 武汉，2017.11.4
3️⃣ 广州，2017.11.25
4️⃣ 深圳，2017.12.16

在这些城市的同学快快来报名，可以报名分享，也可以报名参会，更欢迎一起组织✌️。

干货交流，免费参加，不收费（一直都是）！

已有主题(欢迎报名分享)：

Elastic - Medcl - Elastic Stack 6.0 新功能介绍
基于爬虫和 Elasticsearch 快速构建站内搜索引擎
芒果 TV - 刘波涛 - 芒果日志之旅
尚德机构 - 白凡 - 高吞吐状况下斗鱼搜索引擎优化之路
腾讯 - 姜国强- 基于 ES 的时序数据库服务
中信银行信用卡中心 - 陈刚 - ES的容器化之路
中投证券 - 尉晋洪 - ELK 在证券行业业务监控中的应用
网易 - ELK 在藏宝阁中的应用
网易 - 网易 ELK 系统综述
数说故事 - 吴文杰 - ElasticSearch with OLAP in Datastory
酷狗 - 钟旺 - 基于ES的音乐搜索引擎
Vivo - 杨振涛 - Elasticsearch在vivo互联网的最佳实践

报名分享与场地赞助请加微信：medcl123

上半年往期回顾~

对了，报名链接：http://elasticsearch.mikecrm.com/O6o0yq3
名额有限哦！

继续阅读 »

社区日报第41期 (2017-09-08)

1.Elasticsearch 最常见的Top10面试题及答案。
http://t.cn/Rp7Z2Zg
2.5分钟，让你的Elasitcsearch更安全！
http://t.cn/R9SQJlK
3. Elasticsearch复杂数据存储方式实战。
http://t.cn/RphsfBJ

编辑：laoyang360
归档：https://www.elasticsearch.cn/article/260
订阅：https://tinyletter.com/elastic-daily

继续阅读 »

社区日报第40期 (2017-09-07)

1.elasticsearch的heap区设置详解: http://t.cn/RpPxEEO
2.一条命令构建全栈elastic stack: http://t.cn/RpPxDo4
3.怎么监控elasticsearch的性能: http://t.cn/RpPJh7u

编辑：金桥
归档：https://elasticsearch.cn/article/259
订阅：https://tinyletter.com/elastic-daily

继续阅读 »

【360 - 北京】ES研发工程师

工作职责： 1、ElasticSearch集群的配置管理和优化； 2、ElasticSearch相关开发。技能及资质要求： 1、本科及以上学历，熟悉Java，Linux； 2、熟悉ElasticSearch，有相关使用或开发经验； 3、熟悉搜索技术、nosql或hadoop等优先。有意向者，请将简历发送至：noh1122@163.com，QQ: 2472659680

继续阅读 »

社区日报第39期 (2017-09-06)

1.如何基于 Java 和 Elasticsearch 打造一个搜索框架
http://t.cn/RNDj4cz

2.有赞搜索引擎实践
工程篇 http://t.cn/RNDHO1W
算法篇 http://t.cn/RqjlyIR

3. 民生银行基于 ELK 的选型以及基本应用
http://t.cn/RND80vn

编辑：江水
归档：https://elasticsearch.cn/article/257
订阅：https://tinyletter.com/elastic-daily

继续阅读 »

社区日报第38期 (2017-09-05)

1.系统扩容导致的的ES故障和解决方法，你是否用的上？
http://t.cn/RC7iMym
2.聊聊ES5.0以上版本的磁盘优化策略和建议。
http://t.cn/RN0g6bh
3.如何定义ES集群的生命周期，可以参考一下Ebay给出的方案！
http://t.cn/RXlwIqQ

编辑：叮咚光军
归档：https://elasticsearch.cn/article/256
订阅：https://tinyletter.com/elastic-daily

继续阅读 »

社区日报第37期 (2017-09-04)

1.使用sql来搜索Elasticsearch数据:

http://t.cn/RNWqqUx

2.使用Elasticsearch做全站搜索？快来学习 targetprocess 对全站搜索的优化（自备梯子）：

http://t.cn/RNW5sWH

3. 使用Elasticsearch做数据分析？那么你一定要来看看kibi，一个更加智能的数据平台（自备梯子）：

http://t.cn/RNWVW6h
编辑：cyberdak

归档：https://elasticsearch.cn/article/255

订阅：https://tinyletter.com/elastic-daily

继续阅读 »

社区日报第36期 (2017-09-03)

1.Snaptrip使用Elasticsearch改善客户体验：
http://t.cn/RNKFisR
2. 手把手教你在Windows上安装Elasticsearch v5.5.0：
http://t.cn/RNKFCpg
3.基于Mesos的当当作业云Elastic-Job-Cloud：
http://t.cn/RfCBHZt

编辑：至尊宝
归档：https://elasticsearch.cn/article/254
订阅：https://tinyletter.com/elastic-daily

继续阅读 »

1. 掌握这些Elasticsearch面试知识点，年薪30W+不再是梦！
http://t.cn/RNbMJjR

2. 淘宝Elasticsearch搜索建议实战解读
http://t.cn/Rxb4uau

3. Spark Streaming + Elasticsearch构建App异常监控平台
http://t.cn/RNb9Qcn

编辑：laoyang360
归档：https://www.elasticsearch.cn/article/251
订阅：https://tinyletter.com/elastic-daily

继续阅读 »

社区日报第33期 (2017-08-31)

1.中文专题：怎么将elasticsearch当数据库使用
http://t.cn/RG6eSVE

2.用react与elasticsearch构建一个搜索的最简单的方法
http://t.cn/Rqv3jow

3.看Collector Bank怎么使用elastic stack驱动业务创新
http://t.cn/RNyCFSp

编辑：金桥
归档：https://elasticsearch.cn/article/250
订阅：https://tinyletter.com/elastic-daily

继续阅读 »

社区日报第43期 (2017-09-10)

社区日报第42期 (2017-09-09)

Filebeat 配置「SSL」證書加密出現錯誤 ... ERR Failed to publish events

线下活动又来啦，长沙，武汉，广州，深圳的同学快来报名啊 ?

社区日报第41期 (2017-09-08)

社区日报第40期 (2017-09-07)

【360 - 北京】ES研发工程师

社区日报第39期 (2017-09-06)

社区日报第38期 (2017-09-05)

社区日报第37期 (2017-09-04)

社区日报第36期 (2017-09-03)

社区日报第35期 (2017-09-02)

es 由于gc 引起的节点脱落

社区日报第34期 (2017-09-01)

社区日报第33期 (2017-08-31)

热门文章

热门话题