不为失败找理由,要为成功找方法。

logstash输出到文件

使用filebeat采集数据,使用document_type 区分不同的类型的日志 logstash 输入日志到文件,这样方面查看,也方便将怎么相同的服务运行在不同的服务器里面日志汇总

logstash 配置如下

input{
  beats{
    port => 5044
    codec => "json"
  }
}

output{
   if [type]  == "123_server" {
    file {
      path => "/home/logs/123-server.log"
      codec => plain{ charset => "GBK" }
      gzip => true
        }
  }
}

其实需要2个条件,输入的日志尽量保持和原来的日志一样 我这个代码输出全部是乱码,无论怎么修改编码格式 求大神指点下

继续阅读 »

使用filebeat采集数据,使用document_type 区分不同的类型的日志 logstash 输入日志到文件,这样方面查看,也方便将怎么相同的服务运行在不同的服务器里面日志汇总

logstash 配置如下

input{
  beats{
    port => 5044
    codec => "json"
  }
}

output{
   if [type]  == "123_server" {
    file {
      path => "/home/logs/123-server.log"
      codec => plain{ charset => "GBK" }
      gzip => true
        }
  }
}

其实需要2个条件,输入的日志尽量保持和原来的日志一样 我这个代码输出全部是乱码,无论怎么修改编码格式 求大神指点下

收起阅读 »

社区日报 第249期 (2018-04-22)

1.elasticsearch命令行工具。
http://t.cn/Ruhm7CF
2.(自备梯子)并行扫描和滚动Elasticsearch索引。
http://t.cn/RuhppeE
3.(自备梯子)更好的数据表UI设计是这样的。
http://t.cn/RuhukIh

编辑:至尊宝
归档:https://elasticsearch.cn/article/585
订阅:https://tinyletter.com/elastic-daily 
继续阅读 »
1.elasticsearch命令行工具。
http://t.cn/Ruhm7CF
2.(自备梯子)并行扫描和滚动Elasticsearch索引。
http://t.cn/RuhppeE
3.(自备梯子)更好的数据表UI设计是这样的。
http://t.cn/RuhukIh

编辑:至尊宝
归档:https://elasticsearch.cn/article/585
订阅:https://tinyletter.com/elastic-daily  收起阅读 »

社区日报 第248期 (2018-04-21)

  1. ES分词器总结。 http://t.cn/RmssC81

  2. ES span查询总结。 http://t.cn/RUuLlsV

  3. 使用JNoSQL连接ES和Java EE 。 http://t.cn/RmssC83
继续阅读 »
  1. ES分词器总结。 http://t.cn/RmssC81

  2. ES span查询总结。 http://t.cn/RUuLlsV

  3. 使用JNoSQL连接ES和Java EE 。 http://t.cn/RmssC83
收起阅读 »

社区日报 第247期 (2018-04-20)

1、上新 | Elastic Podcast——你上班路上的ELK Stack技术学习伴侣
http://t.cn/Rme2GoB
2、更新认知 | ES分配的内存有一个魔法上限值26GB?
http://t.cn/RpPxEEO
3、Elasticsearch 源码分析from size, scroll 和 search after
http://t.cn/RmeUKdE 

编辑:铭毅天下
归档:https://elasticsearch.cn/article/583
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1、上新 | Elastic Podcast——你上班路上的ELK Stack技术学习伴侣
http://t.cn/Rme2GoB
2、更新认知 | ES分配的内存有一个魔法上限值26GB?
http://t.cn/RpPxEEO
3、Elasticsearch 源码分析from size, scroll 和 search after
http://t.cn/RmeUKdE 

编辑:铭毅天下
归档:https://elasticsearch.cn/article/583
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

【东家·守艺人】ElasticSearch (ELK) 资深开发工程师(杭州)

职位描述

  1. 构建基于ElasticSearch(ES)的实时数据分析平台;
  2. 负责个性化搜索、个性化推荐系统的架构和服务;

岗位要求

  1. 熟悉Java开发,包括常用中间件:Dubbo、Zookeeper、MySQL、Redis、MongoDB等;
  2. 熟悉ElasticSearch(ES)/Solr/Lucence原理;
  3. 有ElasticSearch(ES)/Solr/Lucence 工程应用经验丰富;
  4. 有搜索相关功能性能调优优先;

工作地址

杭州 - 西湖区 - 文一西路崇义路口公元里13幢2楼

联系我

继续阅读 »

职位描述

  1. 构建基于ElasticSearch(ES)的实时数据分析平台;
  2. 负责个性化搜索、个性化推荐系统的架构和服务;

岗位要求

  1. 熟悉Java开发,包括常用中间件:Dubbo、Zookeeper、MySQL、Redis、MongoDB等;
  2. 熟悉ElasticSearch(ES)/Solr/Lucence原理;
  3. 有ElasticSearch(ES)/Solr/Lucence 工程应用经验丰富;
  4. 有搜索相关功能性能调优优先;

工作地址

杭州 - 西湖区 - 文一西路崇义路口公元里13幢2楼

联系我

收起阅读 »

Elastic Podcast 第一期,嘉宾:解恒跃@德比软件

podcast2.jpg

Elastic Podcast 来啦!让我来先给大家介绍一下什么是 Elastic Podcast,这是一档新的由 Elastic 中文社区发起的谈话类播客节目,我们会定期邀请 Elastic 软件的用户,一起来聊一聊他们与 Elastic 的故事,会围绕各种有意思的话题进行讨论,比如具体的行业应用实践啦、实际的架构部署啦、来自一线的实战经验分享等等。他山之石可以攻玉,相信会对你有帮助。

好啦,回到正题,第一期有什么呢,让我们一起走进位于上海的 DerbySoft(德比软件),德比软件是一家专注于旅游酒店行业管理系统的公司,其客户分布全球,每天有上千台服务器在不停的产生日志,让我们来听听德比软件的解经理给大家介绍,他们是如何用不到 20 台的 Elasticsearch 服务器来支撑总量 800 亿的日志分析,以及了解他们具体是如何使用 Kibana,以及在使用过程中的各种经验和分享。

主持人:

Elastic 技术布道师,曾勇(Medcl)。

嘉宾:

解恒跃,德比软件研发一部高级技术经理,从事软件开发和管理工作 12 年;擅长 Java 相关技术,webservice,微服务,敏捷软件开发。

收听方法

可以点击下面的任意链接来收听(时长约 30 分钟):

关于 DerbySoft:

德比软件创立于 2002 年,是专业从事旅游网络营销系统的技术服务公司,近 400 人的员工分布于上海、北京、南京、达拉斯、伦敦、东京等地。是拥有全部产品自主知识产权并为全球酒店行业提供软件服务的公司,是目前全球提供酒店对接服务最好,并且对接上线成功案例最多的公司。https://www.derbysoft.com/

继续阅读 »

podcast2.jpg

Elastic Podcast 来啦!让我来先给大家介绍一下什么是 Elastic Podcast,这是一档新的由 Elastic 中文社区发起的谈话类播客节目,我们会定期邀请 Elastic 软件的用户,一起来聊一聊他们与 Elastic 的故事,会围绕各种有意思的话题进行讨论,比如具体的行业应用实践啦、实际的架构部署啦、来自一线的实战经验分享等等。他山之石可以攻玉,相信会对你有帮助。

好啦,回到正题,第一期有什么呢,让我们一起走进位于上海的 DerbySoft(德比软件),德比软件是一家专注于旅游酒店行业管理系统的公司,其客户分布全球,每天有上千台服务器在不停的产生日志,让我们来听听德比软件的解经理给大家介绍,他们是如何用不到 20 台的 Elasticsearch 服务器来支撑总量 800 亿的日志分析,以及了解他们具体是如何使用 Kibana,以及在使用过程中的各种经验和分享。

主持人:

Elastic 技术布道师,曾勇(Medcl)。

嘉宾:

解恒跃,德比软件研发一部高级技术经理,从事软件开发和管理工作 12 年;擅长 Java 相关技术,webservice,微服务,敏捷软件开发。

收听方法

可以点击下面的任意链接来收听(时长约 30 分钟):

关于 DerbySoft:

德比软件创立于 2002 年,是专业从事旅游网络营销系统的技术服务公司,近 400 人的员工分布于上海、北京、南京、达拉斯、伦敦、东京等地。是拥有全部产品自主知识产权并为全球酒店行业提供软件服务的公司,是目前全球提供酒店对接服务最好,并且对接上线成功案例最多的公司。https://www.derbysoft.com/

收起阅读 »

社区日报 第246期 (2018-04-19)

  1. 6.x 复制片恢复引起flush操作死循环的BUG。 https://elasticsearch.cn/article/573

  2. Elasticsearch内核剖析。 http://t.cn/Rm8UGij

  3. 将数据从Postgres索引到Elasticsearch的CLI。 http://t.cn/Rm135eK
继续阅读 »
  1. 6.x 复制片恢复引起flush操作死循环的BUG。 https://elasticsearch.cn/article/573

  2. Elasticsearch内核剖析。 http://t.cn/Rm8UGij

  3. 将数据从Postgres索引到Elasticsearch的CLI。 http://t.cn/Rm135eK
收起阅读 »

​社区日报 第245期 (2018-04-18)

1. 死磕 Elasticsearch 方法论
http://t.cn/Rm73AN3 
2. Elasticsearch 6.X 去重详解
http://t.cn/RmudVy7 
3. Elasticsearch 并发冲突问题
http://t.cn/RmudmkM 
 
编辑:江水
归档:https://elasticsearch.cn/article/579
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. 死磕 Elasticsearch 方法论
http://t.cn/Rm73AN3 
2. Elasticsearch 6.X 去重详解
http://t.cn/RmudVy7 
3. Elasticsearch 并发冲突问题
http://t.cn/RmudmkM 
 
编辑:江水
归档:https://elasticsearch.cn/article/579
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第244期 (2018-04-17)

1.一文告诉你为什么ELK如此流行与重要。
http://t.cn/RmQhDoR 
2.Elasticsearch全文搜索快速入门。
http://t.cn/RmQhFmc 
3.使用kafka与ElK收集并分析Log4j日志实战。
http://t.cn/RmQ7P4y 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/578 
订阅:https://tinyletter.com/elastic-daily 
 
继续阅读 »
1.一文告诉你为什么ELK如此流行与重要。
http://t.cn/RmQhDoR 
2.Elasticsearch全文搜索快速入门。
http://t.cn/RmQhFmc 
3.使用kafka与ElK收集并分析Log4j日志实战。
http://t.cn/RmQ7P4y 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/578 
订阅:https://tinyletter.com/elastic-daily 
  收起阅读 »

社区日报 第243期 (2018-04-16)

1.ES 5.4-5.5.2引起的Kibana性能问题。
https://elasticsearch.cn/article/269

2.ELK Stack最近在报表方面的改进和增强。
http://t.cn/RmYPe9t

3.使用kibana和Beats 来做安全分析。
http://t.cn/RmYhwEq 

编辑:cyberdak
归档:https://elasticsearch.cn/article/577
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1.ES 5.4-5.5.2引起的Kibana性能问题。
https://elasticsearch.cn/article/269

2.ELK Stack最近在报表方面的改进和增强。
http://t.cn/RmYPe9t

3.使用kibana和Beats 来做安全分析。
http://t.cn/RmYhwEq 

编辑:cyberdak
归档:https://elasticsearch.cn/article/577
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第242期 (2018-04-15)

1.Elasticsearch配置和性能调节。
http://t.cn/RmOXAb3
2.(自备梯子)AWS ElasticSearch索引快照。
http://t.cn/RmOa9o0
3.(自备梯子)是的,你应该删除Facebook。
http://t.cn/RmOa4DH

编辑:至尊宝
归档:https://elasticsearch.cn/article/576
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.Elasticsearch配置和性能调节。
http://t.cn/RmOXAb3
2.(自备梯子)AWS ElasticSearch索引快照。
http://t.cn/RmOa9o0
3.(自备梯子)是的,你应该删除Facebook。
http://t.cn/RmOa4DH

编辑:至尊宝
归档:https://elasticsearch.cn/article/576
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第241期 (2018-04-14)

  1. 使用ELK和AspectJ监控Spring应用(需翻墙) http://t.cn/RmCeqvP

  2. 视频:手把手教你在AWS平台部署基于容器的ES(需翻墙) http://t.cn/RmCkJze

  3. ES使用机器学习优化排序的插件。 http://t.cn/RJu5cw5
继续阅读 »
  1. 使用ELK和AspectJ监控Spring应用(需翻墙) http://t.cn/RmCeqvP

  2. 视频:手把手教你在AWS平台部署基于容器的ES(需翻墙) http://t.cn/RmCkJze

  3. ES使用机器学习优化排序的插件。 http://t.cn/RJu5cw5
收起阅读 »

6.x 复制片恢复引起flush操作死循环的BUG

⚠️ 截止目前最新的ES6版本6.2.3,存在一个复制片恢复过程中可能引起flush死循环的BUG。 我们近期一个ES6.2.2的集群触发了这个bug,导致了一些麻烦。对于写入量很高的集群,这个BUG可能会导致系统的文件描述符被耗尽,结点挂掉,并且重启后依然挂掉的情况。  
 
这个问题发生的时候,必须找到数据目录下,存在大量translog文件的索引目录(可能会有上万的translog文件),找到对应目录的索引名称,然后关闭复制片,待translog清理完毕以后,再打开复制片重新复制。 
 
该问题有人已经在GITHUB上汇报如下:
issues/29097
 
BUG已经被确认,修复代码已经进入6.2.4 pull/29125 ,但该版本还未正式release。
 
准备上6版本的同学先请稍待新版本发布以后再行动,已经在6版本的同学,注意监控结点的FD数量,持续升高的情况需要进行关注。
fds.jpg

 
 
继续阅读 »
⚠️ 截止目前最新的ES6版本6.2.3,存在一个复制片恢复过程中可能引起flush死循环的BUG。 我们近期一个ES6.2.2的集群触发了这个bug,导致了一些麻烦。对于写入量很高的集群,这个BUG可能会导致系统的文件描述符被耗尽,结点挂掉,并且重启后依然挂掉的情况。  
 
这个问题发生的时候,必须找到数据目录下,存在大量translog文件的索引目录(可能会有上万的translog文件),找到对应目录的索引名称,然后关闭复制片,待translog清理完毕以后,再打开复制片重新复制。 
 
该问题有人已经在GITHUB上汇报如下:
issues/29097
 
BUG已经被确认,修复代码已经进入6.2.4 pull/29125 ,但该版本还未正式release。
 
准备上6版本的同学先请稍待新版本发布以后再行动,已经在6版本的同学,注意监控结点的FD数量,持续升高的情况需要进行关注。
fds.jpg

 
  收起阅读 »

社区日报 第240期 (2018-04-13)

1、活久见 | 手机上查询Elasticsearch集群状态
http://t.cn/RmoY9w1
2、Elasticsearch高CPU消耗原因探究
http://t.cn/RmoYNPZ
3、Elasticsearch 写入速度优化到极限
http://t.cn/RWs8yvS

编辑:铭毅天下
归档:https://elasticsearch.cn/article/572
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1、活久见 | 手机上查询Elasticsearch集群状态
http://t.cn/RmoY9w1
2、Elasticsearch高CPU消耗原因探究
http://t.cn/RmoYNPZ
3、Elasticsearch 写入速度优化到极限
http://t.cn/RWs8yvS

编辑:铭毅天下
归档:https://elasticsearch.cn/article/572
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »