无论才能、知识多么卓著,如果缺乏热情,则无异纸上画饼充饥,无补于事。

社区日报 第32期 (2017-08-30)

1.改造 Filebeat,让你的 Filebeat 支持更多功能并且性能至少提升三倍
http://t.cn/RNZUcJq 

2.基于 ELKB 架构的欢乐逛大数据平台
http://t.cn/RCj62cL 

3. Streaming SQL on Kafka
http://t.cn/RNhatJX 
 
4. 腾讯招聘ES研发工程师
https://elasticsearch.cn/article/239

编辑:江水
归档:https://elasticsearch.cn/article/248
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.改造 Filebeat,让你的 Filebeat 支持更多功能并且性能至少提升三倍
http://t.cn/RNZUcJq 

2.基于 ELKB 架构的欢乐逛大数据平台
http://t.cn/RCj62cL 

3. Streaming SQL on Kafka
http://t.cn/RNhatJX 
 
4. 腾讯招聘ES研发工程师
https://elasticsearch.cn/article/239

编辑:江水
归档:https://elasticsearch.cn/article/248
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第31期 (2017-08-29)

1.Spark2最令人关注的Spark Structured Streaming,ES-Hadoop 6.0将对其完美支持。http://t.cn/RCgciXG 

2.五个你需要知道的Logstash的过滤器插件。http://t.cn/RCe9Zy2 

3.Yelp将核心商家搜索功能迁移至Elasticsearch,看看他们是如何一步步攻克技术难题的吧!http://t.cn/R9flGaF 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/247
订阅:https://tinyletter.com/elastic-daily 
 
继续阅读 »
1.Spark2最令人关注的Spark Structured Streaming,ES-Hadoop 6.0将对其完美支持。http://t.cn/RCgciXG 

2.五个你需要知道的Logstash的过滤器插件。http://t.cn/RCe9Zy2 

3.Yelp将核心商家搜索功能迁移至Elasticsearch,看看他们是如何一步步攻克技术难题的吧!http://t.cn/R9flGaF 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/247
订阅:https://tinyletter.com/elastic-daily 
  收起阅读 »

社区日报 第30期 (2017-08-28)

1. 删除的文档还会增加index体积?点击这里查看lucene如何处理被删除的文档
http://t.cn/RC1APZi
2. kibana数据无法区别?使用kibana-own-home来给每个用户的kibana数据有一个自己的家吧
http://t.cn/RC16dXZ
3. 还在用es 2.x ? 一行代码让你的查询速度加快30倍
http://t.cn/RI5vDAB 

编辑:cyberdak
归档:https://www.elasticsearch.cn/article/246
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. 删除的文档还会增加index体积?点击这里查看lucene如何处理被删除的文档
http://t.cn/RC1APZi
2. kibana数据无法区别?使用kibana-own-home来给每个用户的kibana数据有一个自己的家吧
http://t.cn/RC16dXZ
3. 还在用es 2.x ? 一行代码让你的查询速度加快30倍
http://t.cn/RI5vDAB 

编辑:cyberdak
归档:https://www.elasticsearch.cn/article/246
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第29期 (2017-08-27)

1.floragunn公司的Search Guard,一个Elasticsearch的安全套件:
http://t.cn/RCmlB4S
2.(自备梯子)在Django项目中使用ElasticSearch作为搜索引擎:
http://t.cn/RCmlFVS
3.一周热点,为什么我们需要区块链,区块链和传统数据库应用的比较:
http://t.cn/RCmjzIx

编辑:至尊宝
归档:https://elasticsearch.cn/article/245
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.floragunn公司的Search Guard,一个Elasticsearch的安全套件:
http://t.cn/RCmlB4S
2.(自备梯子)在Django项目中使用ElasticSearch作为搜索引擎:
http://t.cn/RCmlFVS
3.一周热点,为什么我们需要区块链,区块链和传统数据库应用的比较:
http://t.cn/RCmjzIx

编辑:至尊宝
归档:https://elasticsearch.cn/article/245
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第28期 (2017-08-26)

1. 几种验证es与源数据是否同步的简单方法

http://t.cn/RCTARnH

2. 对于英语除了设置Standard分析器,你还可以利用官方提供的tokenizer和filter选项构建更适合自己的分析器

http://t.cn/RCTbs2d

3. 有关es数据的备份和恢复,留着以备不时之需。

http://t.cn/RCQaeOJ

编辑:bsll




归档:https://www.elasticsearch.cn/article/244

订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. 几种验证es与源数据是否同步的简单方法

http://t.cn/RCTARnH

2. 对于英语除了设置Standard分析器,你还可以利用官方提供的tokenizer和filter选项构建更适合自己的分析器

http://t.cn/RCTbs2d

3. 有关es数据的备份和恢复,留着以备不时之需。

http://t.cn/RCQaeOJ

编辑:bsll




归档:https://www.elasticsearch.cn/article/244

订阅:https://tinyletter.com/elastic-daily 收起阅读 »

一个关于模糊查询的问题

一个关于模糊查询的问题,比如我的每条日志都有几个标签:namespace , app , service ,pod等等,要在按照这几个标签查出来的日志中进行模糊匹配(即关键字搜索),该怎么写查询语句?下面这个查询语句无法达到预期,就是不能满足在规定了namespace和application之后,再进行的模糊查询,而结果能匹配我所需要的。实际情况却是,只能查出来namespace=default和app=test下面的所有日志,而不能进一步的匹配包含“goose migrate start”这句话的日志
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "kubernetes.namespace": "default"
          }
        },
        {
          "term": {
            "kubernetes.labels.application": "test"
          }
        }
      ],
      "should": [
        {
          "match_phrase": {
            "log": {
              "query": "goose migrate start",
              "slop":  50
            }
          }
        }
      ]
    }
  }
继续阅读 »
一个关于模糊查询的问题,比如我的每条日志都有几个标签:namespace , app , service ,pod等等,要在按照这几个标签查出来的日志中进行模糊匹配(即关键字搜索),该怎么写查询语句?下面这个查询语句无法达到预期,就是不能满足在规定了namespace和application之后,再进行的模糊查询,而结果能匹配我所需要的。实际情况却是,只能查出来namespace=default和app=test下面的所有日志,而不能进一步的匹配包含“goose migrate start”这句话的日志
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "kubernetes.namespace": "default"
          }
        },
        {
          "term": {
            "kubernetes.labels.application": "test"
          }
        }
      ],
      "should": [
        {
          "match_phrase": {
            "log": {
              "query": "goose migrate start",
              "slop":  50
            }
          }
        }
      ]
    }
  } 收起阅读 »

ElasticSearch的插入新数据和更新指定数据的效率(10000条)

UpdateRequest的upsert方法
插入10000条数据:处理时间154998ms   处理时间188853ms   处理时间85979ms   处理时间128720ms   处理时间140181ms  
处理时间156794ms 
去掉一个最大值、最小值后的平均值:145173.25

更新10000条数据:处理时间106973ms    处理时间80587ms   处理时间148659ms  处理时间314724ms   处理时间89156ms  处理时间115655ms 处理时间79783ms  处理时间111543ms  处理时间85369ms  处理时间95792ms  处理时间93313ms 处理时间145522ms
去掉一个最大值、最小值后的平均值:107257ms
 
prepareIndex(只能插入新数据,不能用来更新数据,否则会覆盖原有的数据)
处理时间60551ms
处理时间45032ms
处理时间95328ms
处理时间39207ms
处理时间75165ms
 
继续阅读 »
UpdateRequest的upsert方法
插入10000条数据:处理时间154998ms   处理时间188853ms   处理时间85979ms   处理时间128720ms   处理时间140181ms  
处理时间156794ms 
去掉一个最大值、最小值后的平均值:145173.25

更新10000条数据:处理时间106973ms    处理时间80587ms   处理时间148659ms  处理时间314724ms   处理时间89156ms  处理时间115655ms 处理时间79783ms  处理时间111543ms  处理时间85369ms  处理时间95792ms  处理时间93313ms 处理时间145522ms
去掉一个最大值、最小值后的平均值:107257ms
 
prepareIndex(只能插入新数据,不能用来更新数据,否则会覆盖原有的数据)
处理时间60551ms
处理时间45032ms
处理时间95328ms
处理时间39207ms
处理时间75165ms
  收起阅读 »

社区日报 第27期 (2017-08-25)

 1. es基础入门知识图谱——让你少走半年弯路!
http://t.cn/RC0RJBB 

2.  ES java API选型看过来 | ES java API深入详解
http://t.cn/RC088PO 

3.  携程技术中心干货 | Elasticsearch相关性打分机制
http://t.cn/RCS5CGR 
 

编辑:laoyang360

归档:https://elasticsearch.cn/article/240
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
 1. es基础入门知识图谱——让你少走半年弯路!
http://t.cn/RC0RJBB 

2.  ES java API选型看过来 | ES java API深入详解
http://t.cn/RC088PO 

3.  携程技术中心干货 | Elasticsearch相关性打分机制
http://t.cn/RCS5CGR 
 

编辑:laoyang360

归档:https://elasticsearch.cn/article/240
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

【腾讯 - 深圳】ES研发工程师

【腾讯 - 深圳】 ES研发工程师
工作职责:
Elasticsearch相关产品的新功能设计、开发、运营和维护工作;
Elasticsearch内核的修改、特性增强等工作;
跟进研究业界前沿技术,推动产品技术升级;

职位要求:
1. 编程能力扎实,熟悉Java/C++中的一种,具有良好的数据结构、算法、操作系统等计算机基本知识;
2. 熟悉ElasticSearch/Lucene开源系统,有实际开发经验者优先;
3. 熟悉Hadoop、HBase、InfluxDB等开源系统,有云计算相关开发经验者优先;
4. 具有敏捷开发、完整产品生命周期开发者优先;
5. 学习能力强,善于独立思考,思维活跃,对技术有强烈激情;

腾讯正在推动ES相关云产品,工作地点深圳,欢迎投递简历:johngqjiang@tencent.com
 
继续阅读 »
【腾讯 - 深圳】 ES研发工程师
工作职责:
Elasticsearch相关产品的新功能设计、开发、运营和维护工作;
Elasticsearch内核的修改、特性增强等工作;
跟进研究业界前沿技术,推动产品技术升级;

职位要求:
1. 编程能力扎实,熟悉Java/C++中的一种,具有良好的数据结构、算法、操作系统等计算机基本知识;
2. 熟悉ElasticSearch/Lucene开源系统,有实际开发经验者优先;
3. 熟悉Hadoop、HBase、InfluxDB等开源系统,有云计算相关开发经验者优先;
4. 具有敏捷开发、完整产品生命周期开发者优先;
5. 学习能力强,善于独立思考,思维活跃,对技术有强烈激情;

腾讯正在推动ES相关云产品,工作地点深圳,欢迎投递简历:johngqjiang@tencent.com
  收起阅读 »

社区日报 第26期 (2017-08-24)

1.即将在elasticsearch 6.0中发布索引排序使用场景及注意事项:http://t.cn/RCCPeZU

2.再来一篇elasticsearch业务场景的性能调优指南:http://t.cn/RCChPYU

3.Elasticsearch 5.x 源码分析 -用plugin来拦截Request、Response 的可行性调研:http://t.cn/R99MMAM

编辑:金桥
归档:https://elasticsearch.cn/article/238
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.即将在elasticsearch 6.0中发布索引排序使用场景及注意事项:http://t.cn/RCCPeZU

2.再来一篇elasticsearch业务场景的性能调优指南:http://t.cn/RCChPYU

3.Elasticsearch 5.x 源码分析 -用plugin来拦截Request、Response 的可行性调研:http://t.cn/R99MMAM

编辑:金桥
归档:https://elasticsearch.cn/article/238
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第25期 (2017-08-23)

1. 京东架构师带你了解基于 Elasticsearch 的卖家日志系统:
http://t.cn/RChUuuA 

2. 老牌架构 ELK 和后起之秀 Graylog 究竟有何差别:
http://t.cn/RCSZiFj 

3. 基于 Elasticsearch 和 Tensorflow 的搜索引擎,花式玩法、仅供参考:
http://t.cn/Ri83uFG 
 
编辑:江水
 
归档:https://elasticsearch.cn/article/237
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. 京东架构师带你了解基于 Elasticsearch 的卖家日志系统:
http://t.cn/RChUuuA 

2. 老牌架构 ELK 和后起之秀 Graylog 究竟有何差别:
http://t.cn/RCSZiFj 

3. 基于 Elasticsearch 和 Tensorflow 的搜索引擎,花式玩法、仅供参考:
http://t.cn/Ri83uFG 
 
编辑:江水
 
归档:https://elasticsearch.cn/article/237
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

【北京 阿里巴巴】 推荐算法资深工程师

岗位职责:
1. 参与/负责地图的个性化的推荐排序 
2. 参与/负责亿级别的用户画像,位置画像及知识库建设 
任职资格:
1. 对数据有敏感的分析能力,能设计合理的效果评价指标,并制定相应的规划 
2. 熟悉常见的分类,聚类,LTR,深度学习等机器学习算法,有推荐领域相关经验
3. 熟练使用C、C++ /Python 
4. 熟悉Linux/Unix 环境开发经验,有hadoop/spark等大数据平台工作经验 
5. 有LBS和搜索相关工作经验优先 
6. 有用户画像,知识库建设相关工作经验者优先
继续阅读 »
岗位职责:
1. 参与/负责地图的个性化的推荐排序 
2. 参与/负责亿级别的用户画像,位置画像及知识库建设 
任职资格:
1. 对数据有敏感的分析能力,能设计合理的效果评价指标,并制定相应的规划 
2. 熟悉常见的分类,聚类,LTR,深度学习等机器学习算法,有推荐领域相关经验
3. 熟练使用C、C++ /Python 
4. 熟悉Linux/Unix 环境开发经验,有hadoop/spark等大数据平台工作经验 
5. 有LBS和搜索相关工作经验优先 
6. 有用户画像,知识库建设相关工作经验者优先 收起阅读 »

【北京 阿里巴巴】 数据挖掘工程师

有意者请投递简历至邮箱zx@foundingaz.com岗位职责:
• 能够熟练使用ODPS、Hadoop实现大数据挖掘和统计工作; 
• 能够基于地图积累的大数据,为了业务目标,完成数据清洗、样本去噪、特征选取分析、模型建立和预估实现等整个流程; 
• 对地图和导航具有一定的看法,能够从问题中提取优化点和工作内容,配合部门目标高效开展工作; 
• 使用阿里大数据平台和算法工具完成模型的工程化,并与业务部门沟通合作,将数据模型应用于实际业务;
任职资格:
• 数据挖掘理论基础,包括回归、决策树、SVM、朴素贝叶斯、神经网络、k-means、PLSA\LDA\HMM等常用算法的适用场景、优点、缺点以及弥补办法 
• 具有包含上述2种以上的模型算法的项目实践经验 
• 熟练掌握Hive\SQL,开展项目工作 
• JAVA\C++\python 至少熟练掌握一种编程语言 
• 数据掘项目经验丰富,在挖掘模型应用上有成功案例,对数据挖掘方法论有深刻理解,能深入分析、定位业务问题,利用挖掘模型解决 
• 熟悉Hadoop、Hive、流式计算、实时计算等大数据相关技术者优先 
• 具有统计理论知识者优先
有意者请投递简历至邮箱zx@foundingaz.com
继续阅读 »
有意者请投递简历至邮箱zx@foundingaz.com岗位职责:
• 能够熟练使用ODPS、Hadoop实现大数据挖掘和统计工作; 
• 能够基于地图积累的大数据,为了业务目标,完成数据清洗、样本去噪、特征选取分析、模型建立和预估实现等整个流程; 
• 对地图和导航具有一定的看法,能够从问题中提取优化点和工作内容,配合部门目标高效开展工作; 
• 使用阿里大数据平台和算法工具完成模型的工程化,并与业务部门沟通合作,将数据模型应用于实际业务;
任职资格:
• 数据挖掘理论基础,包括回归、决策树、SVM、朴素贝叶斯、神经网络、k-means、PLSA\LDA\HMM等常用算法的适用场景、优点、缺点以及弥补办法 
• 具有包含上述2种以上的模型算法的项目实践经验 
• 熟练掌握Hive\SQL,开展项目工作 
• JAVA\C++\python 至少熟练掌握一种编程语言 
• 数据掘项目经验丰富,在挖掘模型应用上有成功案例,对数据挖掘方法论有深刻理解,能深入分析、定位业务问题,利用挖掘模型解决 
• 熟悉Hadoop、Hive、流式计算、实时计算等大数据相关技术者优先 
• 具有统计理论知识者优先
有意者请投递简历至邮箱zx@foundingaz.com 收起阅读 »

社区日报 第24期 (2017-08-22)

1.你知道ES可以索引PDF、IP地理位置、用户代理信息吗,qbox工程师为你解惑。http://t.cn/RC2HmNs 

2.ES6强大的集群认证和TLS安全特性,让我们来一探究竟。http://t.cn/RCxlBuj 

3.内功修练,面试必备,Solr和ES TOP15的差异,你能道出多少?http://t.cn/RC2Rf1G 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/234
订阅:https://tinyletter.com/elastic-daily 
 
继续阅读 »
1.你知道ES可以索引PDF、IP地理位置、用户代理信息吗,qbox工程师为你解惑。http://t.cn/RC2HmNs 

2.ES6强大的集群认证和TLS安全特性,让我们来一探究竟。http://t.cn/RCxlBuj 

3.内功修练,面试必备,Solr和ES TOP15的差异,你能道出多少?http://t.cn/RC2Rf1G 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/234
订阅:https://tinyletter.com/elastic-daily 
  收起阅读 »

【北京 去哪儿】搜索开发工程师

北京去哪儿招聘搜索开发工程师,急招岗位职责:
1、负责搜索排序的系统设计和可发,并与业务相结合;
2、技术和业务架构设计优化、梳理和解决系统关键问题和难题。
职位要求:
1、本科以上学历,1-4年经验,可接受16年毕业优秀工程师;
2、具有良好的数据结构/算法、忘了、操作系统等计算机基础知识;
3、精通Java,熟悉各种中间件技术,熟悉各种常见数据库,熟悉网络编程,多线程编程;
4、熟悉kafka,elasticsearch等系统,并且基于相关集群做过开发工作;
5、有搜索或者推荐系统相关算法经验者优先。
工作地点:北京西小口东升科技园
简历请投递:chuoying.huang@qunar.com
继续阅读 »
北京去哪儿招聘搜索开发工程师,急招岗位职责:
1、负责搜索排序的系统设计和可发,并与业务相结合;
2、技术和业务架构设计优化、梳理和解决系统关键问题和难题。
职位要求:
1、本科以上学历,1-4年经验,可接受16年毕业优秀工程师;
2、具有良好的数据结构/算法、忘了、操作系统等计算机基础知识;
3、精通Java,熟悉各种中间件技术,熟悉各种常见数据库,熟悉网络编程,多线程编程;
4、熟悉kafka,elasticsearch等系统,并且基于相关集群做过开发工作;
5、有搜索或者推荐系统相关算法经验者优先。
工作地点:北京西小口东升科技园
简历请投递:chuoying.huang@qunar.com 收起阅读 »