一个关于模糊查询的问题

一个关于模糊查询的问题,比如我的每条日志都有几个标签:namespace , app , service ,pod等等,要在按照这几个标签查出来的日志中进行模糊匹配(即关键字搜索),该怎么写查询语句?下面这个查询语句无法达到预期,就是不能满足在规定了namespace和application之后,再进行的模糊查询,而结果能匹配我所需要的。实际情况却是,只能查出来namespace=default和app=test下面的所有日志,而不能进一步的匹配包含“goose migrate start”这句话的日志
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "kubernetes.namespace": "default"
          }
        },
        {
          "term": {
            "kubernetes.labels.application": "test"
          }
        }
      ],
      "should": [
        {
          "match_phrase": {
            "log": {
              "query": "goose migrate start",
              "slop":  50
            }
          }
        }
      ]
    }
  }
继续阅读 »
一个关于模糊查询的问题,比如我的每条日志都有几个标签:namespace , app , service ,pod等等,要在按照这几个标签查出来的日志中进行模糊匹配(即关键字搜索),该怎么写查询语句?下面这个查询语句无法达到预期,就是不能满足在规定了namespace和application之后,再进行的模糊查询,而结果能匹配我所需要的。实际情况却是,只能查出来namespace=default和app=test下面的所有日志,而不能进一步的匹配包含“goose migrate start”这句话的日志
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "kubernetes.namespace": "default"
          }
        },
        {
          "term": {
            "kubernetes.labels.application": "test"
          }
        }
      ],
      "should": [
        {
          "match_phrase": {
            "log": {
              "query": "goose migrate start",
              "slop":  50
            }
          }
        }
      ]
    }
  } 收起阅读 »

ElasticSearch的插入新数据和更新指定数据的效率(10000条)

UpdateRequest的upsert方法
插入10000条数据:处理时间154998ms   处理时间188853ms   处理时间85979ms   处理时间128720ms   处理时间140181ms  
处理时间156794ms 
去掉一个最大值、最小值后的平均值:145173.25

更新10000条数据:处理时间106973ms    处理时间80587ms   处理时间148659ms  处理时间314724ms   处理时间89156ms  处理时间115655ms 处理时间79783ms  处理时间111543ms  处理时间85369ms  处理时间95792ms  处理时间93313ms 处理时间145522ms
去掉一个最大值、最小值后的平均值:107257ms
 
prepareIndex(只能插入新数据,不能用来更新数据,否则会覆盖原有的数据)
处理时间60551ms
处理时间45032ms
处理时间95328ms
处理时间39207ms
处理时间75165ms
 
继续阅读 »
UpdateRequest的upsert方法
插入10000条数据:处理时间154998ms   处理时间188853ms   处理时间85979ms   处理时间128720ms   处理时间140181ms  
处理时间156794ms 
去掉一个最大值、最小值后的平均值:145173.25

更新10000条数据:处理时间106973ms    处理时间80587ms   处理时间148659ms  处理时间314724ms   处理时间89156ms  处理时间115655ms 处理时间79783ms  处理时间111543ms  处理时间85369ms  处理时间95792ms  处理时间93313ms 处理时间145522ms
去掉一个最大值、最小值后的平均值:107257ms
 
prepareIndex(只能插入新数据,不能用来更新数据,否则会覆盖原有的数据)
处理时间60551ms
处理时间45032ms
处理时间95328ms
处理时间39207ms
处理时间75165ms
  收起阅读 »

Elastic日报 第27期 (2017-08-25)

 1. es基础入门知识图谱——让你少走半年弯路!
http://t.cn/RC0RJBB 

2.  ES java API选型看过来 | ES java API深入详解
http://t.cn/RC088PO 

3.  携程技术中心干货 | Elasticsearch相关性打分机制
http://t.cn/RCS5CGR 
 

编辑:laoyang360

归档:https://elasticsearch.cn/article/240
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
 1. es基础入门知识图谱——让你少走半年弯路!
http://t.cn/RC0RJBB 

2.  ES java API选型看过来 | ES java API深入详解
http://t.cn/RC088PO 

3.  携程技术中心干货 | Elasticsearch相关性打分机制
http://t.cn/RCS5CGR 
 

编辑:laoyang360

归档:https://elasticsearch.cn/article/240
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

【腾讯 - 深圳】ES研发工程师

【腾讯 - 深圳】 ES研发工程师
工作职责:
Elasticsearch相关产品的新功能设计、开发、运营和维护工作;
Elasticsearch内核的修改、特性增强等工作;
跟进研究业界前沿技术,推动产品技术升级;

职位要求:
1. 编程能力扎实,熟悉Java/C++中的一种,具有良好的数据结构、算法、操作系统等计算机基本知识;
2. 熟悉ElasticSearch/Lucene开源系统,有实际开发经验者优先;
3. 熟悉Hadoop、HBase、InfluxDB等开源系统,有云计算相关开发经验者优先;
4. 具有敏捷开发、完整产品生命周期开发者优先;
5. 学习能力强,善于独立思考,思维活跃,对技术有强烈激情;

腾讯正在推动ES相关云产品,工作地点深圳,欢迎投递简历:johngqjiang@tencent.com
 
继续阅读 »
【腾讯 - 深圳】 ES研发工程师
工作职责:
Elasticsearch相关产品的新功能设计、开发、运营和维护工作;
Elasticsearch内核的修改、特性增强等工作;
跟进研究业界前沿技术,推动产品技术升级;

职位要求:
1. 编程能力扎实,熟悉Java/C++中的一种,具有良好的数据结构、算法、操作系统等计算机基本知识;
2. 熟悉ElasticSearch/Lucene开源系统,有实际开发经验者优先;
3. 熟悉Hadoop、HBase、InfluxDB等开源系统,有云计算相关开发经验者优先;
4. 具有敏捷开发、完整产品生命周期开发者优先;
5. 学习能力强,善于独立思考,思维活跃,对技术有强烈激情;

腾讯正在推动ES相关云产品,工作地点深圳,欢迎投递简历:johngqjiang@tencent.com
  收起阅读 »

Elastic日报 第26期 (2017-08-24)

1.即将在elasticsearch 6.0中发布索引排序使用场景及注意事项:http://t.cn/RCCPeZU

2.再来一篇elasticsearch业务场景的性能调优指南:http://t.cn/RCChPYU

3.Elasticsearch 5.x 源码分析 -用plugin来拦截Request、Response 的可行性调研:http://t.cn/R99MMAM

编辑:金桥
归档:https://elasticsearch.cn/article/238
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.即将在elasticsearch 6.0中发布索引排序使用场景及注意事项:http://t.cn/RCCPeZU

2.再来一篇elasticsearch业务场景的性能调优指南:http://t.cn/RCChPYU

3.Elasticsearch 5.x 源码分析 -用plugin来拦截Request、Response 的可行性调研:http://t.cn/R99MMAM

编辑:金桥
归档:https://elasticsearch.cn/article/238
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

Elastic日报 第25期 (2017-08-23)

1. 京东架构师带你了解基于 Elasticsearch 的卖家日志系统:
http://t.cn/RChUuuA 

2. 老牌架构 ELK 和后起之秀 Graylog 究竟有何差别:
http://t.cn/RCSZiFj 

3. 基于 Elasticsearch 和 Tensorflow 的搜索引擎,花式玩法、仅供参考:
http://t.cn/Ri83uFG 
 
编辑:江水
 
归档:https://elasticsearch.cn/article/237
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. 京东架构师带你了解基于 Elasticsearch 的卖家日志系统:
http://t.cn/RChUuuA 

2. 老牌架构 ELK 和后起之秀 Graylog 究竟有何差别:
http://t.cn/RCSZiFj 

3. 基于 Elasticsearch 和 Tensorflow 的搜索引擎,花式玩法、仅供参考:
http://t.cn/Ri83uFG 
 
编辑:江水
 
归档:https://elasticsearch.cn/article/237
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

【北京 阿里巴巴】 推荐算法资深工程师

岗位职责:
1. 参与/负责地图的个性化的推荐排序 
2. 参与/负责亿级别的用户画像,位置画像及知识库建设 
任职资格:
1. 对数据有敏感的分析能力,能设计合理的效果评价指标,并制定相应的规划 
2. 熟悉常见的分类,聚类,LTR,深度学习等机器学习算法,有推荐领域相关经验
3. 熟练使用C、C++ /Python 
4. 熟悉Linux/Unix 环境开发经验,有hadoop/spark等大数据平台工作经验 
5. 有LBS和搜索相关工作经验优先 
6. 有用户画像,知识库建设相关工作经验者优先
继续阅读 »
岗位职责:
1. 参与/负责地图的个性化的推荐排序 
2. 参与/负责亿级别的用户画像,位置画像及知识库建设 
任职资格:
1. 对数据有敏感的分析能力,能设计合理的效果评价指标,并制定相应的规划 
2. 熟悉常见的分类,聚类,LTR,深度学习等机器学习算法,有推荐领域相关经验
3. 熟练使用C、C++ /Python 
4. 熟悉Linux/Unix 环境开发经验,有hadoop/spark等大数据平台工作经验 
5. 有LBS和搜索相关工作经验优先 
6. 有用户画像,知识库建设相关工作经验者优先 收起阅读 »

【北京 阿里巴巴】 数据挖掘工程师

有意者请投递简历至邮箱zx@foundingaz.com岗位职责:
• 能够熟练使用ODPS、Hadoop实现大数据挖掘和统计工作; 
• 能够基于地图积累的大数据,为了业务目标,完成数据清洗、样本去噪、特征选取分析、模型建立和预估实现等整个流程; 
• 对地图和导航具有一定的看法,能够从问题中提取优化点和工作内容,配合部门目标高效开展工作; 
• 使用阿里大数据平台和算法工具完成模型的工程化,并与业务部门沟通合作,将数据模型应用于实际业务;
任职资格:
• 数据挖掘理论基础,包括回归、决策树、SVM、朴素贝叶斯、神经网络、k-means、PLSA\LDA\HMM等常用算法的适用场景、优点、缺点以及弥补办法 
• 具有包含上述2种以上的模型算法的项目实践经验 
• 熟练掌握Hive\SQL,开展项目工作 
• JAVA\C++\python 至少熟练掌握一种编程语言 
• 数据掘项目经验丰富,在挖掘模型应用上有成功案例,对数据挖掘方法论有深刻理解,能深入分析、定位业务问题,利用挖掘模型解决 
• 熟悉Hadoop、Hive、流式计算、实时计算等大数据相关技术者优先 
• 具有统计理论知识者优先
有意者请投递简历至邮箱zx@foundingaz.com
继续阅读 »
有意者请投递简历至邮箱zx@foundingaz.com岗位职责:
• 能够熟练使用ODPS、Hadoop实现大数据挖掘和统计工作; 
• 能够基于地图积累的大数据,为了业务目标,完成数据清洗、样本去噪、特征选取分析、模型建立和预估实现等整个流程; 
• 对地图和导航具有一定的看法,能够从问题中提取优化点和工作内容,配合部门目标高效开展工作; 
• 使用阿里大数据平台和算法工具完成模型的工程化,并与业务部门沟通合作,将数据模型应用于实际业务;
任职资格:
• 数据挖掘理论基础,包括回归、决策树、SVM、朴素贝叶斯、神经网络、k-means、PLSA\LDA\HMM等常用算法的适用场景、优点、缺点以及弥补办法 
• 具有包含上述2种以上的模型算法的项目实践经验 
• 熟练掌握Hive\SQL,开展项目工作 
• JAVA\C++\python 至少熟练掌握一种编程语言 
• 数据掘项目经验丰富,在挖掘模型应用上有成功案例,对数据挖掘方法论有深刻理解,能深入分析、定位业务问题,利用挖掘模型解决 
• 熟悉Hadoop、Hive、流式计算、实时计算等大数据相关技术者优先 
• 具有统计理论知识者优先
有意者请投递简历至邮箱zx@foundingaz.com 收起阅读 »

Elastic日报 第24期 (2017-08-22)

1.你知道ES可以索引PDF、IP地理位置、用户代理信息吗,qbox工程师为你解惑。http://t.cn/RC2HmNs 

2.ES6强大的集群认证和TLS安全特性,让我们来一探究竟。http://t.cn/RCxlBuj 

3.内功修练,面试必备,Solr和ES TOP15的差异,你能道出多少?http://t.cn/RC2Rf1G 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/234
订阅:https://tinyletter.com/elastic-daily 
 
继续阅读 »
1.你知道ES可以索引PDF、IP地理位置、用户代理信息吗,qbox工程师为你解惑。http://t.cn/RC2HmNs 

2.ES6强大的集群认证和TLS安全特性,让我们来一探究竟。http://t.cn/RCxlBuj 

3.内功修练,面试必备,Solr和ES TOP15的差异,你能道出多少?http://t.cn/RC2Rf1G 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/234
订阅:https://tinyletter.com/elastic-daily 
  收起阅读 »

【北京 去哪儿】搜索开发工程师

北京去哪儿招聘搜索开发工程师,急招岗位职责:
1、负责搜索排序的系统设计和可发,并与业务相结合;
2、技术和业务架构设计优化、梳理和解决系统关键问题和难题。
职位要求:
1、本科以上学历,1-4年经验,可接受16年毕业优秀工程师;
2、具有良好的数据结构/算法、忘了、操作系统等计算机基础知识;
3、精通Java,熟悉各种中间件技术,熟悉各种常见数据库,熟悉网络编程,多线程编程;
4、熟悉kafka,elasticsearch等系统,并且基于相关集群做过开发工作;
5、有搜索或者推荐系统相关算法经验者优先。
工作地点:北京西小口东升科技园
简历请投递:chuoying.huang@qunar.com
继续阅读 »
北京去哪儿招聘搜索开发工程师,急招岗位职责:
1、负责搜索排序的系统设计和可发,并与业务相结合;
2、技术和业务架构设计优化、梳理和解决系统关键问题和难题。
职位要求:
1、本科以上学历,1-4年经验,可接受16年毕业优秀工程师;
2、具有良好的数据结构/算法、忘了、操作系统等计算机基础知识;
3、精通Java,熟悉各种中间件技术,熟悉各种常见数据库,熟悉网络编程,多线程编程;
4、熟悉kafka,elasticsearch等系统,并且基于相关集群做过开发工作;
5、有搜索或者推荐系统相关算法经验者优先。
工作地点:北京西小口东升科技园
简历请投递:chuoying.huang@qunar.com 收起阅读 »

Elastic日报 第23期 (2017-08-21)

1.Kibana 图表中的 Visual Builder 还没用过?先来看看油管上的官方演示视频(自备梯子) http://t.cn/RCVjwya  http://t.cn/RCVjyNL

2.还是 Visual Builder,再来详细入个门吧!http://t.cn/RCVj5Wm

3.来学习下如何使用 Elastic Stack 来分析 NYC 311 的电话记录!(自备梯子) http://t.cn/RCVjJuc


招聘启事:
Elastic日报招聘编辑一名,负责日报相关事宜,机不可失,感兴趣的请加微信 rockybean 私聊!
编辑要求如下:
1. 熟悉Elastic相关产品,可以筛选相关高质量文章
2. 有一定文字组织能力,可以快速提炼文章精华,写出概要推荐语
3. 轻功要好

编辑:rockybean
归档:https://elasticsearch.cn/article/232
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.Kibana 图表中的 Visual Builder 还没用过?先来看看油管上的官方演示视频(自备梯子) http://t.cn/RCVjwya  http://t.cn/RCVjyNL

2.还是 Visual Builder,再来详细入个门吧!http://t.cn/RCVj5Wm

3.来学习下如何使用 Elastic Stack 来分析 NYC 311 的电话记录!(自备梯子) http://t.cn/RCVjJuc


招聘启事:
Elastic日报招聘编辑一名,负责日报相关事宜,机不可失,感兴趣的请加微信 rockybean 私聊!
编辑要求如下:
1. 熟悉Elastic相关产品,可以筛选相关高质量文章
2. 有一定文字组织能力,可以快速提炼文章精华,写出概要推荐语
3. 轻功要好

编辑:rockybean
归档:https://elasticsearch.cn/article/232
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

Elastic日报 第22期 (2017-08-20)

1. 自动同步MySQL数据到Elasticsearch:
http://t.cn/RC44piW
2. 如何使用Filebeat自动跟踪Linux系统日志文件并传送到Elasticsearch
http://t.cn/RCqAWlU
3. 刷爆朋友圈的「我们是谁」图片,用小程序也能一键生成,超简单超好笑!
http://t.cn/RCwTd4x

编辑:至尊宝

归档:https://elasticsearch.cn/article/231
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. 自动同步MySQL数据到Elasticsearch:
http://t.cn/RC44piW
2. 如何使用Filebeat自动跟踪Linux系统日志文件并传送到Elasticsearch
http://t.cn/RCqAWlU
3. 刷爆朋友圈的「我们是谁」图片,用小程序也能一键生成,超简单超好笑!
http://t.cn/RCwTd4x

编辑:至尊宝

归档:https://elasticsearch.cn/article/231
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

Elastic日报 第21期 (2017-08-19)

1. filters操作一定在query前执行吗?事实比你想象的要复杂一点!

http://t.cn/RCwV6RP

   

2. 深度好文,看看你的集群还有哪里可以继续优化?   

part1:http://t.cn/RCwMJWl 

part2:http://t.cn/RCwMSzb 

part3:http://t.cn/RCwMKrA 




编辑:bsll

归档:https://elasticsearch.cn/article/230
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. filters操作一定在query前执行吗?事实比你想象的要复杂一点!

http://t.cn/RCwV6RP

   

2. 深度好文,看看你的集群还有哪里可以继续优化?   

part1:http://t.cn/RCwMJWl 

part2:http://t.cn/RCwMSzb 

part3:http://t.cn/RCwMKrA 




编辑:bsll

归档:https://elasticsearch.cn/article/230
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

Elastic日报 第20期 (2017-08-18)

1.阮一峰老师也来推荐 elasticsearch 了,还不赶紧用起来!http://t.cn/RCZ7g3x

2.想引入SSD来提升es的读写性能,但又不是土豪,来看看冷热分离的方案吧!http://t.cn/RCAnz4Y

3.推荐油管上的一个视频:用Elastic Stack 来收集和分析网络数据,各种炫酷可视化UI(请自备梯子)http://t.cn/RCAnXiA

编辑:rockybean

归档:https://elasticsearch.cn/article/229

订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.阮一峰老师也来推荐 elasticsearch 了,还不赶紧用起来!http://t.cn/RCZ7g3x

2.想引入SSD来提升es的读写性能,但又不是土豪,来看看冷热分离的方案吧!http://t.cn/RCAnz4Y

3.推荐油管上的一个视频:用Elastic Stack 来收集和分析网络数据,各种炫酷可视化UI(请自备梯子)http://t.cn/RCAnXiA

编辑:rockybean

归档:https://elasticsearch.cn/article/229

订阅:https://tinyletter.com/elastic-daily 收起阅读 »

Elastic日报 第19期 (2017-08-17)

1.用if else 来清洗多个数据流?Logstash 6.0给你呈现新的解决办法:http://t.cn/RC7P3LH

2.还在用shell管理elasticsearch数据?out啦!这篇文章教你用elasticsearch-curator管理elasticsearch数据:http://t.cn/RC7Pdvv

3.用ansible来部署你的elastic stack:http://t.cn/RC7Peo9

编辑:金桥
归档:https://elasticsearch.cn/article/228
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.用if else 来清洗多个数据流?Logstash 6.0给你呈现新的解决办法:http://t.cn/RC7P3LH

2.还在用shell管理elasticsearch数据?out啦!这篇文章教你用elasticsearch-curator管理elasticsearch数据:http://t.cn/RC7Pdvv

3.用ansible来部署你的elastic stack:http://t.cn/RC7Peo9

编辑:金桥
归档:https://elasticsearch.cn/article/228
订阅:https://tinyletter.com/elastic-daily 收起阅读 »