Elastic日报 第60期 (2017-09-27)

1. Elasticsearch大文件检索性能优化
http://t.cn/R0SZfFx 
2. 利用Elasticsearch、Beats、Logstash、Grafana完成API实时监控(需要翻墙)
http://t.cn/R0SZo52 
3. 小众SKD Elasticsearch的Lua客户端(Github)
http://t.cn/RLZkGbS 
 
滴滴招聘:
https://elasticsearch.cn/article/296 
 
编辑:江水
归档:https://elasticsearch.cn/article/298 
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. Elasticsearch大文件检索性能优化
http://t.cn/R0SZfFx 
2. 利用Elasticsearch、Beats、Logstash、Grafana完成API实时监控(需要翻墙)
http://t.cn/R0SZo52 
3. 小众SKD Elasticsearch的Lua客户端(Github)
http://t.cn/RLZkGbS 
 
滴滴招聘:
https://elasticsearch.cn/article/296 
 
编辑:江水
归档:https://elasticsearch.cn/article/298 
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

【滴滴招聘】ES技术专家

工作地点:杭州

薪资待遇:25k ~ 50k

工作挑战:
 
PB级数据的检索平台,峰值千万条数据的实时写入,1000+ES节点,数百个线上应用场景的支撑。

工作职责:

1. 独立完成中大型项目的系统分析、设计,并能够完成核心代码的编写,确保技术方案能够按计划要求,高质量的完成;
2. 具有一定的技术架构思维,确保设计的技术方案、开发的代码有较高性能、质量保障、扩展性,前瞻性;
3. 对技术有较强的钻研及学习精神,能够深入了解开源技术、现有系统技术等相关技术原理,出现问题时能够通过较强的技术手段较好的解决问题;

岗位要求:

1. JAVA基础扎实,理解io、多线程、集合等基础框架,对JVM原理有一定的了解;
2. 3年及以上使用JAVA开发的经验,对于用过的开源框架,能了解到它的原理和机制;
3. 对spring,mybatis,kafka,spark,elasticsearch等开源框架熟悉者优先;
4. 熟悉分布式系统的设计和应用,能对分布式常用技术进行合理应用,解决问题;
5. 掌握多线程及高性能的设计与编码及性能调优;有高并发应用开发经验优先;
6. 学习能力强,适应能力好;具备耐心/细心的品质;
7. 我们希望你喜欢去看及尝试最新的技术,追求编写优雅的代码,从技术趋势和思路上能影响技术团队
 
简历投递:weizijun@didichuxing.com
 
继续阅读 »
工作地点:杭州

薪资待遇:25k ~ 50k

工作挑战:
 
PB级数据的检索平台,峰值千万条数据的实时写入,1000+ES节点,数百个线上应用场景的支撑。

工作职责:

1. 独立完成中大型项目的系统分析、设计,并能够完成核心代码的编写,确保技术方案能够按计划要求,高质量的完成;
2. 具有一定的技术架构思维,确保设计的技术方案、开发的代码有较高性能、质量保障、扩展性,前瞻性;
3. 对技术有较强的钻研及学习精神,能够深入了解开源技术、现有系统技术等相关技术原理,出现问题时能够通过较强的技术手段较好的解决问题;

岗位要求:

1. JAVA基础扎实,理解io、多线程、集合等基础框架,对JVM原理有一定的了解;
2. 3年及以上使用JAVA开发的经验,对于用过的开源框架,能了解到它的原理和机制;
3. 对spring,mybatis,kafka,spark,elasticsearch等开源框架熟悉者优先;
4. 熟悉分布式系统的设计和应用,能对分布式常用技术进行合理应用,解决问题;
5. 掌握多线程及高性能的设计与编码及性能调优;有高并发应用开发经验优先;
6. 学习能力强,适应能力好;具备耐心/细心的品质;
7. 我们希望你喜欢去看及尝试最新的技术,追求编写优雅的代码,从技术趋势和思路上能影响技术团队
 
简历投递:weizijun@didichuxing.com
  收起阅读 »

Elastic日报 第59期 (2017-09-26)

1.如何用亚马逊S3存储一个ES服务索引。
http://t.cn/R0fAJwK 
2.ELK实战 - 利用Nginx日志分析API耗时。
http://t.cn/R6sgQfU 
3.Kibana中的地区分布图和仪表盘工具,强大而又实用。
http://t.cn/Rpry9fv 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/295 
订阅:https://tinyletter.com/elastic-daily 

 
继续阅读 »
1.如何用亚马逊S3存储一个ES服务索引。
http://t.cn/R0fAJwK 
2.ELK实战 - 利用Nginx日志分析API耗时。
http://t.cn/R6sgQfU 
3.Kibana中的地区分布图和仪表盘工具,强大而又实用。
http://t.cn/Rpry9fv 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/295 
订阅:https://tinyletter.com/elastic-daily 

  收起阅读 »

​Elastic日报 第58期 (2017-09-25)

1.沃玛特的准实时零售数据分析。
http://t.cn/R0cFOIz

2.(自备梯子)如何完成360亿数据的reindex。
http://t.cn/R0VPRLa

3.使用Beats?elastic发布了一个关于Beats的问卷,填写它来帮助Beats更好的发展。
http://t.cn/R0VZZAL 

编辑:cyberdak
归档:https://elasticsearch.cn/article/294
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1.沃玛特的准实时零售数据分析。
http://t.cn/R0cFOIz

2.(自备梯子)如何完成360亿数据的reindex。
http://t.cn/R0VPRLa

3.使用Beats?elastic发布了一个关于Beats的问卷,填写它来帮助Beats更好的发展。
http://t.cn/R0VZZAL 

编辑:cyberdak
归档:https://elasticsearch.cn/article/294
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

Elastic日报 第57期 (2017-09-24)

1.如何在Node.js应用中集成Elasticsearch。
http://t.cn/R0GmjQC
2.(自备梯子)不仅仅是一篇Elasticsearch入门级文章!看看别人的团队是怎么选的吧。
http://t.cn/R0GmTgf
3.Elasticsearch最佳实践,看看大牛在日常工作中都是怎么做的。
http://t.cn/R0Gm8bE

编辑:至尊宝
归档:https://elasticsearch.cn/article/293
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.如何在Node.js应用中集成Elasticsearch。
http://t.cn/R0GmjQC
2.(自备梯子)不仅仅是一篇Elasticsearch入门级文章!看看别人的团队是怎么选的吧。
http://t.cn/R0GmTgf
3.Elasticsearch最佳实践,看看大牛在日常工作中都是怎么做的。
http://t.cn/R0Gm8bE

编辑:至尊宝
归档:https://elasticsearch.cn/article/293
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

​Elastic日报 第56期 (2017-09-23)

1、学习深度定制自己的分析器

http://t.cn/RCTbs2d

2. es6.0节省了更多的存储空间,你知道原因吗?

http://t.cn/R0LvDlt

3.  一个用elasticsearch追踪网站点击的案例

http://t.cn/R9kMs8G



编辑:bsll

归档:https://www.elasticsearch.cn/article/292

订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1、学习深度定制自己的分析器

http://t.cn/RCTbs2d

2. es6.0节省了更多的存储空间,你知道原因吗?

http://t.cn/R0LvDlt

3.  一个用elasticsearch追踪网站点击的案例

http://t.cn/R9kMs8G



编辑:bsll

归档:https://www.elasticsearch.cn/article/292

订阅:https://tinyletter.com/elastic-daily 收起阅读 »

Elastic日报 第55期 (2017-09-22)

1、Elasticsearch 常用数据结构及算法深入解读PPT
http://t.cn/R0297wW 
2、这一招,解决了mysql与elasticsearch删除同步的难题!
http://t.cn/R029ld9 
3、ElasticPress | 基于Elasticsearch构建你的wordpress博客检索助手!
http://t.cn/R07kUUQ 
 
编辑:laoyang360
归档:https://www.elasticsearch.cn/article/290 
订阅:https://tinyletter.com/elastic-daily 


 
继续阅读 »
1、Elasticsearch 常用数据结构及算法深入解读PPT
http://t.cn/R0297wW 
2、这一招,解决了mysql与elasticsearch删除同步的难题!
http://t.cn/R029ld9 
3、ElasticPress | 基于Elasticsearch构建你的wordpress博客检索助手!
http://t.cn/R07kUUQ 
 
编辑:laoyang360
归档:https://www.elasticsearch.cn/article/290 
订阅:https://tinyletter.com/elastic-daily 


  收起阅读 »

【摩拜招聘】ES高级工程师

【摩拜-北京】 ES高级工程师
工作职责:
开发、维护ES,支持各种场景需求
开发、维护fluentd/flume/kafka等大数据产品
业务推动,解决大数据、高并发下的产品需求
跟进研究业界前沿技术,推动产品技术升级

职位要求:
1. 编程能力扎实,熟悉Java/C++/go中的一种,具有良好的数据结构、算法、操作系统等计算机基本知识;
2. 熟悉ElasticSearch/Lucene开源系统,有实际开发经验者优先;
3. 具有敏捷开发、完整产品生命周期开发者优先;
4. 学习能力强,善于独立思考,思维活跃,对技术有强烈激情;

欢迎投递简历:zhengchangshuai@mobike.com
薪资20K~50K
公司属于高速成长的独角兽,非常国际化的一家公司,具体感兴趣的请发简历到邮箱
继续阅读 »
【摩拜-北京】 ES高级工程师
工作职责:
开发、维护ES,支持各种场景需求
开发、维护fluentd/flume/kafka等大数据产品
业务推动,解决大数据、高并发下的产品需求
跟进研究业界前沿技术,推动产品技术升级

职位要求:
1. 编程能力扎实,熟悉Java/C++/go中的一种,具有良好的数据结构、算法、操作系统等计算机基本知识;
2. 熟悉ElasticSearch/Lucene开源系统,有实际开发经验者优先;
3. 具有敏捷开发、完整产品生命周期开发者优先;
4. 学习能力强,善于独立思考,思维活跃,对技术有强烈激情;

欢迎投递简历:zhengchangshuai@mobike.com
薪资20K~50K
公司属于高速成长的独角兽,非常国际化的一家公司,具体感兴趣的请发简历到邮箱 收起阅读 »

Elastic日报 第54期 (2017-09-21)

1.使用esrally深入elasticsearch的性能测试 https://elasticsearch.cn/article/275
2.还在为设置es的分片数量纠结?一篇文章教你全部 http://t.cn/R0vFh2G
3.基于elasticsearch nested object的关联分析 http://t.cn/R0vFMG9

编辑:金桥
归档:https://elasticsearch.cn/article/287
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.使用esrally深入elasticsearch的性能测试 https://elasticsearch.cn/article/275
2.还在为设置es的分片数量纠结?一篇文章教你全部 http://t.cn/R0vFh2G
3.基于elasticsearch nested object的关联分析 http://t.cn/R0vFMG9

编辑:金桥
归档:https://elasticsearch.cn/article/287
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

nginx和kibana/es集成

利用elk搞了一个日志平台,随着日志越来越多,使用的人反应kibana上查询比较慢。kibana虽然有日志,但记录的信息不全,无法分析到底是什么样的查询比较慢。因此考虑在kibana和elk之间加一个nginx。主要作用有两个:
1、记录kibana的每个请求日志
2、kibana通过nginx连到es,可以实现负载均衡的请求es。
集成方法比较简单,在任意一台机器上安装nginx,nginx里配置es相关信息,kibana配置文件中的elasticsearch.url改成nginx相应的ip和监听端口即可。
nginx配置文件的主要内容如下:
    upstream elasticsearch {
        server 10.10.10.1:9200;
        server 10.10.10.2:9200;
        server 10.10.10.3:9200;
        keepalive 10;
    }

    server {
        listen       8888;
        server_name  hostname;

        location / {
            proxy_pass http://elasticsearch;

            access_log_bypass_if ($request = 'HEAD / HTTP/1.1');
            access_log_bypass_if ($request = 'GET /_nodes?filter_path=nodes.*.version%2Cnodes.*.http.publish_address%2Cnodes.*.ip HTTP/1.1');
            access_log_bypass_if ($request = 'GET /_nodes/_local?filter_path=nodes.*.settings.tribe HTTP/1.1');
            access_log_bypass_if ($request_body = '{\"docs\":[{\"_index\":\".kibana\",\"_type\":\"config\",\"_id\":\"5.5.1\"}]}');
            access_log_bypass_if ($request = 'GET /_cluster/health/.kibana?timeout=5s HTTP/1.1');
            access_log_bypass_if ($request = 'POST /.kibana/config/_search HTTP/1.1');
            access_log_bypass_if ($request = 'GET /_cluster/settings?include_defaults=true&filter_path=**.script.engine.*.inline HTTP/1.1');
            access_log_bypass_if ($request = 'GET /_aliases HTTP/1.1');
            access_log_bypass_if ($request = 'GET /_mapping HTTP/1.1');
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

    }
 
upstream定义了es有哪些节点。另外,nginx加了日志过滤模块ngx_log_if,用来过滤kibana和es之间的心跳请求日志,这个模块可以在github上下载
继续阅读 »
利用elk搞了一个日志平台,随着日志越来越多,使用的人反应kibana上查询比较慢。kibana虽然有日志,但记录的信息不全,无法分析到底是什么样的查询比较慢。因此考虑在kibana和elk之间加一个nginx。主要作用有两个:
1、记录kibana的每个请求日志
2、kibana通过nginx连到es,可以实现负载均衡的请求es。
集成方法比较简单,在任意一台机器上安装nginx,nginx里配置es相关信息,kibana配置文件中的elasticsearch.url改成nginx相应的ip和监听端口即可。
nginx配置文件的主要内容如下:
    upstream elasticsearch {
        server 10.10.10.1:9200;
        server 10.10.10.2:9200;
        server 10.10.10.3:9200;
        keepalive 10;
    }

    server {
        listen       8888;
        server_name  hostname;

        location / {
            proxy_pass http://elasticsearch;

            access_log_bypass_if ($request = 'HEAD / HTTP/1.1');
            access_log_bypass_if ($request = 'GET /_nodes?filter_path=nodes.*.version%2Cnodes.*.http.publish_address%2Cnodes.*.ip HTTP/1.1');
            access_log_bypass_if ($request = 'GET /_nodes/_local?filter_path=nodes.*.settings.tribe HTTP/1.1');
            access_log_bypass_if ($request_body = '{\"docs\":[{\"_index\":\".kibana\",\"_type\":\"config\",\"_id\":\"5.5.1\"}]}');
            access_log_bypass_if ($request = 'GET /_cluster/health/.kibana?timeout=5s HTTP/1.1');
            access_log_bypass_if ($request = 'POST /.kibana/config/_search HTTP/1.1');
            access_log_bypass_if ($request = 'GET /_cluster/settings?include_defaults=true&filter_path=**.script.engine.*.inline HTTP/1.1');
            access_log_bypass_if ($request = 'GET /_aliases HTTP/1.1');
            access_log_bypass_if ($request = 'GET /_mapping HTTP/1.1');
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

    }
 
upstream定义了es有哪些节点。另外,nginx加了日志过滤模块ngx_log_if,用来过滤kibana和es之间的心跳请求日志,这个模块可以在github上下载 收起阅读 »