岗位职责（工作内容）

• 负责数据分析产品全栈式开发；
• 指导开发人员工作，提升团队整体的技术能力；
• 学习研究业界前沿技术，并迅速转化为项目生产力。

任职资格、技能和经验

• 全栈开发能力，熟悉JS/CSS/Html，Node.js等；
• 前端开发能力优秀者优先；
• 具有数据分析类产品设计或研发经验技术优先；
• 注重代码质量，能高效编写优雅的代码；
• 思路清晰，善于思考，能独立分析和解决问题，责任心强，具备良好的团队合作精神和承受压力的能力；
• 具备广泛的技术视野和很强的技术前瞻性。

 
工作地点北京、杭州，薪资待遇优厚，欢迎各位大神！
联系方式：wending.ywd@alibaba-inc.com 收起阅读 »

测试集合：模拟一亿条

0," nnrIuS","raet","lnsr","inu ","saia",83.405273,73.302012,3991,24,"N"," usA","airport","rra i"

1,"omlritp","aaVe","y Mu","AaVV","NMc ",15.459643,-20.826241,2627,54,"a","eemo","airport","MaArp"

2,"kyaneMr","iasm","raAA"," tnt","inls",16.606066,38.663728,2761,53,"o","arIi","airport","uiron"

BKD Tree 
https://www.elastic.co/blog/lucene-points-6.0
Block k-d trees are a simple yet powerful data structure. At index time, they are built by recursively partitioning the full space of N-dimensional points to be indexed into smaller and smaller rectangular cells, splitting equally along the widest ranging dimension at each step of the recursion. However, unlike an ordinary k-d tree, a block k-d tree stops recursing once there are fewer than a pre-specified (1024 in our case, by default) number of points in the cell.

At that point, all points within that cell are written into one leaf block on disk and the starting file-pointer for that block is saved into an in-heap binary tree structure. In the 1D case, this is simply a full sort of all values, divided into adjacent leaf blocks. There are k-d tree variants that can support removing values, and rebalancing, but Lucene does not need these operations because of its write-once per-segment design.
 
At search time, the same recursion takes place, testing at each level whether the requested query shape intersects the left or right sub-tree of each dimensional split, and recursing if so. In the 1D case, the query shape is simply a numeric range whereas in the 2D and 3D cases, it is a geo-spatial shape (circle, ring, rectangle, polygon, cube, etc.).

测试集合：模拟一亿条

0," nnrIuS","raet","lnsr","inu ","saia",83.405273,73.302012,3991,24,"N"," usA","airport","rra i"

1,"omlritp","aaVe","y Mu","AaVV","NMc ",15.459643,-20.826241,2627,54,"a","eemo","airport","MaArp"

2,"kyaneMr","iasm","raAA"," tnt","inls",16.606066,38.663728,2761,53,"o","arIi","airport","uiron"

1. General Multidimensional Space Points
   Search for points with exact given values. 
  Search for points which has one of the value from a given set of values. 
Search for points within a given range. 
Get the number of points which has exact point.
Get the number of points within a given range. (Ranges are multidimensional ranges. In 3D, they are boxes.)
Divide points into range-buckets and get the count in each buckets. (Range bucket is a range which has a label in it)
 
2. Locations on the planet surface. (Latitude, Longitude)
  Find closest set of airports to a given town.  
  Find the set of airports within a given radius from a particular town.
  Find the set of airports inside a country. (Country can be given as a polygon) 
  Find the set of airports within a given range of Latitudes and Longitudes. It is a Latitude, Longitude box query. (For a examples: Airports closer to the equatorial) 
  Find the set of airports closer to a given path. (Path can be something like a road. Find the airports which are less than 50km away from a given highway)
  Count the airports in each country by giving country maps as polygons.
 
search  result:
 
Loading Data is finished ----------------------------------------------------------------------
建索引花费时间：982ms
LatLon - Box Query Example------------------------------------------------------------------------------
search_LatLon_Box 花费时间：69ms

LatLon - K Nearest------------------------------------------------------------------------------
search_LatLon_Nearest 花费时间：108ms

DoublePoint 1D Point Exact------------------------------------------------------------------------------
search_Double_1D_Exact 花费时间：10ms

DoublePoint 1D - Range------------------------------------------------------------------------------
search_Double_1D_range 花费时间：8ms

DoublePoint 1D - Range Buckets -----------------------------------------------------------------------------
search_Double_1D_range_bucket 花费时间：58ms

DoublePoint multi dimensional - Range------------------------------------------------------------------------------
search_Double_MiltiDimensional_Range 花费时间：1ms
 
 
  收起阅读 »

1. X-Pack Alternatives http://t.cn/RaFzzv1

如果你看重了 elastic 付费套件 X-Pack 中的某个功能但又囊中羞涩，不妨来看看社区的其他选择方案。当然，还是推荐你去买 X-Pack ，官方出品，质有保障！

2.Elasticsearch as a Graph Database  http://t.cn/R9Xgj2X


听说过图数据库吧？你知道 es 也可以在这个领域发挥能力吗？快来看看吧！请自备梯子哦！

3.Scaling Elasticsearch  http://t.cn/R9Xev3r

听说你的es集群频繁GC，压力巨大，要扩容了？来看看这篇文章，科学扩容有保障！请自备梯子哦！


招聘：

阿里云近期会推出ES云产品，正在组建ES专家小组，工作地点北京、杭州，薪资待遇优厚。详情请看如下链接：https://elasticsearch.cn/article/209





编辑：rockybean

归档：https://elasticsearch.cn/article/210

订阅：https://tinyletter.com/elastic-daily 收起阅读 »

岗位描述：
1. 负责阿里云上搜索云产品的设计和研发工作，确保项目质量和进度 
2. 能深入理解产品和业务，推动技术不断升级，解决客户和平台问题。
岗位要求：
1. 编程基本功扎实，熟悉常用数据结构和算法，擅长Java编程语言，熟悉JVM机制，熟悉shell、python等脚本语言； 
2. 学习能力较强，有较好的逻辑思维能力，较强的抽象、概括和总结能力，有较好的沟通交流能力，善于主动思考，对技术有强烈激情； 
3. 熟悉ElasticSearch/Lucene开源系统
4. 熟悉分布式系统，例如hadoop、spark、flink，有云计算相关开发经验者优先 
5. 具有敏捷开发经验者优先，具有完整产品生命周期开发者优先
 
阿里云近期会推出ES云产品，正在组建ES专家小组，工作地点北京、杭州，薪资待遇优厚，简历请发送至ruijie.guo@alibaba-inc.com 收起阅读 »

日常使用中的一些经验，给使用ES的筒子们一些建议，如有错误，请多多包含..
 
































  收起阅读 »

1. 安全播报：超过5000个kibana实例裸奔在互联网 http://t.cn/R9JLxE9
你的kibana也在裸奔吗？戳这里
 
 2. string类型已死，字符串永生 http://t.cn/R9xxGwq
还在疑惑ES5为什么移除了string类型？这里有你想要的答案。

3. 机器学习与日志分析 http://t.cn/R9xxJtU
不要被潮流淘汰：人工分析日志是徒劳的，机器学习是日志分析的趋势，玩转日志分析和机器学习。

4. 另类玩法：用Elasticsearch和Grafana分析你的GitHub项目 http://t.cn/R9xXkZE
想快速直观炫酷的了解自己的github project，这篇文章教你新姿势。

编辑：金桥

归档：https://elasticsearch.cn/article/207
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

消息来自：https://medium.com/%40SergiuSe ... 4af48
因为这个网址不存在，所以搬过来大家一起看看，请自查自家服务器是不是快乐的在裸奔，嘿，要管管了啊。
试试：
https://www.zoomeye.org/search ... Dhost 
https://www.shodan.io/search?query=kibana​ 
 

Over 5,000 Kibana instances exposed on the internet

I’m not a big fan of writing articles so I’ll keep it short… I was using Shodan.io recently for research purposes and while searching for different devices I came across 5,591 Kibana instances exposed over the internet. A significant number of those instances didn’t use any authentication mechanisms and several had +100 million log events recorded.

The query syntax that I used was the following: kibana port:”5601".


 
Risk: Kibana is deployed alone or together with Elasticsearch and Logstash (the ELK Stack) for log management purposes and it gained notoriety in the last couple of years as an open source alternative to more expensive commercial solutions. Log management solutions usually contain sensitive info and should not be exposed over the internet… (people who are familiar with information security know what I’m talking about).

Solution: For all the entities affected please refer to the following link and enable authentication on your Kibana implementations: https://www.elastic.co/guide/e ... .html


 
去年的大规模勒索事件，大家应该还记得吧，什么，ES你也裸奔着，你。。。
  收起阅读 »

1. ELK 与 Raspberry Pi 的另类极客玩法  http://t.cn/R9MLk7E
只要你有一个树莓派， 就可以轻松打造一个跑在“云”上的便携式 ELK 集群。

2. Elasticsearch 安全 Search Guard 落地实践  http://t.cn/R9ZeqNp
Search Guard 是一款 Elasticsearch 比较通用且方便的认证插件，这篇文章主要讲解了如何快速接入 Search Guard 插件。

3. Docker Logging with the ELK Stack
Part 1  http://t.cn/R9MUnJS 
Part 2  http://t.cn/R9M4UNz
关于 Docker 日志的采集应该是 ELK 应用最广泛的一面，具体的一些细节可以参考上述文档。该文档共有两部分。

编辑：江水

归档：https://elasticsearch.cn/article/205 
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1. Elasticsearch 6.0 将严格校验 Content-Type http://t.cn/R9VmPqx
 
大家知道 Elasticsearch 是 HTTP+Restfu 风格的，在 5.x 及以前的版本，Content-Type 一直是松散不校验的，从而存在跨站脚本攻击的可能，所以从 6.0 开始，所有带请求体的 HTTP 请求都需要带上正确的 Content-type 才能正常执行，同时也意味着你的客户端是不是需要更新或者升级了，另外 6.0 马上就要发布了哦。

2. Elasticsearch: How to avoid index throttling, deep dive in segments merging http://t.cn/R9V1sZH

Segment 的合并会严重影响 Elasticsearch 的性能，但你知道 Elasticsearch 什么时候会进行合并么？这篇文章从源码层面比较详细的介绍了 Elasticsearch 内部的 Segment 合并策略，感兴趣的同学可以仔细读一下。

3. Making your search not suck with Elasticsearch http://t.cn/R9Vg1SO

系列文章，主要介绍文本分析原理以及如何优化 Elasticsearch 的相关性评分，完善搜索结果。

4.极客邦科技发布站内搜索（InfoQ） http://t.cn/R9Vru3R

Powered by Elasticsearch！看起来不错哦，虽然目前功能还比较简单。
如果您有基于 Elasticsearch 实现的酷站，也欢迎投稿哦。
 
今天是八一建军节，解放军同志们辛苦了！


编辑：Medcl
归档：https://elasticsearch.cn/article/203​
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1. Logstash Persistent Queue http://t.cn/R9ctBCQ
Logstash 5.x 新加入了持久化队列功能，想要了解的同学不妨看看官网的这篇介绍哦！

2. 在Elasticsearch中应用机器学习排序LTR http://t.cn/RX2AVnS
相信不少同学在开发中遇到过修改排序结果的需求，常见的操作是使用function_score 来自定义排序分值，但要做到个性化搜索的话，往往离不开数据挖掘、机器学习的算法，那么如何整合这些算法到Elasticsearch中呢？该文提供了一个思路，推荐阅读，开阔视野！

3.用ElasticSearch搭建自己的搜索和分析引擎  http://t.cn/R9can85
来看下腾讯WeTest团队是如何调研和测试 Elasticsearch的，文章中提到的论坛统计分析功能是一个常见的需求，推荐大家阅读并实践！

4.X-Pack Machine Learning Online Training http://t.cn/R9c6vnt
价值 $400 的 elastic 机器学习在线教程免费啦！免费啦！免费啦！还不赶紧去注册！

编辑：rockybean
归档：https://elasticsearch.cn/article/202
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1. A Practical Introduction to Elasticsearch http://t.cn/R9tzos1
通过实际案例介绍Elasticsearch，作为入门教程还是不错的，推荐新手阅读！

2. Elasticsearch 5.0 General Performance Recommendations http://t.cn/R9tz3Vc
关注性能的同学有福了，来看看qbox工程师对于 5.0 调优的建议，干货满满，不要错过哦！

3. Filebeat vs. Logstash — The Evolution of a Log Shipper  http://t.cn/R9tZBFq
相信不少同学对于 Beats 和 Logstash的定位有疑惑，不妨看下这篇文章！
 
编辑：rockybean
归档：https://elasticsearch.cn/article/201 
订阅：https://tinyletter.com/elastic-daily
  收起阅读 »

想不想去最棒的开源软件公司工作？
想不想不用朝9晚5浪费大量时间在路上，在家就能办公？
想不想让您的代码运行在成千上万台服务器上面，拯救世界？
想不想工作与生活的完美结合，做自己感兴趣的事情？
... ...
那考虑来Elastic吧，与全球顶尖工程师一起合作，福利待遇从优，一年至少2次出国机会。

基本要求：

• 英语流利沟通
• 掌握现代开发技术
• 贡献过Elastic相关开源项目者优先

 
  下面是热招职位，位置不限，We are Distributed! 

• 社区技术布道师
• 技术支持工程师
• 技术顾问
• 业务架构师
• Elasticsearch - Java Engineer - Search
• Elasticsearch - Java Engineer - Security
• Elasticsearch - Java Performance Engineer
• Elasticsearch - Senior Java Engineer (Core Team)
• Beats - Golang Engineer
• Logstash - Ruby Engineer
• Kibana - Platform JavaScript Engineer (Node.js)
• Kibana - Senior JavaScript Engineer
• Kibana - Visualisations & Vega Engineer
• UI Engineer - Design
• SecOps - JavaScript Engineer
• SRE- Infrastructure - Site Reliability Engineer
• InfoSec - Sr. Security Engineer

除了上面这些，还有很多其他市场商务类职务，
查看 Elastic 全部在招职位信息，点击这里！

关于 Elastic
Elastic 致力于构建大规模实时数据处理软件，场景主要涵盖搜索、日志、安全与数据分析等领域。公司成立于 2012 年，旗下拥有产品：开源的 Elastic Stack（Elasticsearch、Kibana、Beats 和 Logstash）、 X-Pack （商业特性）和 Elastic Cloud （一个 SaaS 服务）。迄今为止，这些产品的累积下载次数已超过 3.5 亿。
成千上万的企业包括思科、易趣、高盛、美国宇航局、微软、梅约诊所、纽约时报、维基百科以及微讯通信等都在使用 Elastic 来助力其关键业务应用。 
Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资，投资额超过 1 亿美金。Elastic 拥有超过 1000 位员工，分布于世界上 30 多个国家和地区。了解更多请访问： elastic.co 。 收起阅读 »

岗位职责：

1，负责个性化推荐系统的算法和架构研发, 实现在相关产品中的精准推荐；

2，负责产品、内容的推荐与其他场景的基础数据挖掘；

3，根据海量用户行为的分析和挖掘，构建用户画像、标签系统等。

 
任职要求：

1、两年以上相关工作经验；

2、有推荐系统或搜索排序研发经验, 熟悉常用的推荐算法，有实际算法调优经验；

3、熟悉Hadoop、HBase、Spark、Kafka等计算平台和工具；

4、掌握自然语言处理、协同推荐算法方面的基本知识；

5、良好的沟通和学习能力，团队合作精神，能独立承担工作。

 
加分项：

1，有大规模海量数据机器学习、数据挖掘、计算广告、搜索引擎相关经验；

2，有互联网电商行业数据经验。


易所试集团（Www.liketry.com），新三板上市公司，市值10亿左右，组建北京研发中心，13薪起，正常基数五险一金并提供商业保险（补充医疗+意外等），10天年假起，弹性工作制，薪资可根据能力商议。工作地点：北京望京SOHO，简历请发送至邮箱：hang.song@liketry.com。 收起阅读 »

岗位职责：
负责参与搜索业务的系统架构及研发，对现有搜索业务系统进行改进和优化
1．负责搜索服务端的开发工作； 
2． 负责分词，索引和查询的算法优化；
3．研究数据的存储、传输，优化系统架构，不断提升系统时效性、灵活性及性能；
4． 对代码和设计质量有严格要求，重视Code Review，知道良好编程习惯的标准；
5． 参与搜索系统分布式架构设计，研究分布式信息检索的服务架构，分析和修改相关性算法、策略，构建高性能，灵活易调研的分布式检索系统。

任职要求：
1. 计算机或相关专业本科及以上学历，2年以上搜索引擎相关的研发经验；
2. 有自然语言处理、相关性算法、rerank等经验者或数据挖掘实践经验者优先；
3. 深刻理解企业应用设计模式，有大型分布式，高并发，高负载，高可用性系统设计开发经验；
4. 有扎实的Java基础(熟悉io、多线程、集合等基础框架，熟悉分布式、缓存、消息、搜索等机制） ；
5. 熟悉Elasticsearch 对分布式搜索有一定实战经验；
6. 对互联网产品敏感，学习能力强
7. 熟悉数理统计和机器学习的基础理论，并有一定的实战经验者优先（可选）；
8. 熟悉常见机器学习排序方法，如：GBDT、LTR或随机森林，熟悉特征处理方法者优先（可选）；
 
薪酬范围:  
10k - 20k /月 + 年终奖 
 
有意者邮件联系: ckjiang@ctrip.com  收起阅读 »

在jdbc中，如果需要多少使用到时间的值。如果使用lastexecutionstart，分了两次查询，time不一致。对于初始化和热更新都不一致。例如：
sql : [
{ "statement" : "select * from table1 where mytimestamp > ?", "parameter" : [ "$metrics.lastexecutionstart" ] },
{ "statement" : "select * from table2 where mytimestamp > ?", "parameter" : [ "$metrics.lastexecutionstart" ] }
    ], 收起阅读 »