1.小米的Elasticsearch 服务化实践
http://t.cn/RQZjbhL
2.wood出品：number?keyword?傻傻分不清楚
https://elasticsearch.cn/article/446
3.ebay的elasticsearch性能调优实践
http://t.cn/RQhzDiP

编辑：金桥
归档：https://elasticsearch.cn/article/451
订阅： https://tinyletter.com/elastic-daily

能有影响elasticsearch score的方法有很多，官方推荐的是使用内置的painless脚本语言结合function_score来重新定义score。由于本人开发的项目其算法是由java语言开发的，于是决定尝试原生脚本开发。
elasticsearch脚本由plugin-descriptor.properties文件以及运行jar包组成，plugin-descriptor.properties主要用来定义版本信息、对应es的版本信息等属性。

官方的例子

<br /> public class ExpertScriptPlugin extends Plugin implements ScriptPlugin {<br /> @Override<br /> public ScriptEngineService getScriptEngineService(Settings settings) {<br /> return new MyExpertScriptEngine();<br /> }<br /> /** An example {@link ScriptEngineService} that uses Lucene segment details to implement pure document frequency scoring. */<br /> // tag::expert_engine<br /> private static class MyExpertScriptEngine implements ScriptEngineService {<br /> @Override<br /> public String getType() {<br /> return "expert_scripts";<br /> }<br /> @Override<br /> public Function<Map<String,Object>,SearchScript> compile(String scriptName, String scriptSource, Map<String, String> params) {<br /> // we use the script "source" as the script identifier<br /> if ("pure_df".equals(scriptSource)) {<br /> return p -> new SearchScript() {<br /> final String field;<br /> final String term;<br /> {<br /> if (p.containsKey("field") == false) {<br /> throw new IllegalArgumentException("Missing parameter [field]");<br /> }<br /> if (p.containsKey("term") == false) {<br /> throw new IllegalArgumentException("Missing parameter [term]");<br /> }<br /> field = p.get("field").toString();<br /> term = p.get("term").toString();<br /> }<br /> @Override<br /> public LeafSearchScript getLeafSearchScript(LeafReaderContext context) throws IOException {<br /> PostingsEnum postings = context.reader().postings(new Term(field, term));<br /> if (postings == null) {<br /> // the field and/or term don't exist in this segment, so always return 0<br /> return () -> 0.0d;<br /> }<br /> return new LeafSearchScript() {<br /> int currentDocid = -1;<br /> @Override<br /> public void setDocument(int docid) {<br /> // advance has undefined behavior calling with a docid <= its current docid<br /> if (postings.docID() < docid) {<br /> try {<br /> postings.advance(docid);<br /> } catch (IOException e) {<br /> throw new UncheckedIOException(e);<br /> }<br /> }<br /> currentDocid = docid;<br /> }<br /> @Override<br /> public double runAsDouble() {<br /> if (postings.docID() != currentDocid) {<br /> // advance moved past the current doc, so this doc has no occurrences of the term<br /> return 0.0d;<br /> }<br /> try {<br /> return postings.freq();<br /> } catch (IOException e) {<br /> throw new UncheckedIOException(e);<br /> }<br /> }<br /> };<br /> }<br /> @Override<br /> public boolean needsScores() {<br /> return false;<br /> }<br /> };<br /> }<br /> throw new IllegalArgumentException("Unknown script name " + scriptSource);<br /> }<br /> <br /> @Override<br /> @SuppressWarnings("unchecked")<br /> public SearchScript search(CompiledScript compiledScript, SearchLookup lookup, @Nullable Map<String, Object> params) {<br /> Function<Map<String,Object>,SearchScript> scriptFactory = (Function<Map<String,Object>,SearchScript>) compiledScript.compiled();<br /> return scriptFactory.apply(params);<br /> }<br /> <br /> @Override<br /> public ExecutableScript executable(CompiledScript compiledScript, @Nullable Map<String, Object> params) {<br /> throw new UnsupportedOperationException();<br /> }<br /> <br /> @Override<br /> public boolean isInlineScriptEnabled() {<br /> return true;<br /> }<br /> <br /> @Override<br /> public void close() {}<br /> }<br /> }<br />

代码解读：
本例在elasticsearch源码中，https://github.com/elastic/ela ... oring

MyExpertScriptEngine类是其中最重要的类，用于实现脚本参数定义，编译，以及打分机制的实现。其中compile方法返回我们定义好打分逻辑的java function。search方法用于我们在搜索过程中实施定义好的打分逻辑。
怎奈笔者对于函数式编程知道的不多（后续需要补课），其实评分逻辑也可以在search方法中实现，于是有了下面的一段代码。

```
public class fieldaddScriptPlugin extends Plugin implements ScriptPlugin {
@Override
public ScriptEngineService getScriptEngineService(Settings settings) {
return new MyExpertScriptEngine();
}
private static class MyExpertScriptEngine implements ScriptEngineService {
@Override
public String getType() {
return "expert_scripts";
}

@Override
public Object compile(String scriptName, String scriptSource, Map<String, String> params) {
if ("example_add".equals(scriptSource)) {
return scriptSource;
}
throw new IllegalArgumentException("Unknown script name " + scriptSource);
}

@Override
@SuppressWarnings("unchecked")
public SearchScript search(CompiledScript compiledScript, SearchLookup lookup, @Nullable Map<String, Object> vars) {

/**

• 校验输入参数，DSL中params 参数列表
  */
  final long inc;
  final String fieldname;
  if (vars == null || vars.containsKey("inc") == false) {
  inc = 0;
  } else {
  inc = ((Number) vars.get("inc")).longValue();
  }
  
  if (vars == null || vars.containsKey("fieldname") == false) {
  throw new IllegalArgumentException("Missing parameter [fieldname]");
  } else {
  fieldname = (String) vars.get("fieldname");
  }
  
  return new SearchScript() {
  @Override
  public LeafSearchScript getLeafSearchScript(LeafReaderContext context) throws IOException {
  final LeafSearchLookup leafLookup = lookup.getLeafSearchLookup(context);
  
  
  return new LeafSearchScript() {
  @Override
  public void setDocument(int doc) {
  if (leafLookup != null) {
  leafLookup.setDocument(doc);
  }
  }
  
  @Override
  public double runAsDouble() {
  long values = 0;
  /**
  
  • 获取document中字段内容
    */
    for (Object v : (List<?>) leafLookup.doc().get(fieldname)) {
    values = ((Number) v).longValue() + values;
    }
    return values + inc;
    }
    };
    }
    
    @Override
    public boolean needsScores() {
    return false;
    }
    };
    }
    <br /> <br /> 这段代码的逻辑是把给定的字段(字段类型long)的每个元素相加后再加上给定的增量参数最后形成score分值。为了实现上述逻辑需要实现参数获取、根据给定的字段名获取内容列表量的关键件。下面结合代码说说这两个步骤如何实现的。<br /> search方法中Map<String, Object> vars参数对应DSL中"params"参数，用于接受实际给定的运行时参数。SearchLookup lookup参数由系统传入，通过lookup.getLeafSearchLookup(context)获取LeafSearchLookup通过该对象可以获取给定字段的值。<br /> <br /> 对于elasticsearch 2.x以前的版本可以通过NativeScriptFactory实现原生脚本。<br /> <br />
    public class MyNativeScriptPlugin extends Plugin implements ScriptPlugin {
    private final static Logger LOGGER = LogManager.getLogger(MyFirstPlugin.class);
    
    
    public MyNativeScriptPlugin() {
    super();
    LOGGER.warn("This is MyNativeScriptPlugin");
    }
    
    @Override
    public List getNativeScripts() {
    return Collections.singletonList(new MyNativeScriptFactory());
    }
    
    
    public static class MyNativeScriptFactory implements NativeScriptFactory {
    @Override
    public ExecutableScript newScript(@Nullable Map<String, Object> params) {
    
    
    // return new MyNativeScript();
    return new AbstractDoubleSearchScript(){
    
    
    @Override
    public double runAsDouble() {
    int b=0;
    if(params.get("add")!=null){
    b= (int) params.get("add");
    }
    
    
    String s = source().get("last").toString();
    double a = s.length()+b;
    return a; }
    };
    }
    
    
    @Override
    public boolean needsScores() {
    return false;
    }
    
    
    @Override
    public String getName() {
    return "my_script";
    }
    }
    }
    ```
    
    工程组织
    elasticsearch工程使用gradle进行依赖管理和生命周期管理，为此es项目自己也开发了esplugin的gradle插件，但不兼容gradle4.2以上的版本。参考github中的成熟插件，使用maven组织工程。
    
    主要涉及两个文件
    pom.xml
    plugin.xml
    工程利用maven-assembly-plugin打包jar。
    
    本例github地址：https://github.com/jiashiwen/e ... ample
    欢迎点赞或拍砖

活动介绍

本期邀请了几位ES大咖做主题分享，并以Demo show和Workshop的形式介绍Elastisearch及其相关组件在搜索、日志分析和监控领域的应用，帮助用户更好的理解Elastisearch及其相关组件，在更多的搜索和分析场景中应用。Workshop环节请务必携带个人电脑参加。

活动安排

时间：2018年1月20日周六 13：30-17：00

地点：北京市海淀区中关村大街46号院-众海加速器（阿里巴巴创新中心）

活动主题

• 13:30—14:00 签到
  
• 14:00—14:30 主题分享《Elasticsearch在智能运维领域的应用》 Elastic布道师 曾勇
  
• 14:30—14:40 Q&A
  
• 14:40—15:10 Demo show《使用X-Pack和Kibana实现Elasticsearch 的监控与报警》 阿里云技术专家 李靖威
  
• 15:10—15:20 Q&A
  
• 15:20—15:50 Workshop《基于阿里云Elasticsearch构建网站日志处理系统》 阿里云产品专家 洪阳
  
• 15:50—16:00 Q&A
  
• 16:00—16:30 主题分享《ELK在运维工作中应用两三事》 上海安畅运维专家 韩军辉
  
• 16:30—17:00 现场快闪分享
  
• 17:00—17:30 现场专家一对一交流
  
  

  报名通道
  

  活动报名通道：
  
  https://yq.aliyun.com/event/193/join
  
  可提前报名现场快闪分享(5分钟/位），讲讲自己的ELK实践心得，报名链接：
  
  https://survey.aliyun.com/survey/kMXx0zCfB
  
  也可使用钉钉扫描，加入Elasticsearch技术交流群：
  
  

  <img src="<a href="https://img.alicdn.com/tfs/TB1v57PjOqAXuNjy1XdXXaYcVXa-100-100.jpg"" rel="nofollow" target="_blank">https://img.alicdn.com/tfs/TB1 ... ot%3B width = "100" height = "100" alt="QR">

  
  
  

  嘉宾介绍
  

  曾勇 Elastic布道师
  

  
  Elastic开发工程师与布道师，在分布式搜索、高性能、高可用架构、自动化运维等方面积累了超过七年的经验。曾勇是Elasticsearch国内首批用户，自2010年起就开始接触Elasticsearch并投入到生产环境中使用，并编写过一系列的中文处理相关的插件。
  
  演讲主题：《Elasticsearch在智能运维领域的应用》
  
  分享Elasticsearch和X-Pack组件在智能运维领域的技术原理和应用实践，如非监督型机器学习在自动的异常检测、高级关联和分类、根源问题诊断、早期故障预测等方面的应用等。
  
  

  李靖威 阿里云技术专家
  

  
  全栈程序员，精通前后端，在Web微服务系统架构上有深入研究。3年搜索产品相关经验，现负责阿里云Elasticsearch的产品业务部分的开发。
  
  演讲主题：《使用X-Pack和Kibana实现Elasticsearch 的监控与报警》
  
  以开源 Elasticsearch、阿里云 Elasticsearch和X-Pack的Demo show的形式， 对 Elasticsearch 集群监控和报警的内部原理进行讲解和使用方法演示。
  
  

  洪阳 阿里云产品专家
  

  阿里云搜索产品经理，从事多年大数据及搜索相关产品工作，在离线数据加工、离线调度系统、在线搜索等场景深入研究，对大数据和搜索相关产品有丰富的经验。
  
  演讲主题：《基于阿里云Elasticsearch构建网站日志处理系统》
  
  基于阿里云的Elasticsearch，离线数仓加工工具，数据同步工具等一些列产品来快速构建一个日志处理系统，从离线数据加工到在线数据搜索和分析展现诠释数据加工在阿里云产品上如何快速展开。
  
  

  韩军辉 上海安畅运维专家
  

  上海安畅网络运维主管，热衷于开源技术的学习和深入研究，从事多年的ELK运维相关工作，对ELK Stack有深入研究，对ELK相关运维有丰富的经验。
  
  演讲主题：《ELK在运维工作中应用两三事》
  
  基于ELK Stack、sflow技术、sflowtool工具、kafka消息队列等开源技术构建一套流量分析、DDOS告警系统。从流量收集、分析、存储、展现、告警一套流程来诠释ELK在流量分析中的应用。