介绍

大家好，我是vvv，这个名字和王者荣耀AG超玩会中的vv没有一毛钱关系，随意取的一个的名字，后来发现貌似不能改了。做过一些数据产品，正是这段时间里开始接触elasticstack，对kibana做过一些二次开发。今天主要想写一些开发过程中的一些tips，希望可以给大家带来一些帮助。

技术栈分析

既然我们的主题是kibana，我们先来看下kibana的主要技术栈。很早开始kibana就开始基于nodejs （hapi框架） + angular（1.x）来进行开发，后来引入了react。kibana本身的代码也经过了多次重构剥离。现在的kibana的代码结构更加清晰

前提

elasticstack发展迅速，现在已经是6.5版本了。我们今天要介绍的是6.x系列的版本，6.x各个版本会有一些细微差异，但大致一样

tips

官方提供kibana下载版本主要是编译后的release版本。如果要基于kibana做二次开发，我们需要去https://github.com/elastic/kibana 上面下载对应的分支。官方有相应的文档去说明如何安装开发环境。我这里有一些tips：

设置国内yarn源

yarn config --global set 'registry https://registry.npm.taobao.org'

一些耗时需要编译的包可以全局安装

yarn global add  node-sass

多环境nodejs版本

不同kibana版本对nodejs版本要求也不一样，为了减少坑我们通常和官方要求的保持一致，如果你的电脑上需要运行多套不同版本的nodejs，那么你可能需要zsh + nvs, 会根据根目录的.node-version版本自动切换当前使用的node版本

IDE推荐

推荐使用vscode，轻量免费，支持很多插件。可以安装个prettier插件，帮助对代码做更好的格式化

debug

如果你用的不是上面我推荐的vscode的话，请忽略这一条。对于使用vscode的同学，首先在vsocde的设置里面开启:

"autoAttach": "on"

然后在vsocode里面打开一个终端，输入:

node --inspect-brk scripts/kibana.js --dev --oss --no-base-path

这个时候vscode就会在启动kibana dev模式的同时attach一个进程进去用于断点调试，对于调试node层非常方便。也能帮助你更好的阅读kibana源码

本地es

我们知道kibana是长在es之上，想要运行kibana怎么少得了es。kibana又一些命令命令可以快速的启动一个es环境：

下载并启动一个当前kibana需要的es版本

yarn es snapshot

灌入一些测试数据(如果需要定制灌入的数据可以看下这个脚本的帮助内容,加-h参数即可)

node scripts/makelogs

编译

kibana代码在release之前是要进行编译的。kibana提供了方便的命令行进行编译，甚至跨平台的交叉编译（生成不同平台的kibana release版本）。但是呢，有几个问题：

1. kibana在编译的时候需要去aws上下载一些安装包，会导致正常情况下国内访问十分缓慢。（编译命令提供了几个参数可以关掉下载一些如nodejs等，但是还是很慢）
2. build十分消耗cpu/gpu (mac的iterm2启动会做gpu优化)

解决办法：

1. 如果你能解决网络问题，而且有性能不错的编译机器。这都不是问题
2. 如果你对kibana的代码更改都是无侵入的（比如只是写了一些插件扩展），那么你可以去官方下载他们的snapshot版本
3. 当然，如果你用的kibana版本就是release版本并且你的扩展都是插件，那么你直接用官方的release版本就好了

库的选型

1. server端： nodejs具有十分丰富的生态，你可以找到很多nodejs相关的库。kibana本身的后端web框架是基于node的hapi的。hapi是一个沃尔玛团队维护的企业级框架，其本身也有很多扩展。当你需要对web框架做一些扩展的时候，可以优先想到去hapi官方看下

2. ui端: kibana有一套漂亮的ui，其本身也是单独剥离成了一个库，方便引入使用。当然你也可以引入一些其他的前端库来满足你的具体业务需求。推荐尽量使用原生的eui和kibana源码里面的一些封装。这样让你的引入更少，更容易维护。

国际化

国际化是kibana很早就开始立的一个项。这块的进度也是越来越快。新版的kibana里面用@kbn/i18n这个package来统一javascript，html, nodejs做国际化的事情（具体大家可以看下这个package的readme）。国际化这块有一些建议:

1. 扩展插件的时候养成国际化的习惯
2. 默认的语系不建议再次设置成一个json文件。因为最新的@kbn/i18n会提供一个默认的文本，用于默认情况下展示。所以我们是没必要重复去维护一个默认的语言翻译json
3. 假设你的默认语言是英文（和kibana一致），只有当你想要替换kibana默认翻译的时候，才去覆写en.json
4. 当你对原生kibana有国际化这种需求的时候，建议独立出一个i18n翻译的插件去维护各个语言翻译相关的东西
5. 目前kibana的国际化还未100%，如果你想知道目前哪些文本内容是支持国际化的。可以尝试如下脚本:

node scripts/extract_default_translations \
 --path src/core_plugins/kibana \
 --output /tmp

6. 各个插件的之间的翻译文件独立，即使是相同的翻译内容。插件文本内容养成预留国际化的习惯

总结

上面列举了一些我平时的一些经验。时间篇幅有限，未能一一列举。希望可以帮到大家吧。也希望可以和大家多多交流

1. 适用于ES 6.0之后的Field Stats插件。 http://t.cn/ELmZMFl 

2. 你知道ICU分析器支持emoji表情了吗？。 http://t.cn/ELmw4aF 

3. Canvas中数据表和调试元素的使用示例。 http://t.cn/ELmX7Tc 

• 编辑：bsll

• 归档：https://elasticsearch.cn/article/6164 

• 订阅：https://tinyletter.com/elastic-daily

ELK Tips 主要介绍一些 ELK 使用过程中的小技巧，内容主要来源为 Elastic 中文社区。

一、Logstash

1、Filebeat 设置多个 output

在 6.0 之前，Filebeat 可以设置多个输出（必须是不同类型的输出）；从 6.0 开始已经禁止多输出了，只能拥有一个输出，如果想实现多输出，可以借助 logstash 等中间组件进行输出分发。

二、Elasticsearch

1、ES 用户占用的内存大于为 ES 设置的 heapsize

ES 是 Java 应用，底层存储引擎是基于 Lucene 的，heapsize 设置的是 Java 应用的内存；而 Lucene 建立倒排索引（Inverted Index）是先在内存里生成，然后定期以段文件（segment file）的形式刷到磁盘的，因此 Lucene 也会占用一部分内存。

https://elasticsearch.cn/article/32

2、ES 使用别名插入数据

ES 可以通过索引的方式向索引插入数据，但是同时只能有一个索引可以被写入，而且需要手动设置，未设置的情况下会报错：no write index is defined for alias [xxxx]， The write index may be explicitly disabled using is_write_index=false or the alias points to multiple indices without one being designated as a write index。

POST /_aliases
{
    "actions" : [
        {
            "add" : {
                 "index" : "test",
                 "alias" : "alias1",
                 "is_write_index" : true
            }
        }
    ]
}

3、ES 设置 G1 垃圾回收

修改 jvm.options文件，将下面几行:

-XX:+UseConcMarkSweepGC
-XX:CMSInitiatingOccupancyFraction=75
-XX:+UseCMSInitiatingOccupancyOnly

改为

-XX:+UseG1GC
-XX:MaxGCPauseMillis=50

即可。

其中 -XX:MaxGCPauseMillis 是控制预期的最高 GC 时长，默认值为 200ms，如果线上业务特性对于 GC 停顿非常敏感，可以适当设置低一些。但是这个值如果设置过小，可能会带来比较高的 cpu 消耗。

4、ES 和 Zipkin 集成时设置验证信息

java -DKAFKA_ZOOKEEPER=10.14.123.117:2181 
-DSTORAGE_TYPE=elasticsearch 
-DES_HOSTS=http://10.14.125.5:9200 
ES_USERNAME=xxx ES_PASSWORD=xxx 
-jar zipkin.jar

5、ES 集群部署报错

问题 1 报错信息如下：

Received message from unsupported version:[2.0.0] minimal compatible version is:[5.6.0]

经排查是集群中存在低版本的 ES 实例，将低版本实例移除即可。

问题 2 报错信息如下：

with the same id but is a different node instance

删除对应节点 elsticsearch 文件夹下的 data 文件夹下的节点数据即可。

6、海量中文分词插件

海量分词是天津海量信息技术股份有限公司自主研发的中文分词核心，经测试分词效果还是不错的，值得一试。

https://github.com/HylandaOpen/elasticsearch-analysis-hlseg

7、查询一个索引下的所有 type 名

通过下面的 API，即可获取全部的 type，下面的例子中 doc 就是 indexName 索引下的一个 type：

GET http://es127.0.0.1:9200/indexName/_mappings
-----------------------------------------------
{
    indexName: - {
        mappings: - {
            doc: - {
                _all: + {... },
                dynamic_date_formats: + [... ],
                dynamic_templates: + [... ],
                properties: + {... }
            }
        }
    }
}

8、索引模板中根据字段值设置别名

设置索引模板的时候，别名可以使用 Query 条件来进行匹配。

PUT _template/template_1
{
    "index_patterns" : ["te*"],
    "settings" : {
        "number_of_shards" : 1
    },
    "aliases" : {
        "alias2" : {
            "filter" : {
                "term" : {"user" : "kimchy" }
            },
            "routing" : "kimchy"
        },
        "{index}-alias" : {} 
    }
}

9、索引模板设置默认时间匹配格式

ES 默认是不会将 yyyy-MM-dd HH:mm:ss 识别为时间的，可以通过在索引模板进行如下设置实现多种时间格式的识别：

"mappings": {
"doc": {
  "dynamic_date_formats": ["yyyy-MM-dd HH:mm:ss||strict_date_optional_time||epoch_millis"],

10、ES 中 Merge 相关设置

Merge 是非常耗费 CPU 的操作；而且如果不是 SSD 的话，推荐将 index.merge.scheduler.max_thread_count 设置为 1；否则 ES 会启动 Math.min(3, Runtime.getRuntime().availableProcessors() / 2) 个线程进行 Merge 操作；这样大部分机械硬盘的磁盘 IO 都很难承受，就可能出现阻塞。

"index": {
  "refresh_interval": "5s",
  "number_of_shards": "3",
  "max_result_window": 10000,
  "translog": {
    "flush_threshold_size": "500mb",
    "sync_interval": "30s",
    "durability": "async"
  },
  "merge": {
    "scheduler": {
      "max_merge_count": "100",
      "max_thread_count": "1"
    }
  },

11、mapping 中 enabled store index 参数

• enabled：默认是true，只用于 mapping 中的 object 字段类型；当设置为 false 时，其作用是使 es 不去解析该字段，并且该字段不能被查询和 store，只有在 source 中才能看到，设置 enabled 为 false，可以不设置字段类型，默认类型为 object；
• store：默认 false，store 参数的功能和 source 有一些相似，我们的数据默认都会在 source 中存在，但我们也可以将数据 store 起来；当我们使用 copy_to 参数时，copy_to 的目标字段并不会在 source 中存储，此时 store 就派上用场了；
• index：默认是 true，当设置为 false，表明该字段不能被查询，如果查询会报错。

12、ES 图片搜索

• 可以借助局部敏感 LSH 或者 pHash 来实现：https://stackoverflow.com/questions/32785803
• Github 也有一个开源项目使用了多种 Hash 算法借助 ES 来实现图片搜索：https://github.com/usc-isi-i2/elasticsearch-image-features

13、Term 聚合根据子聚合结果排序

GET /_search
{
    "aggs" : {
        "genres" : {
            "terms" : {
                "field" : "genre",
                "order" : { "playback_stats.max" : "desc" }
            },
            "aggs" : {
                "playback_stats" : { "stats" : { "field" : "play_count" } }
            }
        }
    }
}

三、社区文章精选

• ET007 ElasticStack 6.5 介绍
• CentOS 7.4 下安装 ES 6.5.1 搜索集群
• Elastic Stack v6.5 新特性解读
• Elasticsearch 史上最全最常用工具清单

PUT mindex/

{

  "mappings": {

    "type": {

      "properties": {

        "name": {

          "type": "text",

          "copy_to": "name_title",

          "store": true,

          "index": false

        },

        "title": {

          "type": "text",

          "copy_to": "name_title"

        },

        "name_title": {

          "type": "text",

          "store": true

        },

        "notenabled": {

          "type": "object",

          "enabled": false

        }

      }

    }

  }

}

PUT mindex/type/1

{

  "name":"zz",

  "title":"zxx",

  "notenabled":"baby"

}

GET /mindex/_search

{

  "query": {

    "match": {

      "title": "zxx"

    }

  },

  "stored_fields": ["name_title","title","name"],

  "_source": ["name_title","title","name","notenabled"]

}

"_source": {

          "name": "zz",

          "title": "zxx",

          "notenabled": "baby"

        },

        "fields": {

          "name": [

            "zz"

          ],

          "name_title": [

            "zz",

            "zxx"

          ]

        }

欢迎来到 Elastic 社区电台的第八期节目，我们本期节目的嘉宾是来自于Elastic 在中国的首席架构师吴斌， Elastic 在本月11月14日发布了一个全新的版本 6.5，放出了一系列精彩的特性，本次节目我们就这些最近发布的新特性做一个简单的解读。

收听地址

https://www.ximalaya.com/keji/14965410/139462151

嘉宾

吴斌，十年 IT 行业经验，经历了软件工程师到架构师的全方位磨练。专注于海量数据处理、挖掘、分析和企业级搜索等领域。 现任 Elastic 架构师，负责公司亚太地区事务。致力于应用 Elastic 的先进技术产品解决企业数据应用问题。

主持人

Elastic 技术布道师，曾勇（Medcl）。

关于 Elastic 社区电台

Elastic 开源社区举办的一款播客类节目， 邀请来自开源社区的用户，一起聊聊 Elastic 开源产品的使用案例、经验分享、架构变迁等等。

1. ES结合深度学习提升查找相似文档的效率。 http://t.cn/ELhMvpM

2. Elasticsearch在物流数据中心的应用。 http://t.cn/E2ky75a

3. 国产好片推荐：《无名之辈》。 http://t.cn/E2zSj92

• 编辑：bsll

• 归档：https://elasticsearch.cn/article/6154

• 订阅：https://tinyletter.com/elastic-daily