找到问题的解决办法了么?

在已有的index添加type

laoyang360 回复了问题 • 5 人关注 • 3 个回复 • 4283 次浏览 • 2018-08-30 21:40 • 来自相关话题

elasticsearch官方python库性能

JackGe 回复了问题 • 4 人关注 • 2 个回复 • 4037 次浏览 • 2018-08-30 10:12 • 来自相关话题

ES TransPortClient 多线程update 数据的时候 数据出现问题,但是没有报错

hanbj 回复了问题 • 2 人关注 • 1 个回复 • 1318 次浏览 • 2018-08-30 09:18 • 来自相关话题

python操作es使用bulk时候报content-type(406)错误

JackGe 回复了问题 • 2 人关注 • 1 个回复 • 5256 次浏览 • 2018-08-29 22:44 • 来自相关话题

es日志中出现大量merge打压index速度的日志,byte和refresh什么的都改过了,还是有问题,求教...

JackGe 回复了问题 • 3 人关注 • 1 个回复 • 3371 次浏览 • 2018-08-29 22:24 • 来自相关话题

在Elasticsearch 6.1.3版本中,发现translog文件过多导致异常

kennywu76 回复了问题 • 6 人关注 • 4 个回复 • 5856 次浏览 • 2018-08-29 16:33 • 来自相关话题

最近在测试elasticsearch的索引数据多盘存储的问题,求大神帮忙解答一些,谢谢!

joycer 回复了问题 • 6 人关注 • 2 个回复 • 3863 次浏览 • 2018-08-29 10:01 • 来自相关话题

path.data 配置了多个路径后 es的存储和获取机制是什么

rojay 回复了问题 • 7 人关注 • 4 个回复 • 16768 次浏览 • 2018-08-29 09:14 • 来自相关话题

听说你还没掌握 Normalizer 的使用方法?

rockybean 发表了文章 • 2 个评论 • 4196 次浏览 • 2018-08-28 12:43 • 来自相关话题

在 Elasticsearch 中处理字符串类型的数据时,如果我们想把整个字符串作为一个完整的 term 存储,我们通常会将其类型 type 设定为 keyword。但有时这种设定又会给我们带来麻烦,比如同一个数据再写入时由于没有做好清洗,导致大小写不一致,比如 appleApple两个实际都是 apple,但当我们去搜索 apple时却无法返回 Apple的文档。要解决这个问题,就需要 Normalizer出场了。废话不多说,直接上手看!


1. 上手


我们先来重现一下开篇的问题

```json
PUT test_normalizer
{
"mappings": {
"doc":{
"properties": {
"type":{
"type":"keyword"
}
}
}
}
}

PUT test_normalizer/doc/1
{
"type":"apple"
}

PUT test_normalizer/doc/2
{
"type":"Apple"
}


查询一

GET test_normalizer/_search
{
"query": {
"match":{
"type":"apple"
}
}
}


查询二

GET test_normalizer/_search
{
"query": {
"match":{
"type":"aPple"
}
}
}
``<br /> <br /> 大家执行后会发现查询一返回了文档1,而查询二`没有文档返回,原因如下图所示:

![](http://p8z8qq24s.bkt.clouddn.c ... 30.png)



  1. Docs写入 Elasticsearch时由于 typekeyword,分词结果为原始字符串
  2. 查询 Query 时分词默认是采用和字段写时相同的配置,因此这里也是 keyword,因此分词结果也是原始字符
  3. 两边的分词进行匹对,便得出了我们上面的结果



    2. Normalizer


    normalizerkeyword的一个属性,可以对 keyword生成的单一 Term再做进一步的处理,比如 lowercase,即做小写变换。使用方法和自定义分词器有些类似,需要自定义,如下所示:

    ```json
    DELETE test_normalizer

    自定义 normalizer

    PUT test_normalizer
    {
    "settings": {
    "analysis": {
    "normalizer": {
    "lowercase": {
    "type": "custom",
    "filter": [
    "lowercase"
    ]
    }
    }
    }
    },
    "mappings": {
    "doc": {
    "properties": {
    "type": {
    "type": "keyword"
    },
    "type_normalizer": {
    "type": "keyword",
    "normalizer": "lowercase"
    }
    }
    }
    }
    }


    PUT test_normalizer/doc/1
    {
    "type": "apple",
    "type_normalizer": "apple"
    }


    PUT test_normalizer/doc/2
    {
    "type": "Apple",
    "type_normalizer": "Apple"
    }

    查询三

    GET test_normalizer/_search
    {
    "query": {
    "term":{
    "type":"aPple"
    }
    }
    }

    查询四

    GET test_normalizer/_search
    {
    "query": {
    "term":{
    "type_normalizer":"aPple"
    }
    }
    }
    ``<br /> <br /> 我们第一步是自定义了名为lowercase的 normalizer,其中filter类似自定义分词器中的filter,但是可用的种类很少,详情大家可以查看官方文档。然后通过normalizer属性设定到字段type_normalizer中,然后插入相同的2条文档。执行发现,查询三无结果返回,查询四`返回2条文档。

    问题解决了!我们来看下是如何解决的

    ![](http://p8z8qq24s.bkt.clouddn.c ... 00.png)

  4. 文档写入时由于加入了 normalizer,所有的 term都会被做小写处理
  5. 查询时搜索词同样采用有 normalizer的配置,因此处理后的 term也是小写的
  6. 两边分词匹对,就得到了我们上面的结果


    3. 总结


    本文通过一个实例来给大家讲解了 Normalizer的实际使用场景,希望对大家有所帮助!

    ![](http://p8z8qq24s.bkt.clouddn.c ... 24.png)








请问x-pack免费版和商用版的区别

zqc0512 回复了问题 • 3 人关注 • 2 个回复 • 9788 次浏览 • 2018-08-28 11:44 • 来自相关话题

线程池满 task_max_waiting_in_queue_millis" : 1290824 很大 es 写不进去数据了 怎么办

zqc0512 回复了问题 • 3 人关注 • 1 个回复 • 2905 次浏览 • 2018-08-28 10:22 • 来自相关话题

地理位置过滤盒模型精准度的问题

kennywu76 回复了问题 • 6 人关注 • 2 个回复 • 2028 次浏览 • 2018-08-28 09:52 • 来自相关话题

集群健康值: 未连接

lucky_girl 回复了问题 • 2 人关注 • 2 个回复 • 6096 次浏览 • 2018-08-27 17:27 • 来自相关话题

elasticsearch 6.3.2版本的使用许可证也是不能用机器学习功能是吗

zqc0512 回复了问题 • 2 人关注 • 1 个回复 • 1890 次浏览 • 2018-08-27 15:59 • 来自相关话题

elasticsearch 模板问题

God_lockin 回复了问题 • 4 人关注 • 2 个回复 • 2265 次浏览 • 2018-08-27 13:55 • 来自相关话题