要不要再翻翻文档呢？

ik分词 自定义字典大小

Elasticsearch | 作者 zhengtong0898 | 发布于2017年09月28日 | 阅读数：3095
分享到：QQ空间新浪微博微信QQ好友印象笔记有道云笔记
请问自定义字典应该控制在多大或者多少个词比较好?
 
比如说我的词库文件有10个G，理论上讲，写入一份文档时, 拆token会花费大量时间, 查询时拆token也会花费大量的时间。。。。。
2017-09-28 添加评论

没有找到相关结果

    已邀请:

    Cheetah

    赞同来自: laoyang360

    ik在这里分词的时候才用的字典数，比较适合这种不长的词，重复不多的，和hash相比有效率上的优势，但是空间上可能因为数据会有点大（可以优化），所以这里拆token和查询token效率是没有问题的，只是你一来就是10个G，这个没办法hold，还要reload，相当于2倍了，当然这里可能是你随便举得例子
    综上所述，控制多少个词，多大没有一个定值，看你的业务需要，和你集群本身分配的内存等等
    2017-09-28 1 1
    分享
    为什么被折叠? 0 个回复被折叠

    要回复问题请先登录或注册

    Copyright © 2025 · CC BY-NC-SA 3.0

    本站服务器及带宽由 提供赞助