Hello,World

分词器那么多,使用什么好?

匿名 | 发布于2017年03月28日 | 阅读数:3673

现在最大争议时ik与jieba分词,哪个能好些?
已邀请:
看需要,IK和结巴都采用前缀字典树的查找,分词的效率上都挺不错的,IK在消除歧义方面略为简单,也没有词性标注之类的处理。结巴创建DAG,并计算最大概率路径,采用了维特比算法,在消歧方面可能略有提高,它的新词识别是否有助于提升搜索体验,不好说。以上是个人愚见

要回复问题请先登录注册