Python中文分词的原理你知道吗？

发布网友发布时间：2022-04-20 08:27

共2个回答

热心网友时间：2022-07-12 04:30

我使用的是python的jieba分词，它的原理是首先将要分词的字符串与自身的词典进行匹配查找，如果字典中有词语就返回该词语，然后使用HMM模型对其余为分出词语的词进行算法分析，计算两个字之间成词的可能性，如果可以成词，就将这个词语返回，最后返回一个所有词语的列表

热心网友时间：2022-07-12 04:30

你在做搜索功能吗？我以前做搜索时用的IKAnalizer分词器，原理大概就是自己拥有一个词汇量很大的词典，对于中文中使用的多音字、歧义等中文特有的性质的特殊处理，有一些做好了的东西，算法也有好几种实现，太具体的东西我也没研究了追问有没有具体点的啊