如何用PYTHON做分词处理
发布网友
发布时间：2022-04-20 08:27
共1个回答
热心网友
时间：2022-04-07 12:59
可以利用python的jieba分词，得到文本中出现次数较多的词。
首先pip安装一下jieba，这个可以分词
然后用计数器Counter()统计一下得到的分词中各词的数量
最后most_common(5)，是打印出排名前五位的词（包括特殊符号）
#encoding:utf-8import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import jieba
from collections import Counter
str1 = open('tips.txt').read()
wordlist_after_jieba = jieba.cut(str1, cut_all = True)
list_wl = Counter(wordlist_after_jieba)
for i in list_wl.most_common(5):
print i[0],i[1]
