如何用python对文章中文分词并统计词频

发布网友发布时间：2022-04-20 08:27

共2个回答

懂视网时间：2022-05-10 08:01

当我们在看一篇文章甚至是一本小说的时候，想知道文本中哪个字出现的最多，出现了多少次，该怎么办？Python可以用简单的代码就可以实现这份工作。你也可以拓展一下，可以通过小说中谁的名字或者哪一句话出现的次数最多来推断主角是谁？口头禅是什么？是不是十分有趣，快来试试吧。

思路：

是先把每个字符提出来放在列表里；

再过滤掉其中的标点符号；

最后用字典对某个字出现的频率进行累加。

热心网友时间：2022-05-10 05:09

1、全局变量在函数中使用时需要加入global声明
2、获取网页内容存入文件时的编码为ascii进行正则匹配时需要decode为GB2312，当匹配到的中文写入文件时需要encode成GB2312写入文件。
3、中文字符匹配过滤正则表达式为ur'[\u4e00-\u9fa5]+',使用findall找到所有的中文字符存入分组
4、KEY，Value值可以使用dict存储，排序后可以使用list存储
5、字符串处理使用split分割，然后使用index截取字符串，判断哪些是名词和动词
6、命令行使用需要导入os,os.system(cmd)