【自然语言处理入门】01:利用jieba对数据集进行分词,并统计词频

一、基本要求

使用jieba对垃圾短信数据集进行分词,然后统计其中的单词出现的个数,找到出现频次最高的top100个词。

二、完整代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
# -*- coding: UTF-8 -*-
from collections import Counter
import jieba.analyse
import re
import time

#分词模板
def cut_word(datapath):
with open(datapath, 'r',encoding='utf-8') as fr:
string=fr.read()
print(type(string))
#对文件中的非法字符进行过滤
data=re.sub(r"[\s+\.\!\/_,$%^*(【】:\]\[\-:;+\"\']+|[+——!,。?、~@#¥%……&*()]+|[0-9]+","",string)
word_list= jieba.cut(data)
print(word_list)
return word_list
#词频统计模块
def statistic_top_word(word_list,top=100):
#统计每个单词出现的次数,别将结果转化为键值对(即字典)
result= dict(Counter(word_list))
print(result)
#sorted对可迭代对象进行排序
#items()方法将字典的元素转化为了元组,而这里key参数对应的lambda表达式的意思则是选取元组中的第二个元素作为比较参数
#排序厚的结果是一个列表,列表中的每个元素是一个将原字典中的键值对转化为的元祖
sortlist=sorted(result.items(),key=lambda item:item[1],reverse=True)
resultlist=[]
for i in range(0,top):
resultlist.append(sortlist[i])
return resultlist

#主函数
def main():
#设置数据集地址
datapath='F:\\python3\\nlp\\data\\spam.txt'
#对文本进行分词
word_list=cut_word(datapath)
#统计文本中的词频
statistic_result=statistic_top_word(word_list,100)
#输出统计结果
print(statistic_result)

if __name__ == "__main__":
main()

三、相关知识点

  • 1、jieba分词:三种模式,详见相关介绍
  • 2、对字典进行排序:字典可以实现对键和值分别排序。详见原文链接
  • 3、python 过滤中文、英文标点特殊符号:在进行分词前,主要是利用正则表达式对欲分词文本进行过滤,利用re.sub()函数对“非法”字符进行空字符替换。详见原文链接

四、相关参考