【文本相似度】利用余弦相似性计算句子的相似度

好吧,在处理文本的过程中有陷入了一个胡同,不知道接下来该做啥了。于是又在网上找相关的资料,无意间发现了两篇写得超级超级好的博客,是讲文本相似度,之前也学过,但是这两篇博文写得非常棒,深入浅出。然后也按照博文进行了代码实现,在此记录下,也作为文本相似度相关文章的第一篇。

1 功能分析

通过词频和余弦相似性定理计算句子间的相似度,具体理论讲解见上面提到的两篇博文。
1、TF-IDF与余弦相似性的应用(一):自动提取关键词
2、TF-IDF与余弦相似性的应用(二):找出相似文章

2 代码实现

根据上面博文的讲解,写了一个简单的程序,代码如下,涉及到的余弦定理的计算和角度计算见参考资料。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
#-*- coding: UTF-8 -*-
# @Time : 2018/3/23 19:39
# @Author : beibei
# @Site :
# @File : 利用余弦相似性计算句子的相似度.py
# @Software: PyCharm

import sys
import jieba
import numpy as np
def compete_similar(sen1,sen2):
# 1分词
sege1=jieba.cut(sen1)
wordlist_1=[word for word in sege1]
sege2=jieba.cut(sen2)
wordlist_2=[word for word in sege2]
# 2列出所有的词、
word_dict=[]
for word in wordlist_1:
# 如果当前词没有加入词汇表,则将该词加入词汇表
if word not in word_dict:
word_dict.append(word)
else:
continue
for word in wordlist_2:
if word not in word_dict:
word_dict.append(word)
else:
continue
# 3计算词频、4写出词频向量
word_count_1={}
word_count_2={}
word_count_vec_1=[]
word_count_vec_2=[]
# 对于词汇表中的每一个词,统计他在每句话中出现的次数
for word in word_dict:
num1=sen1.count(word)
num2=sen2.count(word)
word_count_1[word]=num1
word_count_2[word]=num2
word_count_vec_1.append(num1)
word_count_vec_2.append(num2)

# 计算相似度
vec_1=np.array(word_count_vec_1)
vec_2=np.array(word_count_vec_2)
one_dot_two=np.dot(vec_1,vec_2)
L1=np.sqrt(np.dot(vec_1,vec_1))
L2=np.sqrt(np.dot(vec_2,vec_2))
# 余弦值越接近1,就表明夹角越接近0度,也就是两个向量越相似,这就叫"余弦相似性"。
cos_angle=one_dot_two/(L1*L2)
angle_pi=np.arccos(cos_angle)
angle=angle_pi*360/2/np.pi
return angle


# 提示参数问题
def usage():
print (sys.argv[0], " first sentence"," second sentence")

#程序的入口函数
if __name__ == '__main__':
arg_len = len(sys.argv)
# 判断参数是否正确!
if arg_len!=3:
usage()
sys.exit(-1)
# 获取两句话
sentence1=sys.argv[1]
sentence2=sys.argv[2]
# 计算相似性
result=compete_similar(sentence1,sentence2)
# 输出结果
print(result)

运行结果为:

1
2
Prefix dict has been built succesfully.
19.1066053509

3 参考资料

1、python 线性代数:[14]计算向量夹角