Косинусное сходство документов с весами

Question

Я пытаюсь найти косинусное сходство двух документов, представленных следующим образом:

d1: [(0,1), (3,2), (6, 1)]
d2: [(1,1), (3,1), (5,4), (6,2)]

где каждый документ представляет собой вектор веса темы, где темы - первый элемент в кортеже, а вес - второй элемент

Я не уверен, как в этом случае рассчитать сходство косинусов по этой взвешенной схеме? Есть ли в Python модуль / пакет, который позволил бы мне сделать такую ​​вещь?

Answer 1

Очень простая идея - создать вектор весов, а затем использовать scipy.spatial.distance.cosine для вычисления косинусного расстояния (которое равно 1-подобию):

In [1]: from scipy.spatial.distance import cosine
In [2]: import numpy as np
In [3]: d1 = [(0,1), (3,2), (6, 1)]
In [4]: d2 = [(1,1), (3,1), (5,4), (6,2)]
In [5]: def get_weights(d):
   ...:     w = [ 0. ] * N
   ...:     for i, weight in d:
   ...:         w[i] = weight
   ...:     return np.array(w)
   ...: 

In [6]: w1 = get_weights(d1)
In [7]: w2 = get_weights(d2)
In [8]: 1-cosine(w1, w2)
Out[8]: 0.3481553119113957

Answer 2

Да, в Python есть пакеты, например , косинус-симулятор scikit-learn. документация здесь. Ниже я дал вам ручной способ сделать это:

import numpy as np

d1 = dict([(0,1), (3,2), (6, 1)]) 
d2 = dict([(1,1), (3,1), (5,4), (6,2)])

l = max(d1.keys() + d2.keys()) + 1 ## Number of topics observed 

v1 = np.zeros((l,))
for i in xrange(l):
    if i in d1.keys():
        v1[i] = d1[i]

v2 = np.zeros((l,))
for i in xrange(l):
    if i in d2.keys():
        v2[i] = d2[i]

## now v1 and v2 are 1-d np arrays representing your docs. 

v1 = v1/np.sqrt(np.dot(v1,v1)) ## normalize
v2 = v2/np.sqrt(np.dot(v2,v2)) ## normalize

cos_sim = np.dot(v1,v2)  ## should get .348155...

Answer 3

При быстром взгляде, кажется, нет готовой функции, которая будет принимать входные данные этой формы. У вас есть два варианта, которые будут зависеть от проблемы, размера массивов и других вещей. Вы можете либо преобразовать каждый из двух векторов веса темы в разреженные векторы scipy, а затем использовать skinearn's cosine_sdentifity ( http://scikit-learn.org/stable/modules/generated/sklearn.metrics.pairwise.cosine_similarity.html) ИЛИ можно просто написать свой собственный косинус сходства. То, как я делал бы последнее, приводит каждый вектор к диктовке (для более быстрого поиска), как это.

import math

def vect_to_topic_weight(vector):
   return {a:b for a,b in vector}

def norm(vector):
   return math.sqrt(sum(vector[k]**2 for k in vector.iterkeys()))

def dot(a,b):
   return sum(a[k]*b.get(k,0) for k in a.iterkeys())

# returns the cosine_similarity, with inputs as topic_weight dicts
def cosine_similarity(a, b):
   return  dot(a,b) / float(norm(a)*norm(b))