Создайте фрейм данных с синонимами NLTK

Question

Доброе утро,

Я использую NLTK, чтобы получить синонимы из рамки слов.

print(df)

col_1   col_2
Book      5
Pen       5 
Pencil    6

def get_synonyms(df, column_name):

df_1 = df["col_1"]

for i in df_1:
    syn = wn.synsets(i)

    for synset in list(wn.all_synsets('n'))[:2]:
        print(i, "-->", synset)
        print("-----------")

        for lemma in synset.lemmas():
            print(lemma.name())
            ci = lemma.name()

return(syn)

И это работает, но я хотел бы получить следующий фрейм данных с первыми "n" синонимами каждого слова в "col_1":

print(df_final)

    col_1     synonym
    Book      booklet
    Book      album
    Pen       cage   
    ...

Я попытался инициализировать пустой список перед циклом synset и lemma и добавлением, но в обоих случаях это не сработало; например:

synonyms = []
            for lemma in synset.lemmas():
                print(lemma.name())
                ci = lemma.name()
                synonyms.append(ci)

Answer 1

Ты можешь использовать:

from nltk.corpus import wordnet
from itertools import chain

def get_synonyms(df, column_name, N):
    L = []
    for i in df[column_name]:
        syn = wordnet.synsets(i)
        #flatten all lists by chain, remove duplicates by set
        lemmas = list(set(chain.from_iterable([w.lemma_names() for w in syn])))
        for j in lemmas[:N]:
            #append to final list
            L.append([i, j])
    #create DataFrame
    return (pd.DataFrame(L, columns=['word','syn']))    

#add number of filtered synonyms
df1 = get_synonyms(df, 'col_1', 3)
print (df1)
     word           syn
0    Book   record_book
1    Book          book
2    Book          Word
3     Pen  penitentiary
4     Pen       compose
5     Pen           pen
6  Pencil        pencil