Мешок слов с массивом json

Question

Я пытаюсь следовать этому уроку, чтобы создать собственный пакет слов.

from sklearn.feature_extraction.text import CountVectorizer

corpus = [
'All my cats in a row',
    'When my cat sits down, she looks like a Furby toy!',
    'The cat from outer space',
    'Sunshine loves to sit like this for some reason.'
]
vectorizer = CountVectorizer()
print( vectorizer.fit_transform(corpus).todense() )
print( vectorizer.vocabulary_ )

Этот скрипт печатает, что:

[[1 0 1 0 0 0 0 1 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 0 0]
 [0 1 0 1 0 0 1 0 1 1 0 1 0 0 0 1 0 1 0 0 0 0 0 0 1 1]
 [0 1 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 1 0 0 0 0]
 [0 0 0 0 1 0 0 0 1 0 1 0 0 1 0 0 1 0 1 0 1 0 1 1 0 0]]
{u'all': 0, u'sunshine': 20, u'some': 18, u'down': 3, u'reason': 13, u'looks': 9, u'in': 7, u'outer': 12, u'sits': 17, u'row': 14, u'toy': 24, u'from': 5, u'like': 8, u'for': 4, u'space': 19, u'this': 22, u'sit': 16, u'when': 25, u'cat': 1, u'to': 23, u'cats': 2, u'she': 15, u'loves': 10, u'furby': 6, u'the': 21, u'my': 11}

Итак, вот моя проблема: у меня есть файл JSON с этой структурой данных:

[
    {
        "id": "1",
        "class": "positive",
        "tags": [
            "tag1",
            "tag2"
        ]
    },
    {
        "id": "2",
        "class": "negative",
        "tags": [
            "tag1",
            "tag3"
        ]
    }
]

Поэтому я пытаюсь векторизовать массив тегов без какого-либо успеха.

Я пробовал что-то вроде этого:

data = json.load(open('data.json'));
print( vectorizer.fit_transform(data).todense() )

также:

for element in data:
print( vectorizer.fit_transform(element).todense() ) 
#or 
print( vectorizer.fit_transform(element['tags']).todense() ) 

никто не работает Есть идеи?

Answer 1

1. Используйте панд, чтобы прочитать файл JSON в DataFrame

import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer

df = pd.read_json('data.json', orient='values')
print(df)

Это то, что ваш DataFrame должен выглядеть так:

Out[]:       
      class  id          tags
0  positive   1  [tag1, tag2]
1  negative   2  [tag1, tag3]

2. Преобразуйте столбец тегов из list в str

df['tags'] = df['tags'].apply(lambda x: ' '.join(x))
print(df)

Это приведет к конвертации tags для разделения строк:

Out[]:       
class  id       tags
0  positive   1  tag1 tag2
1  negative   2  tag1 tag3

3. Подключите tags колонна / панды Series в CountVectorizer

vectorizer = CountVectorizer()
print(vectorizer.fit_transform(df['tags']).todense())
print(vectorizer.vocabulary_)

Это приведет к выводу, который вы хотите:

Out[]:       
[[1 1 0]
 [1 0 1]]
{'tag1': 0, 'tag2': 1, 'tag3': 2}