Анализ настроений с фразами в словарях

Я выполняю анализ настроений на наборе твитов, которые у меня есть, и теперь я хочу знать, как добавлять фразы в положительные и отрицательные словари.

Я прочитал в файлах фразы, которые хочу протестировать, но при запуске анализа настроений это не дает мне результата.

Читая алгоритм чувств, я вижу, что он сопоставляет слова со словарями, но есть ли способ отсканировать слова и фразы?

Вот код:

    score.sentiment = function(sentences, pos.words, neg.words, .progress='none')
{
  require(plyr)  
  require(stringr)  
  # we got a vector of sentences. plyr will handle a list  
  # or a vector as an "l" for us  
  # we want a simple array ("a") of scores back, so we use  
  # "l" + "a" + "ply" = "laply":  
  scores = laply(sentences, function(sentence, pos.words, neg.words) {
    # clean up sentences with R's regex-driven global substitute, gsub():
    sentence = gsub('[[:punct:]]', '', sentence)
    sentence = gsub('[[:cntrl:]]', '', sentence)
    sentence = gsub('\\d+', '', sentence)    
    # and convert to lower case:    
    sentence = tolower(sentence)    
    # split into words. str_split is in the stringr package    
    word.list = str_split(sentence, '\\s+')    
    # sometimes a list() is one level of hierarchy too much    
    words = unlist(word.list)    
    # compare our words to the dictionaries of positive & negative terms
    pos.matches = match(words, pos)
    neg.matches = match(words, neg)   
    # match() returns the position of the matched term or NA    
    # we just want a TRUE/FALSE:    
    pos.matches = !is.na(pos.matches)   
    neg.matches = !is.na(neg.matches)   
    # and conveniently enough, TRUE/FALSE will be treated as 1/0 by sum():
    score = sum(pos.matches) - sum(neg.matches)    
    return(score)    
  }, pos.words, neg.words, .progress=.progress )  
  scores.df = data.frame(score=scores, text=sentences)  
  return(scores.df)  
}
analysis=score.sentiment(Tweets, pos, neg)
table(analysis$score)

Вот результат, который я получаю:

0
20

в то время как я после стандартной таблицы, что эта функция обеспечивает, например,

-2 -1 0 1 2 
 1  2 3 4 5 

например.

У кого-нибудь есть какие-либо идеи о том, как запустить это на фразы? Примечание. Файл TWEETS - это файл предложений.

1 ответ

Решение

Функция score.sentiment похоже на работу. Если я попробую очень простую настройку,

Tweets = c("this is good", "how bad it is")
neg = c("bad")
pos = c("good")
analysis=score.sentiment(Tweets, pos, neg)
table(analysis$score)

Я получаю ожидаемый результат,

> table(analysis$score)

-1  1 
 1  1 

Как вы кормите 20 твитов для метода? Из результата вы публикуете, что 0 20Я бы сказал, что ваша проблема в том, что ваши 20 твитов не содержат ни положительного, ни отрицательного слова, хотя, конечно, вы бы это заметили. Возможно, если вы опубликуете более подробную информацию в своем списке твитов, ваши положительные и отрицательные слова, вам будет легче помочь.

В любом случае, ваша функция работает нормально.

Надеюсь, поможет.

РЕДАКТИРОВАТЬ после пояснений через комментарии:

На самом деле, чтобы решить вашу проблему, вам нужно разбить ваши предложения на n-grams, где n будет соответствовать максимальному количеству слов, которые вы используете для вашего списка положительных и отрицательных n-grams, Вы можете увидеть, как это сделать, например, в этом вопросе SO. Для полноты, и так как я сам проверил это, вот пример того, что вы могли бы сделать. Я упрощаю это до bigrams (n=2) и используйте следующие входные данные:

Tweets = c("rewarding hard work with raising taxes and VAT. #LabourManifesto", 
              "Ed Miliband is offering 'wrong choice' of 'more cuts' in #LabourManifesto")
pos = c("rewarding hard work")
neg = c("wrong choice")

Вы можете создать Bigram Tokenizer, как это,

library(tm)
library(RWeka)
BigramTokenizer <- function(x) NGramTokenizer(x, Weka_control(min=2,max=2))

И проверить это,

> BigramTokenizer("rewarding hard work with raising taxes and VAT. #LabourManifesto")
[1] "rewarding hard"       "hard work"            "work with"           
[4] "with raising"         "raising taxes"        "taxes and"           
[7] "and VAT"              "VAT #LabourManifesto"

Тогда в вашем методе вы просто подставляете эту строку,

word.list = str_split(sentence, '\\s+')

этим

word.list = BigramTokenizer(sentence)

Хотя, конечно, было бы лучше, если бы вы изменили word.list в ngram.list или что-то типа того.

Результат, как и ожидалось,

> table(analysis$score)

-1  0 
 1  1

Просто определись n-gram размер и добавить его в Weka_control и ты должен быть в порядке.

Надеюсь, поможет.

Другие вопросы по тегам