Анализ настроений с фразами в словарях
Я выполняю анализ настроений на наборе твитов, которые у меня есть, и теперь я хочу знать, как добавлять фразы в положительные и отрицательные словари.
Я прочитал в файлах фразы, которые хочу протестировать, но при запуске анализа настроений это не дает мне результата.
Читая алгоритм чувств, я вижу, что он сопоставляет слова со словарями, но есть ли способ отсканировать слова и фразы?
Вот код:
score.sentiment = function(sentences, pos.words, neg.words, .progress='none')
{
require(plyr)
require(stringr)
# we got a vector of sentences. plyr will handle a list
# or a vector as an "l" for us
# we want a simple array ("a") of scores back, so we use
# "l" + "a" + "ply" = "laply":
scores = laply(sentences, function(sentence, pos.words, neg.words) {
# clean up sentences with R's regex-driven global substitute, gsub():
sentence = gsub('[[:punct:]]', '', sentence)
sentence = gsub('[[:cntrl:]]', '', sentence)
sentence = gsub('\\d+', '', sentence)
# and convert to lower case:
sentence = tolower(sentence)
# split into words. str_split is in the stringr package
word.list = str_split(sentence, '\\s+')
# sometimes a list() is one level of hierarchy too much
words = unlist(word.list)
# compare our words to the dictionaries of positive & negative terms
pos.matches = match(words, pos)
neg.matches = match(words, neg)
# match() returns the position of the matched term or NA
# we just want a TRUE/FALSE:
pos.matches = !is.na(pos.matches)
neg.matches = !is.na(neg.matches)
# and conveniently enough, TRUE/FALSE will be treated as 1/0 by sum():
score = sum(pos.matches) - sum(neg.matches)
return(score)
}, pos.words, neg.words, .progress=.progress )
scores.df = data.frame(score=scores, text=sentences)
return(scores.df)
}
analysis=score.sentiment(Tweets, pos, neg)
table(analysis$score)
Вот результат, который я получаю:
0
20
в то время как я после стандартной таблицы, что эта функция обеспечивает, например,
-2 -1 0 1 2
1 2 3 4 5
например.
У кого-нибудь есть какие-либо идеи о том, как запустить это на фразы? Примечание. Файл TWEETS - это файл предложений.
1 ответ
Функция score.sentiment
похоже на работу. Если я попробую очень простую настройку,
Tweets = c("this is good", "how bad it is")
neg = c("bad")
pos = c("good")
analysis=score.sentiment(Tweets, pos, neg)
table(analysis$score)
Я получаю ожидаемый результат,
> table(analysis$score)
-1 1
1 1
Как вы кормите 20 твитов для метода? Из результата вы публикуете, что 0 20
Я бы сказал, что ваша проблема в том, что ваши 20 твитов не содержат ни положительного, ни отрицательного слова, хотя, конечно, вы бы это заметили. Возможно, если вы опубликуете более подробную информацию в своем списке твитов, ваши положительные и отрицательные слова, вам будет легче помочь.
В любом случае, ваша функция работает нормально.
Надеюсь, поможет.
РЕДАКТИРОВАТЬ после пояснений через комментарии:
На самом деле, чтобы решить вашу проблему, вам нужно разбить ваши предложения на n-grams
, где n
будет соответствовать максимальному количеству слов, которые вы используете для вашего списка положительных и отрицательных n-grams
, Вы можете увидеть, как это сделать, например, в этом вопросе SO. Для полноты, и так как я сам проверил это, вот пример того, что вы могли бы сделать. Я упрощаю это до bigrams
(n=2) и используйте следующие входные данные:
Tweets = c("rewarding hard work with raising taxes and VAT. #LabourManifesto",
"Ed Miliband is offering 'wrong choice' of 'more cuts' in #LabourManifesto")
pos = c("rewarding hard work")
neg = c("wrong choice")
Вы можете создать Bigram Tokenizer, как это,
library(tm)
library(RWeka)
BigramTokenizer <- function(x) NGramTokenizer(x, Weka_control(min=2,max=2))
И проверить это,
> BigramTokenizer("rewarding hard work with raising taxes and VAT. #LabourManifesto")
[1] "rewarding hard" "hard work" "work with"
[4] "with raising" "raising taxes" "taxes and"
[7] "and VAT" "VAT #LabourManifesto"
Тогда в вашем методе вы просто подставляете эту строку,
word.list = str_split(sentence, '\\s+')
этим
word.list = BigramTokenizer(sentence)
Хотя, конечно, было бы лучше, если бы вы изменили word.list
в ngram.list
или что-то типа того.
Результат, как и ожидалось,
> table(analysis$score)
-1 0
1 1
Просто определись n-gram
размер и добавить его в Weka_control
и ты должен быть в порядке.
Надеюсь, поможет.