Анализ настроений с разным количеством документов

Question

Я пытаюсь провести анализ настроений в газетных статьях и отслеживать уровень настроений по времени. Для этого, в основном, я идентифицирую все соответствующие новостные статьи в течение дня, добавлю их в функцию полярности () и получу средние значения полярности всех статей (точнее, среднее значение для всех предложений по всем статьям). в тот день.

Проблема в том, что в течение нескольких дней будет гораздо больше статей по сравнению с другими днями, и я думаю, что это может замаскировать некоторую информацию, если мы просто отследим среднесуточную оценку полярности. Например, оценка 0,1 из 30 новостных статей должна иметь больший вес по сравнению с оценкой 0,1, полученной только из 3 статей. и, конечно же, некоторые из наиболее экстремальных оценок полярности, которые я получил, были получены в те дни, когда было всего несколько статей.

Могу ли я принять во внимание различное количество статей каждый день?

library(qdap)
sentence = c("this is good","this is not good")
polarity(sentence)

Answer 1

Я бы предупредил, что иногда сказать что-то сильное с небольшим количеством слов может дать самый сильный удар. Убедитесь, что то, что вы делаете, имеет смысл с точки зрения ваших данных и вопросов исследования.

Один из подходов заключается в использовании количества слов, как в следующем примере (мне больше нравится первый подход здесь):

poldat2 <- with(mraja1spl, polarity(dialogue, list(sex, fam.aff, died)))

output <- scores(poldat2)
weight <- ((1 - (1/(1 + log(output[["total.words"]], base = exp(2))))) * 2) - 1
weight <- weigth/max(weight)
weight2 <- output[["total.words"]]/max(output[["total.words"]])

output[["weighted.polarity"]] <- output[["ave.polarity"]] * weight   
output[["weighted.polarity2"]] <- output[["ave.polarity"]] * weight2   
output[, -c(5:6)]


##    sex&fam.aff&died total.sentences total.words ave.polarity weighted.polarity weighted.polarity2
## 1       f.cap.FALSE             158        1641        0.083       0.143583793        0.082504197
## 2        f.cap.TRUE              24         206        0.044       0.060969157        0.005564434
## 3       f.mont.TRUE               4          29        0.079       0.060996614        0.001397106
## 4       m.cap.FALSE              73         651        0.031       0.049163984        0.012191207
## 5        m.cap.TRUE              17         160       -0.176      -0.231357933       -0.017135804
## 6     m.escal.FALSE               9         170       -0.164      -0.218126656       -0.016977931
## 7      m.escal.TRUE              27         590       -0.067      -0.106080866       -0.024092720
## 8      m.mont.FALSE              70         868       -0.047      -0.078139272       -0.025099276
## 9       m.mont.TRUE             114        1175       -0.002      -0.003389105       -0.001433481
## 10     m.none.FALSE               7          71        0.066       0.072409049        0.002862997
## 11  none.none.FALSE               5          16       -0.300      -0.147087026       -0.002925046