Обработка смайликов в Flair Sentiment Analysis

Question

Я использую библиотеку Flair NLP, чтобы получить оценку настроений твитов. Как обрабатывать смайлы в Flair? Я знаю, что Вейдер неплохо справляется с эмодзи без предварительной обработки, но как насчет Flair? Что я должен добавить в код, чтобы учесть значение смайликов при анализе настроений? Следует ли мне использовать emojiбиблиотеку python демоджизировать? Это работает с чутьем?

s = flair.data.Sentence('I am feeling great <3')
flair_sentiment.predict(s)
total_sentiment = s.labels
print(total_sentiment[0].score)

Может кто-нибудь подскажет, как обращаться со смайликами со вкусом?

Answer 1

VADER - это анализ настроений на основе правил, который включает жестко запрограммированные правила, определяющие, как смайлы влияют на результат анализа настроений.

Напротив, чутье обучает модель на данных предсказывать тональность предложения. Учитываются ли смайлики и в каком формате (в виде символов Юникода или демоджизированных) моделью, зависит от того, представлены ли они в ваших обучающих данных и как они это делают.

Поэтому сначала вам следует проверить, включают ли данные, используемые для обучения ваших моделей настроений, смайлики и имеют ли они тот же формат, что и ваш ввод. Если нет, возможно, вам придется найти другой набор данных, который ближе к вашим входным данным, и обучить новую модель.