Описание тега natural-language-processing
Используйте этот тег для вопросов, связанных с обработкой текста на естественном языке, в сочетании с такими языками программирования, как Python, Java, Perl и т. Д., И такими инструментами, как NLTK, Torchtext, которые помогают обрабатывать эти тексты.
1
ответ
Как сделать правильный размер обучения и тестового теста, чтобы соответствовать модели для встраивания elmo
Я получил ошибку при подборе модели вложения elmo с обучающим набором измерения x_tr=(43163, 50) и y_tr= (43163, 50, 1) как: InvalidArgumentError: Incompatible shapes: [1600] vs. [32,50] [[{{node metrics/acc/Equal}} = Equal[T=DT_FLOAT, _device="/job…
09 фев '19 в 10:18
1
ответ
Как построить классификатор из двух уже обученных классификаторов?
Я хочу классифицировать текст как положительный, отрицательный или нейтральный. Поэтому я строю два разных SVM. Первый классифицирует между отрицательным и положительным / нейтральным, а второй между положительным отрицательным / нейтральным. Если о…
21 июл '18 в 09:37
0
ответов
Есть ли WordpressPlugin?
Существует ли плагин для WordPress или другой веб-платформы, в который пользователь может войти и пометить (пометить) предложения, которые у него есть? Например, ярлык для двух предложений: противоречие, влечет за собой и нейтральный
15 ноя '18 в 22:00
2
ответа
Как я могу создать бота, способного запрашивать несколько значений в одной подсказке?
Представьте, что я хочу создать бота, чтобы посещать службу доставки пиццы. Но я хотел бы справиться, если клиент хочет спросить несколько ингредиентов, таких как: бот: какие ингредиенты ты хочешь? пользователь: пожалуйста, с сыром, грибами и кукуру…
04 дек '18 в 17:05
0
ответов
Моделирование темы - разделение данных (перекрестная проверка)
Почему случайное разделение данных в тематическом моделировании не является хорошим подходом? Предположим, типичный пример MNIST: если я позволю поезду с номерами от 0 до 8 и номером 9 в наборе тестов (пока не предположим, что валидация установлена)…
12 дек '18 в 04:09
0
ответов
Какие меры НЛП я должен использовать, чтобы сравнить важность / центральность определенных терминов в разных документах?
Какие НЛП (обработка естественного языка) я могу использовать для измерения важности и центральности различных слов в тексте или коллекции текстов? Пример: предположим, у меня есть два корпуса, содержащие судебные заключения. Корпус А содержит мнени…
10 фев '19 в 22:00
0
ответов
Многие методы / инструменты пакета nltk не работают
1) Я попробовал код из официальной книги по пакету nltk под названием /Natural Language Processing', но он выдает ошибку dt = nltk.DiscourseTester(['A student dances', 'Every student is a person']) print(dt.readings()) Я получаю ошибку NLTK не удало…
28 фев '19 в 16:59
1
ответ
Предварительная обработка данных для моделей предварительной подготовки НЛП (например, Emlo, Bert)
Я планирую обучить модели Эмло или Берта с нуля, основываясь на данных (заметки, напечатанные людьми) под рукой. Все данные, которые у меня есть, напечатаны разными людьми. Есть проблемы с орфографией, форматированием и несоответствиями в предложени…
01 мар '19 в 06:03
0
ответов
Python- Google NLP Api возвращает ssl.SSLEOFError: EOF произошел с нарушением протокола
Я работаю над проектом с использованием Python(3.6) и Django(2), в котором мне нужно обработать слишком много файлов из каталога с помощью API-интерфейса обработки облачного языка Google, но после обработки ~100 файлов возвращается сообщение об ошиб…
29 дек '18 в 13:56
0
ответов
Как отделить два текстовых файла с разными именами из папки. Есть ли какой-либо классификатор, который напрямую зависит от заголовка файла
У меня была папка в качестве места работы, в которой у меня было 1500 файлов двух разных типов, таких как соглашение и поправка. Моя задача - создать классификатор, который разделяет два разных файла и помещать в две разные папки.
18 фев '19 в 01:54
0
ответов
Как использовать предварительно обученную модель BERT для маркировки следующего предложения?
Я новичок в искусственном интеллекте и НЛП. Я хочу проверить, как работает Берт. Я использую предварительно обученную модель BERT: https://github.com/google-research/bert Я запустил пример extract_features.py, описанный в параграфе "Извлечь особенно…
18 янв '19 в 22:37
0
ответов
Существующие Словари Теплоты / Компетенции для НЛП?
Я делаю анализ текста для обратной связи, оставленной для большого набора сотрудников. Я исследователь и хочу назначать оценку "тепло" каждому комментарию (тепло = комментарии типа "Джерри дружелюбен!", "Сарра добра!"), А также оценку компетенции (н…
18 авг '18 в 23:19
0
ответов
Алгоритмы проверки правописания
Может ли Левенштейн отредактировать расстояние и N-граммы, используемые для предоставления списка правильных слов в программе проверки правописания? Могут ли они использоваться вместе, так как они имеют ту же функцию, которая заключается в обнаружен…
10 авг '18 в 00:29
3
ответа
Инструмент Python для поиска значимых пар слов в документе
Я пишу программу, которая собирает твиты из Twitter и оценивает текст, чтобы найти актуальные темы. Я планирую использовать NLTK для ограничения условий и выполнения некоторых других операций с данными. Мне нужен инструмент, который может определить…
09 окт '18 в 21:27
0
ответов
Преобразование вывода нейронной сети в POS-тег
Я ознакомился с руководством по использованию нейронной сети для выполнения задач тегирования части речи https://becominghuman.ai/part-of-speech-tagging-tutorial-with-the-keras-deep-learning-library-d7f93fa05537 Однако я застрял, когда речь заходит …
22 ноя '18 в 16:20
1
ответ
Как передать пользовательскую функцию внутри TfidfVectorizer.fit_transform()
У меня есть функция для предварительной обработки текста, которая просто удаляет стоп-слова как: def text_preprocessing(): df['text'] = df['text'].apply(word_tokenize) df['text']=df['text'].apply(lambda x: [item for item in x if item not in stopword…
15 июл '18 в 15:39
1
ответ
РАСА / Диалог потока к СНИПС НЛУ
Кто-нибудь знает хороший конвертер Rasa NLU или Dialogflow в формат SNIPS? Может быть, с графическим интерфейсом пользователя. Есть некоторые, которые конвертируют из rasa в DF и наоборот, но я не могу найти конвертер для SNIPS. Спасибо
25 окт '18 в 07:54
9
ответов
Что делает функция tf.nn.embedding_lookup?
tf.nn.embedding_lookup(params, ids, partition_strategy='mod', name=None) Я не могу понять обязанность этой функции. Это как справочная таблица? Что значит вернуть параметры, соответствующие каждому идентификатору (в идентификаторах)? Например, в ski…
19 янв '16 в 07:14
1
ответ
Смешивание текстовых и числовых функций для классификации текста с использованием глубокого обучения
У меня проблема с классификацией текста на несколько категорий (тем). Помимо текста, у меня есть некоторые числовые функции, которые, я считаю, могут быть полезны (среди этих функций также отсутствуют значения). Но самая важная информация, конечно, …
13 сен '18 в 17:18
0
ответов
Детерминированная Сегментация URL и HashTag - Hackerrank
Я не могу понять, как я должен включить следующую логику в мой код ( ссылка на вопрос): Напишите свой сплиттер таким образом, чтобы при токенизации строки слева направо; в случае, если есть несколько возможных способов разбить строку, выберите самую…
14 авг '18 в 10:21