Описание тега spacy-transformers
1
ответ
Как превратить существующую модель huggingface-transformers в spacy?
Я здесь, чтобы спросить вас, ребята, можно ли использовать существующую обученную модель huggingface-transformers с простором. Первой моей наивной попыткой было загрузить его через spacy.load('bert-base-uncased'), это не сработало, потому что просто…
27 окт '21 в 15:44
0
ответов
Есть ли способ превратить обычную модель трансформатора в просторную?
Я пытаюсь использовать чистую модель-трансформер из huggingface в spacy. Я уже пробовал и не знаю, как использовать spacy-transformers библиотека, чтобы выполнить свою работу. Когда я это сделаю, появится следующая ошибка: Could not read meta.json f…
26 окт '21 в 15:15
0
ответов
удалить пустые токены в кадре данных
Я хотел бы удалить пустые токены из фрейма данных. Вот пример: import pandas as pd import spacy_transformers text = "hello world" df = pd.DataFrame([x.split(';') for x in text.split('\n')]) sp = spacy.load('en_core_web_sm') df['token'] = df[0].apply…
15 окт '21 в 15:48
3
ответа
Не удалось найти функцию "spacy-transformers.TransformerModel.v3" в реестре функций "архитектура"
Я пытался создать собственную модель NER. Для создания модели я использовал просторную библиотеку. Эта строка кода предназначена для создания файла конфигурации из файла base.config. Мой код :! Python -m spacy init fill-config /content/drive/MyDrive…
24 окт '21 в 09:10
1
ответ
Добавить собственную пунктуацию в просторную модель
Как добавить пользовательскую пунктуацию (например, звездочку) в список инфиксов в токенизаторе и сделать так, чтобы nlp.explain распознал ее как знаки препинания? Я хотел бы иметь возможность добавлять символы, которые в настоящее время не распозна…
04 ноя '21 в 15:15
1
ответ
Как выполнить итерацию токенизированного набора данных pytorch Multi30k в BucketIterator?
Я использую Pytorch(1.10 v), я использую набор данных Multi30k с немецкого на английский для машинного перевода. Я использую spacy для токенизации (как для английских, так и для немецких слов) и хочу передать токенизированные данные в ( torchtext.le…
17 ноя '21 в 07:20
2
ответа
Как применить пользовательское преобразование к моему пользовательскому набору данных pytorch
Я создаю свой собственный набор данных в проекте pytorch, и мне нужно добавить гауссовский шум в свой набор данных с помощью преобразований. Мой набор данных представляет собой двумерный массив 1 и -1. Я делаю следующее: class AddGaussianNoise(objec…
26 ноя '21 в 12:33
0
ответов
Как я могу использовать thinc.types с пространственной версией 2
я использую spacy version==2.2.4для распознавания сущности имени и желает использовать ту же версию для тестирования конвейера извлечения настраиваемого пространственного отношения . Но, к сожалению, я столкнулся с указанной ниже проблемой при запус…
14 дек '21 в 15:25
1
ответ
ImportError: невозможно импортировать имя «AlbertModel» из «трансформаторов» - Берт сумматор
Я пытаюсь обобщить некоторый текст с помощью «Обобщения текста с помощью BERT» следующими шагами: сначала установка: pip install transformers==2.2.0 pip install bert-extractive-summarizer во-вторых, сумматор импорта: from summarizer import Summarize…
29 дек '21 в 01:25
0
ответов
Как инициализировать tok2vec Transformer с пользовательской моделью spacy ner
У меня возникли проблемы с инициализацией преобразователя tok2vec с пользовательской моделью spacy ner. Как мне правильно использовать tok2vec до того, как в конвейере начнется шаг ner? В этом: nlp = spacy.load("./output_training_11.11") ner = nlp.g…
22 янв '22 в 21:51
0
ответов
Чем spaCy отличается от Huggingface?
Исходя из мира компьютерного зрения: чем spaCy отличается от Huggingface? Когда лучше использовать ту или иную библиотеку? У меня такое ощущение, что у них действительно разные фокусы, но мне трудно найти какие-то конкретные различия. Например, Hugg…
24 янв '22 в 00:29
1
ответ
Могу ли я обновить базу знаний spacy Entity Linking после обучения?
Предположим, я успешно обучил модель Entity Linking, и она отлично работает. Но, со временем, я собираюсь обновить некоторые псевдонимы базы знаний. Просто какие-то псевдонимы не описание и не новые сущности. Я знаю, что у spacy есть способ сделать …
24 янв '22 в 19:21
1
ответ
Spacy v3 – ValueError: [E030] Границы предложения не установлены
Я тренирую модель компоновщика объектов с помощью spacy 3 и получаю следующую ошибку при запуске spacy train: ValueError: [E030] Sentence boundaries unset. You can add the 'sentencizer' component to the pipeline with: nlp.add_pipe('sentencizer'). Al…
30 янв '22 в 16:25
0
ответов
ImportError: невозможно импортировать имя «auto_class_factory» из «transformers.models.auto.modeling_auto»
я пытаюсь бежать layoutxlmкод , https://github.com/microsoft/unilm/tree/master/layoutxlm Новейшая многоязычная модель НЛП. Установка завершена, и в этом нет проблем, но при запуске кода я вижу эту ошибку. Auto_class_factoryмодуль присутствует внутри…
15 сен '21 в 08:02
0
ответов
Предупреждение пользователя: [W033] Обучение нового синтаксического анализатора или NER с использованием модели.
Я пытаюсь тренировать NER поверх de_trf_bertbasecased_lgмодель с spaCy, которая, очевидно, не включает таблицу нормализации лексем, поэтому я получаю: UserWarning: [W033] Training a new parser or NER using a model with an empty lexeme normalization …
29 дек '20 в 22:55
0
ответов
Быстрое извлечение больших пространственных векторов в Python
Я пытаюсь извлечь некоторые векторы слов из модели на основе трансформатора. Шаги: Запустите текст через конвейер, используя . Разбейте текст на предложения (для отдельной классификации по бинарным категориям). Сохраните векторы предложений в список…
21 фев '22 в 18:16
0
ответов
IndexError: размер вне диапазона (ожидается, что он будет в диапазоне [-2, 1], но получено 2) на трансформаторах в PyTorch
У меня есть 14 свойств и 1 вывод метки и выходной класс номер 10, я хочу запустить его на трансформаторах, но получаю эту ошибку. Когда я запускал этот код в модели MLP, у меня не было проблем, но у меня есть проблемы здесь . Вот пример значения мои…
26 дек '20 в 18:39
0
ответов
Существует ли рекомендуемый алгоритм машинного обучения с множественной классификацией?
Как разработать многоклассовую классификацию в машинном обучении, есть ли рекомендуемый алгоритм? Я пытаюсь использовать многоклассовую классификацию в python для огромного количества медицинских данных. Я видел несколько доступных алгоритмов бинарн…
04 янв '21 в 03:31
0
ответов
Spacy [E047] Невозможно присвоить значение незарегистрированному атрибуту расширения "trf_data"
Я пытаюсь использовать en_core_web_trf Spacy для разделения предложений. По какой-то причине я получаю сообщение "[E047] Невозможно присвоить значение незарегистрированному атрибуту расширения "trf_data". Вы забыли вызвать set_extensionметод?" Когда…
09 мар '21 в 13:11
2
ответа
Обучение модели spaCy как Vertex AI Pipeline "Component"
Я пытаюсь обучить модель spaCy , но превращаю код в компонент Vertex AIPipeline . Мой текущий код: @component( packages_to_install=[ "setuptools", "wheel", "spacy[cuda113,transformers,lookups]", ], base_image="gcr.io/deeplearning-platform-release/ba…
26 апр '22 в 13:05