Описание тега pytorch-dataloader
0
ответов
Как создать набор данных в PyTorch для NN?
Я только начал изучать PyTorch и не совсем понимаю, как создаются классы для обучающих данных. В этой задаче используются готовые данные о молекулах https://colab.research.google.com/drive/1I8a0DfQ3fI7Njc62__mVXUlcAleUclnb?usp=sharing . Я хочу созда…
20 фев '21 в 23:26
2
ответа
Я получаю ошибку при попытке предсказать одно изображение CNN pytorch
Сообщение об ошибке Traceback (последний вызов последним): файл «pred.py», строка 134, в output = model(data) Ошибка выполнения: ожидается 4-мерный ввод для 4-мерного веса [16, 3, 3, 3], но получен Вместо этого 3-мерный ввод размера [1, 32, 32]. Код…
24 фев '21 в 13:23
1
ответ
Создайте набор данных тестирования pyTorch (без ярлыков)
Я создал набор данных pyTorch для моих обучающих данных, который состоит из функций и метки, позволяющей использовать pyTorch DataLoader с помощью этого руководства. Это хорошо работает для моих данных обучения, но я получаю сообщение об ошибке ( Ke…
24 фев '21 в 20:37
0
ответов
Загрузка данных PyTorch «зависает» при выполнении нескольких заданий на экземпляре GCP.
У меня проблема при запуске нескольких заданий python3.7 на одном компьютере (одно задание на графический процессор). Это задания по машинному обучению, включающие загрузку данных PyTorch для большого набора данных (>1000 ГБ). Имея только одну ра…
25 фев '21 в 17:45
2
ответа
Как PyTorch DataLoader взаимодействует с набором данных PyTorch для преобразования пакетов?
Я создаю собственный набор данных для задач, связанных с НЛП. В руководстве по настройке пользовательских данных PyTorch мы видим, что __getitem__() оставляет место для преобразования, прежде чем он вернет образец: def __getitem__(self, idx): if tor…
25 фев '21 в 17:16
0
ответов
Подготовить собственный набор данных слов на языке pytorch
Я пытаюсь обучить бинарную нейронную сеть, которая получит слово и решит, на языке L это слово или нет. Слова представляют собой битовые строки, а язык определяется шаблоном. мой набор данных выглядит так 001101000010010, False 111001001000000, Fals…
18 фев '21 в 19:08
0
ответов
Обучите простую RNN из карты значений T/F и ключей битовой строки в pytorch
Я хочу обучить сеть rnn, которая сможет идентифицировать следующее: у меня есть язык L, состоящий из строк битов (может иметь длину n>20), каждая строка битов, которая в языке соответствует шаблону языка (что не является актуально на данный момен…
17 фев '21 в 08:35
0
ответов
Как правильно реализовать t.utils.data.Dataloader
Я работаю над проектом, который требует, чтобы я получил данные, метку из файла csv, прежде чем идти на обучение в PyTorch. Структура CSV-файла: изображение, животное, вымерший blabla.png, 0, 1 .............. и так далее.. Я создал класс для получен…
09 фев '21 в 13:23
1
ответ
PyTorch, выберите партии в соответствии с меткой в столбце данных
У меня есть такой набор данных: Количество записей в каждом теге не всегда одинаково. И моя цель - загрузить только данные с определенным тегом или тегами, чтобы я получал только записи для одного мини-пакета, а затем для другого мини-пакета. Или на…
16 фев '21 в 19:51
0
ответов
Как загрузить мои собственные данные (не основанные на изображениях) вместо данных mnist
MNIST ожидает определенного формата, поэтому ему нужно будет хранить данные в том же формате и с соответствующим именем. Что, если я хочу загрузить свои многомерные данные (формат 1335x11 и .csv), которые не являются данными изображения; вместо данн…
26 фев '21 в 16:02
1
ответ
Объединение по оси z PyTorch Dataloader
У меня есть набор мультиспектральных данных с 9 полосами. Поскольку данных очень много, я разбил каждую полосу на 256 x 256 отсчетов. Итак, у меня есть 16 таких сэмплов для каждой группы, и я сохранил их в разные папки. Как теперь объединить каждый …
24 фев '21 в 13:46
1
ответ
Странное поведение Cuda вне памяти
Я использую Titan RTX емкостью 24 ГБ, и я использую его для сегментации изображений Unet с Pytorch, он всегда выбрасывает Cuda из памяти при разных размерах пакетов, плюс у меня больше свободной памяти, чем указано, что мне нужно, и, уменьшая размер…
15 мар '21 в 19:59
2
ответа
PYTORCH: вручную отсортированный набор данных MNIST с размером пакета = 1
[]: это указывает на партию. Например, если размер пакета равен 5, пакет будет выглядеть примерно так [1,4,7,4,2]. Длина [] указывает размер партии. То, что я хочу, чтобы тренировочный набор выглядел примерно так: [1] -> [1] -> [1] -> [1] -…
18 мар '21 в 19:35
1
ответ
Разделение набора данных с помощью SubsetRandomSampler не работает
я использовал <tcode id="25719528"></tcode>разделить данные обучения на данные обучения (80%) и данные проверки (20%). Но он показывает одинаковое количество изображений для обоих после разделения (4996): >>> print('len(train_da…
20 мар '21 в 09:15
0
ответов
Есть ли способ создать объект torch.utils.data.DataLoader из torchtext.TabularDataset?
Я новичок в ML и борюсь с задачей предварительной обработки данных. Я использую PyTorch и хочу классифицировать тексты с помощью простой модели RNN. Я не знаю, актуальна ли архитектура модели на данный момент. Чтобы дать вам немного контекста, у мен…
23 мар '21 в 14:54
1
ответ
Отображение изображений, загруженных с помощью загрузчика данных pytorch
Я работаю с некоторыми изображениями данных лидара, которые я не могу публиковать здесь из-за ограничения репутации при публикации изображений. Однако при загрузке одних и тех же изображений с использованием pytorch ImageFolder и Dataloader с единст…
26 мар '21 в 16:22
0
ответов
Pytorch/ Custom Dataset Loader/ Numpy массивы в тензоры
Привет, я новичок в pytorch, и у меня проблемы с пониманием создания пользовательского набора данных Я использую google colab, и мои "данные" и "ярлыки" уже загружены с диска Google в мой файл colab. «данные» - это массив, а «метки» - это фрейм данн…
05 апр '21 в 15:08
0
ответов
Можно ли сохранить объект PyTorch dataLoader в файл или что-то в этом роде?
Я работаю над проектом машинного обучения, и набор данных, который я использую, довольно велик. Каждый раз, когда я запускаю свою функцию getLoaders (которая просто вызывает Imagefolder(), разделяет данные и вызывает torch.utils.data.DataLoader(), у…
03 апр '21 в 09:50
1
ответ
Как объединить две функции изображения в настраиваемый набор данных pytorch?
Я пытаюсь создать собственный набор данных pytorch с двумя изображениями в качестве функций и одним изображением в качестве вывода. Вот как изображения находятся в файловой системе: ./feature1/image1.jpeg #64x64px ./feature2/image1.jpeg #64x64px ./o…
03 апр '21 в 22:15
1
ответ
Получите длину каждого предложения перед заполнением в bucketiterator torchtext
Можно ли получить длину каждого предложения перед заполнением в bucketiterator torchtext: train_loader = torchtext.legacy.data.BucketIterator(train_data, batch_size = 64, repeat=True, shuffle=True, sort_key = lambda x: len(x.text), sort=False, sort_…
06 апр '21 в 10:54