Описание тега dataloader
DataLoader - это универсальная утилита, которая будет использоваться как часть уровня выборки данных вашего приложения, чтобы обеспечить согласованный API для различных серверных ВМ и сократить количество запросов к этим серверным ВМ с помощью пакетной обработки и кэширования.
1
ответ
Загрузчик данных для кэширования и запроса к базе данных
Как кеширует и запрашивает загрузчик данных и сохраняет их в ключе. https://github.com/facebook/dataloader Здесь мне требуется пакет dataloader и создать экземпляр, но как он работает над идеями................................... для запроса базы да…
06 фев '17 в 17:35
0
ответов
Решения для подключения к Graphql с использованием gqlgen
Я работаю над реализацией спецификации соединения graphql с использованием gqlgen для API-интерфейса graphql и был немного озадачен лучшими практиками правильного разрешения ребер и узлов. В официальном примере starwars gqlgen у них уже есть идентиф…
31 июл '19 в 20:32
0
ответов
Как можно получить массив связанных объектов из модели graphql?
У меня есть Модель вопросов, которая может быть связана со многими предметами, я хочу получить все связанные темы для этого вопроса, вот мой запрос: questions { tracks{ id title answers user{ email } subjects{ title } } Я получаю следующую ошибку: m…
03 авг '19 в 01:03
0
ответов
Как я могу оптимизировать N+1 вопрос запроса, когда инструкция SQL содержит orderBy, limit и first?
Я использую knex.js построитель запросов и загрузчик данных. Вот мой случай, запрос такой: this.knex .select() .from(this.relation) .where({ organization_id: orgId }) .orderBy('user_id', 'asc') .limit(1) .first(); Вот журнал отладки для knex: { meth…
17 июл '19 в 07:54
0
ответов
Как разбить набор данных MNIST на несколько подмножеств для распределенных узлов, используя Pytorch?
Я реализую обучение DistributedDataParallel для простого CNN для torchvision.datasets.MNIST, одновременно работающего на 3 распределенных узлах. Я хочу разделить наборы данных на 3 непересекающихся подмножества (A,B,C), каждый из которых должен соде…
26 июл '19 в 13:34
1
ответ
Как я могу использовать PyTorch DataLoader для обучения укреплению?
Я пытаюсь настроить обобщенную платформу Reinforcement Learning в PyTorch, чтобы воспользоваться всеми высокоуровневыми утилитами, использующими PyTorch DataSet и DataLoader, такими как Ignite или FastAI, но я столкнулся с блокирующим устройством с …
29 июл '19 в 19:58
0
ответов
Использование DataLoader вместе с Relay cache
Я разработал сервер graphql (используя graphql-yoga), моим клиентом GraphQL является Relay, и я также установил кэш в слое Relay Network (см. Документ). Мой сервер GraphQL - это просто слой поверх REST API. Имеет ли смысл пытаться добавить также Dat…
02 авг '19 в 22:52
2
ответа
Как получить весь набор данных из загрузчика данных в PyTorch
Как загрузить весь набор данных из DataLoader? Я получаю только одну партию данных. Это мой код dataloader = torch.utils.data.DataLoader(dataset=dataset, batch_size=64) images, labels = next(iter(dataloader))
07 авг '19 в 07:13
0
ответов
Загрузчик данных Pytorch перемешивает пример внутри пакета
У меня есть следующий Dataloader, который я использую для автоматического кодера в Pytorch class DataLoader(data.DataLoader): def __init__(self, *args, **kwargs): super(DataLoader, self).__init__(*args, **kwargs) self.iterator = self.__iter__() def …
11 авг '19 в 17:22
1
ответ
Загрузчик данных Pytorch, слишком много потоков, слишком много памяти процессора
Я тренирую модель, используя PyTorch. Для загрузки данных я использую torch.utils.data.DataLoader, Загрузчик данных использует собственную базу данных, которую я реализовал. Странная проблема возникала, каждый раз, когда второй for в следующем коде …
29 июл '19 в 11:53
1
ответ
Matplotlib Pylot - изображения отображаются в низком разрешении (от пикселя к пикселю)
Когда я отображаю некоторые образцы фотографий из набора данных, который я использую, предварительный просмотр изображений отображается в низком разрешении (они выглядят как фотографии очень низкого разрешения). Как я могу отображать изображения без…
13 авг '19 в 09:17
0
ответов
Мне нужна помощь, у меня проблема с загрузчиком данных, с идентификатором родителя из apollo graphql, кто-нибудь может мне помочь?
У меня есть проблема с загрузчиком данных, когда я помещаю родительский идентификатор вручную, загрузчик данных работает, как это: const user = await userLoader.loadMany (["5d561537569c532db05de0c5", "5d56158d569c532db05de0c6"]); затем, когда я испо…
16 авг '19 в 11:07
1
ответ
Загрузка пользовательских наборов изображений с помощью PyTorch
Я использую набор данных coil-100, который имеет изображения из 100 объектов, 72 изображения на объект, взятые с фиксированной камеры путем поворота объекта на 5 градусов на изображение. Ниже приведена структура папок, которую я использую: data / tr…
25 авг '19 в 22:07
1
ответ
Смешанные данные в одном пакете на DataLoader PyTorch с несколькими работниками
Я хочу знать, как использовать torch.utils.data.DataLoader в PyTorch, особенно в случае нескольких рабочих. Я обнаружил, что один пакетный вывод из DataLoader всегда исходит от одного работника. Я ожидал, что в DataLoader есть очередь, в которой хра…
30 авг '19 в 18:08
1
ответ
Должен ли GraphQL DataLoader переносить запрос к базе данных или переносить запросы к методам обслуживания?
У меня есть очень распространенная схема GraphQL, как это (псевдокод): Post { commentsPage(skip: Int, limit: Int) { total: Int items: [Comment] } } Таким образом, чтобы избежать проблемы n+1 при запросе нескольких Post объекты я решил использовать F…
25 июл '19 в 16:24
1
ответ
Как они знают среднее и стандартное значение, входное значение преобразований. Нормализовать
Вопрос касается учебника по загрузке данных с сайта PyTorch. Я не знаю, как они пишут значение mean_pix а также std_pix Нормализовать без расчета Я не могу найти какое-либо объяснение, относящееся к этому вопросу в Stackru. import torch from torchvi…
17 авг '19 в 04:30
2
ответа
Сбой DataLoader при перетасовке
Я использую DataLoader для чтения из пользовательского объекта Dataset на основе numpy memmap. Пока я читаю данные без перетасовки, все работает нормально, но, как я установил shuffle=TrueКрушение во время выполнения. Я попытался реализовать механиз…
26 авг '19 в 23:04
1
ответ
Установить время жизни для ключей в загрузчике данных
Эй, есть какой-то способ установить время, чтобы жить ключами в data-loader (библиотека для кэширования и пакетирования, созданная разработчиками Facebook)? В их документах есть только clearAll() функция, но я хочу очистить каждый ключ отдельно чере…
23 июл '19 в 10:59
1
ответ
Соответствие API DataLoader только с использованием SQL
Один из примеров использования DataLoader с Knex показывает следующее: user: new DataLoader(ids => db.table('users') .whereIn('id', ids).select() .then(rows => ids.map(id => rows.find(x => x.id === id)))), Карта существует так, что ключи…
02 авг '19 в 18:00
0
ответов
Изображения в песочнице. Текстовая область, указывающая на производственный URL.
Мы получили извлечение контактов из производства, и есть поле с областью форматированного текста, которое используется для хранения изображения контакта. Команда загрузки данных загрузила данные в песочницу, и мы смогли отобразить изображения в наше…
22 авг '19 в 00:28