Описание тега lmdb

Описание тега Вопросы с тегом
Это база данных mmap для OpenLDAP, также известная как Lightning MDB (LMDB).
0 ответов

convert_imageset по сравнению с DIGITS

Я сгенерировал файлы lmdb с использованием convert_imageset и сравнил результат с файлами lmdb, сгенерированными DIGITS, с теми же данными (мультиклассы). Я сравнил два результата, прочитав файлы.mdb, используя этот код: def read_lmdb(lmdb_file): cu…
13 июн '18 в 06:29
1 ответ

lmdb: могу ли я получить доступ к различным именованным базам данных в одной транзакции?

Я хочу записать много данных в базу данных lmdb с несколькими именованными (под) базами данных. Я сталкиваюсь со следующей проблемой: Для записи в одну именованную базу данных мне нужно открыть транзакцию для этой именованной базы данных. Это подраз…
12 янв '17 в 15:03
3 ответа

Trait не реализован для типа `&A` при передаче массива пар в функцию

Я пытаюсь написать функцию set которая вызывает библиотеку Rust LMDB( docs) и пример, над которым я работаю. Я не могу на всю жизнь заставить это работать. Вот моя текущая попытка: fn main() { let env = getenv("duperdb"); let dbhandle = get_dbhandle…
15 мар '16 в 16:23
1 ответ

При запуске create_data.sh возникает проблема с разрешениями

введите описание изображения здесь /home/cow/VOC2007/trainval.txt: line 7902: VOC2007/JPEGImages/00149_00029.jpg: Permission denied мой creat_data.sh: cur_dir=$(cd $( dirname ${BASH_SOURCE[0]} ) && pwd ) root_dir="$HOME/caffe" cd $root_dir …
08 фев '19 в 20:02
0 ответов

Почему установка размера карты памяти LMDB приводит к ошибке CUDA из памяти?

Я работаю над проектом, который использует базу данных LMDB и CUDA. Я инициализировал lmdb размером 1 ТБ, как рекомендовано в нескольких онлайн-уроках. Затем, когда я инициализировал свою среду CUDA, она выдает ошибку нехватки памяти и не может обна…
15 фев '19 в 03:31
2 ответа

NoSQL (Redis) советы по дизайну

Я все еще новичок в базе данных NoSQL и уже много лет использую RDBMS (Oracle, MySQL). Сейчас мы рассматриваем миграцию одной из наших баз данных в NoSQL DB в оперативной памяти, и мы застряли с лучшим подходом к проектированию. Мы рассматриваем Red…
18 сен '17 в 09:46
2 ответа

Существует ли ограничение для суб-баз данных в LMDB?

Публикация здесь, так как я не смог найти форумы для хранилища ключей lmdb. Есть ли ограничение для суб-баз данных? Какое разумное количество суб-баз данных одновременно открыто? Я хотел бы иметь ~200 баз данных, что кажется большим и ясно указывает…
09 мар '15 в 01:00
1 ответ

Какое минимальное количество изображений для create_imagenet.sh в Caffe RC-4

Здравствуйте, я запускаю Caffe RC-4 и продолжаю получать этот вывод из create_imagenet.sh: Creating train lmdb... I0221 14:48:57.925828 8185 convert_imageset.cpp:86] Shuffling data I0221 14:48:58.085487 8185 convert_imageset.cpp:89] A total of 28 im…
21 фев '18 в 15:10
1 ответ

Записать файл JPEG непосредственно в lmdb

Мне удалось написать numy массивы в lmdb, однако решение далеко от совершенства, но на самом деле мое X это просто изображение JPG, поэтому мой вопрос, как напрямую записать файл JPEG в LMDB? Похоже на pycaffe делать то же самое, но он использует ко…
31 май '17 в 09:14
1 ответ

Как установить режим MDB_NOTLS в Python lmdb

В документации lmdb: "Используется исключительно режим MDB_NOTLS, который позволяет свободно переносить транзакции чтения между потоками и для одного потока поддерживать несколько транзакций чтения. Это позволяет в большинстве случаев беззаботно исп…
25 сен '15 в 07:25
0 ответов

Сиамская нейронная сеть в Кафе - Ввод данных

Я новичок в Caffe Framework и хочу создать сиамскую сеть. В моем наборе данных есть несколько изображений с глазами: x_left.jpg и x_right.jpg: левый глаз и правый глаз человека x, и образец поезда выглядит следующим образом: __image__, __level__ 15_…
22 май '17 в 19:35
1 ответ

Создание LMDB в Python без Caffe

Я следовал этому руководству по созданию LMDB в Python. Код в учебнике зависит от Caffe, а именно caffe.proto.caffe_pb2.Datum() объект для сериализации данных. Однако те, кто не использует Caffe в качестве основы глубокого обучения, могут счесть уто…
08 апр '18 в 05:11
1 ответ

LMDB максимальный размер базы данных для windows

Когда я устанавливаю максимальный размер БД, например, 5 ГБ, в Windows конечный размер файла БД станет 5 ГБ, даже если я вставлю только один небольшой фрагмент данных. Но в Linux это работает нормально, окончательный размер БД связан с тем, сколько …
03 ноя '15 в 20:19
1 ответ

Кратчайший способ просмотра LMDB в пандах под ноутбуком Jupyter

TLDR: Как я могу проверить \ просмотреть двоичный файл LMDB? Завершите py n00b здесь. Я только что положил файл LMDB на колени, чтобы проанализировать ошибки данных, которые вызывают ошибки в последующем программном обеспечении. Я не знаю схему данн…
08 авг '16 в 16:55
1 ответ

LMDB Seek (переместить курсор) без чтения

Я хотел бы знать, возможно ли переместить курсор вперед, скажем, на n позиций без одновременного извлечения данных (т. Е. Снизить нагрузку ввода-вывода). Я в курсе mdb_cursor_get но, похоже, для получения данных с диска при каждом вызове в сочетании…
28 окт '15 в 14:09
1 ответ

Проблема с запуском первого примера в кафе

Я новичок в Кафе и Питоне. Я установил Caffe и успешно скомпилировал его в Ubuntu 16.04. Я создал среду в Anaconda 2 и использовал Cmake для компиляции. Я запустил этот код, и он напечатал версию для кафе. $ python -c "import caffe;print caffe.__ver…
13 дек '16 в 06:32
0 ответов

caffe convert_imageset в ожидании

Когда я преобразую набор данных ImageNet в lmdb, convert_imageset приостановит и больше не будет обрабатывать данные изображения. Можете ли вы сказать мне, как решить эту проблему? Я пробовал это много раз. Я проверил журнал. Каждый раз количество о…
13 фев '17 в 03:51
1 ответ

Тестирование из файла LMDB в Caffe

Мне интересно, как настроить ТОЛЬКО тестовую фазу в Caffe для файла LMDB. Я уже обучил свою модель, все кажется хорошим, моя потеря уменьшилась, и вывод, который я получаю на изображениях, загруженных по одному, также кажется хорошим. Теперь я хотел…
27 июн '16 в 23:36
2 ответа

Каков наилучший способ сжать мои данные в lmdb

У меня есть большой набор данных, который делает мой lmdb огромным. Для 16.000 образцов моя база данных уже 20 ГБ. Но в общей сложности у меня есть 800 000 изображений, которые в конечном итоге будут содержать огромное количество данных. Есть ли спо…
04 апр '17 в 16:47
0 ответов

Написание закодированных LMDB с использованием Python (без использования caffe.io.array_to_datum)

Я пытаюсь написать lmdb с закодированными изображениями через Python, чтобы уменьшить размер. Я не могу использовать утилиту convert_imageset Caffe, потому что один мой элемент состоит из трех изображений + метка (вместо одного изображения). Так что…
20 фев '18 в 15:03