Описание тега tfrecord
Формат записи TensorFlow. Файл TFRecord представляет собой последовательность (двоичных) строк. Формат не является произвольным доступом, поэтому он подходит для потоковой передачи больших объемов данных, но не подходит, если требуется быстрое сегментирование или другой непоследовательный доступ.
0
ответов
Ошибка передачи данных в случайное время
Я застрял в очень странной проблеме в течение длительного времени. Это моя проблема - у меня есть файл tfrecords (name = "Input.tfrecords"), из которого я читаю данные, а затем делаю некоторую модификацию данных и сохраняю их в другом файле tfrecord…
17 авг '18 в 23:21
3
ответа
Как хранить массивы NumPy как Tfrecord?
Я пытаюсь создать набор данных в формате tfrecord из numy массивов. Я пытаюсь сохранить 2D и 3D координаты. 2d координаты являются массивом формы (2,10) типа float64 3d координаты являются массивом формы (3,10) типа float64 это мой код: def _floats_…
18 дек '17 в 01:31
1
ответ
Есть ли способ сохранить файл записи Tensorflow в памяти?
Вот ситуация: я работаю с большим файлом записей Tensorflow. Это около 50 ГБ. Однако машина, на которой я тренируюсь, имеет 128 ГБ ОЗУ. 50 меньше 128, поэтому, даже если это большой файл, можно подумать, что его можно будет сохранить в памяти и сэко…
25 июл '18 в 19:00
0
ответов
python - чтение тензорного потока
Я следую официальному руководству TenorFlow Cifar, чтобы создать входной конвейер для моего набора данных изображений. После обучения модели я решил использовать для теста 50000 изображений. Однако после тестирования я обнаружил, что многие изображе…
07 май '18 в 21:28
3
ответа
Вывести TFRecord в Google Cloud Storage из Python
Я знаю tf.python_io.TFRecordWriter имеет концепцию GCS, но, похоже, у него нет прав на запись в него. Если я сделаю следующее: output_path = 'gs://my-bucket-name/{}/{}.tfrecord'.format(object_name, record_name) writer = tf.python_io.TFRecordWriter(o…
14 фев '19 в 19:05
0
ответов
Как импортировать большой набор данных в TensorFlow [2018]
У меня большой набор данных (300 000 примеров x 33 000 функций), который, конечно, не умещается в памяти. Данные сохраняются в формате HDF5 и (в собственном формате HDF5) Loom. Значения в основном нули (разреженные данные). Они выглядят так: Attr1 5…
11 июн '18 в 15:20
0
ответов
Возврат create_pascal_tf_record.py
У меня есть файл TFRecord, созданный из API обнаружения объектов Tensorflow с использованием сценария create_pascal_tf_record.py. Есть ли кто-нибудь, кто имеет опыт возврата к изображениям jpg и меткам json? Этот поток стекового потока действительно…
29 авг '18 в 13:37
0
ответов
При использовании TFRecord, как я могу собирать изображения объектов (обрезанные ограничивающими рамками) и создавать пакеты?
У меня есть хорошо работающая сеть обнаружения объектов, и я использовал ее для обучения следующим образом. # minimal codes for creating training batch dataset = slim.dataset.Dataset(...) provider = slim.dataset_data_provider.DatasetDataProvider(dat…
17 дек '17 в 10:51
1
ответ
Невозможно прочитать из файла Tensorflow tfrecord
Я могу создать файл tfrecords с помощью приведенного ниже кода. def _int64_feature(value): return tf.train.Feature(int64_list=tf.train.Int64List(value=[value])) def _bytes_feature(value): return tf.train.Feature(bytes_list=tf.train.BytesList(value=[…
14 дек '17 в 09:19
0
ответов
Как проверить, что преобразование метки в tfrecord прошло успешно или нет?
Я преобразовал изображение и координаты прямоугольника в виде файла TFRecord. Как убедиться, что в файле, который я получил, есть необходимые данные, т.е. преобразование метки прошло успешно? Ограничительный центр, высота, ширина, идентификатор клас…
31 янв '18 в 06:39
1
ответ
ValueError: Тензор A должен быть из того же графика, что и Тензор B
Я пытаюсь запустить этот ResNet с некоторыми изменениями. https://github.com/tensorflow/models/tree/master/official/resnet После поиска ошибки я понимаю, что проблема заключается в следующем: То, что тензоры принадлежат разным графам, но я не могу п…
23 апр '18 в 13:33
1
ответ
Tensorflow, читать tfrecord без графика
Я попытался написать хорошую структурированную модель нейронной сети с Tensorflow. Но я столкнулся с проблемой подачи данных из tfrecord в график. Код, как показано ниже, висит на следующей функции, как я могу заставить его работать? изображения, ме…
28 окт '17 в 01:29
0
ответов
Тензор потока TFRecord k-hot кодирование
Я пытаюсь создать свой учебный набор данных в формате TFRecord, следуя этому руководству: https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/using_your_own_dataset.md для обнаружения API. Но вместо использования горячег…
20 май '18 в 12:15
1
ответ
Предварительная обработка текстовых данных с помощью файлов TFRecords
У меня есть набор данных.tfrecord текстовых документов (электронных писем) с соответствующими метками "0" или "1" (для спама / не спама). Весь этот набор данных уже находится в форме файла.tfrecord. Я пытаюсь превратить электронные письма в сумку сл…
06 дек '17 в 17:11
0
ответов
Как уменьшить гигантский размер TFRecord, вызванный повторяющимися клавишами
Поскольку размер входного файла json составляет несколько ГБ, и его анализ занимает много времени, я решил попробовать превратить его в более эффективные (или я так думал) файлы TFRecord. Короче говоря, этим я увеличил свой набор данных в 10 раз... …
29 мар '18 в 00:26
1
ответ
Чтение данных из файла TFRecord, используемого в API обнаружения объектов
Я хочу прочитать данные, хранящиеся в файле TFRecord, который я использовал в качестве записи поезда в API обнаружения объектов TF. Тем не менее, я получаю InvalidArgumentError: Input to reshape is a tensor with 91090 values, but the requested shape…
23 апр '18 в 17:12
2
ответа
Запись TF повреждена после нескольких успешных тренировочных эпох
Я тренировал нейронную сеть и успешно изучил все тренировочные данные за несколько эпох. Однако произошедшая ошибка tfrecord неожиданно вышла следующим образом: File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/lib/io/tf_record.py", lin…
08 окт '17 в 01:39
0
ответов
Я делаю обработку изображений в Python и TensorFlow, я пытаюсь создать файл TF_Record, он дает ошибку
Я уже установил protoc3 и моя версия Python 3.6. Я уже создал файл CSV, используя который я должен создать TF_record. anoj@anoj-Lenovo-G50-80:~/**PycharmProjects/untitled1/venv$ python3 tf_Record.py --csv_input=data/train_labels.csv --output_path=tr…
11 ноя '18 в 06:06
0
ответов
Разреженный набор данных для tfrecords
У меня есть редкий набор данных, в котором некоторые изображения не имеют каких-либо интересных объектов. Я хочу использовать этот набор данных для обнаружения объектов, поэтому мне нужно сгенерировать tfrecords. Для этих изображений без каких-либо …
05 дек '18 в 10:25
1
ответ
Как работает тренировка по обнаружению объектов при обратном распространении?
Я использую tenorflow для обучения модели f-rcnn inception v2. Допустим, у меня есть 6000 изображений: от 1 до 3000: на каждом изображении есть и собака, и кошка, но я пометил только собаку. от img 3001 до 6000: на каждом изображении есть и собака, …
14 дек '18 в 11:29