Как построить input_fn для Estimator, используя изображения, хранящиеся в файле TFRecords

Question

Есть ли пример того, как построить input_fn нужен tf.contrib.learn.Estimator для модели классификации изображений? Мои изображения хранятся в нескольких файлах TFRecords.

С помощью tf.contrib.learn.read_batch_record_featuresЯ могу генерировать пакеты строк кодированных изображений. Однако я не вижу простого способа конвертировать эти строки в изображения.

Answer 1

Ссылаясь здесь, вы можете использовать что-то вроде ниже для mnist а также fashion-mnist набор данных хранится в train.tfrecords а также test.tfrecords,

Преобразование в tfrecords здесь делается код, и вам нужен парсер, чтобы вернуть исходное изображение и метку.

def parser(serialized_example):
  """Parses a single tf.Example into image and label tensors."""
  features = tf.parse_single_example(
      serialized_example,
      features={
          'image_raw': tf.FixedLenFeature([], tf.string),
          'label': tf.FixedLenFeature([], tf.int64),
      })
  image = tf.decode_raw(features['image_raw'], tf.uint8)
  image.set_shape([28 * 28])

  # Normalize the values of the image from the range [0, 255] to [-0.5, 0.5]
  image = tf.cast(image, tf.float32) / 255 - 0.5
  label = tf.cast(features['label'], tf.int32)
  return image, label

После парсера все остальное просто, нужно просто позвонить TFRecordDataset(train_filenames) а затем сопоставьте функцию парсера с каждым элементом, чтобы вы получили изображение и метку в качестве вывода.

# Keep list of filenames, so you can input directory of tfrecords easily
training_filenames = ["data/train.tfrecords"]
test_filenames = ["data/test.tfrecords"]

# Define the input function for training
def train_input_fn():
  # Import MNIST data
  dataset = tf.contrib.data.TFRecordDataset(train_filenames)

  # Map the parser over dataset, and batch results by up to batch_size
  dataset = dataset.map(parser, num_threads=1, output_buffer_size=batch_size)
  dataset = dataset.batch(batch_size)
  dataset = dataset.repeat()
  iterator = dataset.make_one_shot_iterator()

  features, labels = iterator.get_next()

  return features, labels