Colab: набор данных кэша на TPU

Question

Я хотел бы настроить что-то похожее на следующую записную книжку Colab. У меня есть 100-мегабайтный TFRecord, и я бы хотел тренировать его с использованием TPU.

Моя функция ввода тренировок следующая:

def train_input_fn(batch_size=1024):
  dataset = tf.data.TFRecordDataset(TRAIN_RECORD)
  dataset = dataset.cache()
  dataset = dataset.repeat()
  dataset = dataset.shuffle(100)
  dataset = dataset.map(parse_fn)
  dataset = dataset.batch(batch_size, drop_remainder=True)
  return dataset

Насколько я понимаю, при использовании TPU набор данных не может находиться на жестком диске компьютера, поэтому я добавил dataset.cache(), Но я все еще получаю

UnimplementedError (см. Выше для отслеживания): схема файловой системы '[local]' не реализована (file: 'train.tfrecord')

Answer 1

ТПУ требуют облачного хранилища Google. локальное хранилище не поддерживается.

https://cloud.google.com/tpu/docs/troubleshooting

Answer 2

Похоже, ошибка появляется в этой строке dataset = tf.data.TFRecordDataset(TRAIN_RECORD) который работает с местными фс. Я думаю, что вы должны загружать данные вне вашей тренировочной функции, как это делается в блокноте.