Кедро поддерживает tfrecord?
Для обучения моделей keras тензорного потока на платформе AI с использованием контейнеров Docker мы конвертируем наши необработанные изображения, хранящиеся в GCS, в набор данных tfrecord, используя tf.data.Dataset. Таким образом, данные никогда не хранятся локально. Вместо этого необработанные изображения преобразуются непосредственно в tfrecords в другую корзину. Можно ли использовать kedro с набором данных tfrecord и возможностью потоковой передачиtf.data.Dataset? Согласно документации, kedro, похоже, не поддерживает наборы данных tfrecord.
1 ответ
На данный момент у нас есть только набор данных, связанных с TF. TensorFlowModelDataset(https://kedro.readthedocs.io/en/latest/_modules/kedro/extras/datasets/tensorflow/tensorflow_model_dataset.html), но вы можете легко добавить свой собственный набор данных или, пожалуйста, добавьте запрос функции / ваш вклад в репо