Как я могу читать / записывать данные из / в сетевое хранилище с помощью kedro?

В документации API о kedro.io а также kedro.contrib.io Я не смог найти информацию о том, как читать / записывать данные из / в сетевое хранилище, например, FritzBox NAS.

Источник

1 ответ

Решение

Так что я немного ржавый с сетевым хранилищем, но:

  1. Если вы можете подключить свое сетевое хранилище к своей ОС и получить к нему доступ как к обычной папке, то это просто вопрос предоставления правильных filepathпри написании конфига для данной записи каталога. См., Например: Как я могу получить доступ к общей папке в сети Windows с помощью Python?

  2. В противном случае, если для доступа к сетевому хранилищу требуется что-то особенное, вы можете создать собственный набор данных, который использует библиотеку Python для взаимодействия с вашим сетевым хранилищем. На ум приходит что-то вроде pysmb.

Пользовательский набор данных может сильно заимствовать логику существующей kedro.io или kedro.extras.datasets наборов данных, но вы заменяете код обработки пути к файлу / fsspec на pysmb вместо.

Источник
Другие вопросы по тегам