Повторно использовать один и тот же рецепт для нескольких наборов данных
Я хочу использовать тот же рецепт, который я использую для одного набора данных для остальных моих наборов данных. Структура / заголовки всех наборов данных одинаковы. Есть ли способ импортировать или повторно использовать один и тот же рецепт, не выполняя все шаги снова?
2 ответа
Я только начинаю работать с DataPrep, но, насколько я понимаю, вы можете добавить все свои источники в рецепт с самого начала, а затем раскошелиться на них в конце и использовать расписание для запуска каждого из них.
Скажем, у вас есть пять входных файлов с одинаковой структурой, но представляющих разные рынки сбыта. Импортируйте все пять, и если нет market затем используйте рецепт derive новый столбец со статическим значением.
UNION все это в рецепт (поэтому основной рецепт получает один файл).
В конце рецепта добавьте новый рецепт для каждого выхода, который выполняется KEEPсохраняя только данные для этого рынка. Это сгенерирует пять выходов.
Запланируйте каждый из этих рецептов, и когда расписание будет запущено, вы получите пять разных выходов - по одному для каждого ввода.
На странице просмотра потока вы можете "обменять" источник данных на рецепт. Если вы хотите использовать различные последующие шаги для разных источников данных, вы можете "сделать копию" рецепта, а затем поменять местами источник данных скопированного рецепта.
Для получения дополнительной информации см. https://cloud.google.com/dataprep/docs/html/Flow-View-Page_57344806