Есть ли облачный dataprep api?
В идеале я хотел бы написать функцию для запуска задания dataprep для одного из следующих событий: добавлен файл сообщения kafka или изменен на GCS.
Я думаю, что я мог бы написать триггеры на Python, если есть библиотека поддержки. Но я не могу найти один. Рад использовать другой язык, если у меня нет Python.
Спасибо
0 ответов
Да, теперь есть библиотека, которую вы можете использовать.
https://cloud.google.com/dataprep/docs/html/API-Workflow---Run-Job_145281449
Это объясняет API Dataprep и то, как мы можем запускать и планировать задания.
Если вы можете сделать это с помощью python и этого API. Пожалуйста, разместите пример здесь.
Документация по API для продукта, связанного с Trifacta, доступна по адресу https://api.trifacta.com/.
Обратите внимание, что для использования API Google Dataprep вам необходимо получить токен доступа (см. https://cloud.google.com/dataprep/docs/html/Manage-API-Access-Tokens_145281444).
Вы должны быть владельцем проекта, чтобы создавать токены доступа и Dataprep API для этого проекта. Как только это будет сделано, вы можете создать токены доступа на странице токенов доступа в настройках пользователя.