Описание тега google-cloud-composer
Google Cloud Composer - это полностью управляемая служба оркестровки рабочих процессов, построенная на Apache Airflow, которая дает вам возможность создавать, планировать и отслеживать конвейеры, охватывающие облака и локальные центры обработки данных.
1
ответ
Оценить ограниченные запросы API в Cloud Composer
Я планирую проект, в рамках которого я буду использовать API Reddit (с ограниченной скоростью) и хранить данные в GCS и BigQuery. Изначально облачные функции были бы выбором, но мне пришлось бы создать реализацию Datastore для управления "псевдо" оч…
24 сен '18 в 19:58
1
ответ
Google Cloud Composer Сервер обнаружил временную ошибку и не смог выполнить ваш запрос
После запуска в течение нескольких дней веб-интерфейс Google Cloud Composer бесконечно возвращает ошибку 502 Server: Error: Server Error The server encountered a temporary error and could not complete your request. Please try again in 30 seconds. Ед…
16 дек '18 в 06:43
2
ответа
Планирование загрузки из BigQuery в MongoDB с использованием apache-airflow ( cloud-composer)
Я пытаюсь настроить конвейеры данных, которые перемещают данные из GCS в BigQuery, выполняют определенные задачи / обработку и загружают их в кластер MongoDB (все настроены в python с использованием DAG). Я был в состоянии достичь этого вплоть до за…
20 ноя '18 в 13:14
1
ответ
GCP: Как получить токен доступа к движку вычислений?
Я хочу получить токен доступа к вычислительному движку. Используя этот токен доступа, я хочу вызвать REST API. Далее Rest api будет вызываться с использованием HTTP-библиотеки python 2.0. (не все библиотеки Google доступны, поэтому REST API рассматр…
28 фев '19 в 14:01
2
ответа
Не могу использовать модуль плагина с Cloud Composer
Я пытаюсь использовать Cloud Composer для запуска моего рабочего процесса. Я хотел использовать оператор "GoogleCloudStorageToGoogleCloudStorageOperator", который доступен в Apache Airflow v1.10, но не поддерживается в текущем облачном компоновщике …
16 янв '19 в 07:07
0
ответов
Невозможно обновить переменные среды Google-Cloud-Composer
Я не могу обновить уже созданную среду Google-Cloud-Composer. Это происходит, если я работаю с уже созданной средой, но не когда я создаю новую. Похоже, мне здесь не хватает некоторых настроек по умолчанию. Кто-нибудь еще сталкивался с подобной проб…
26 ноя '18 в 13:06
1
ответ
Как получить время окончания предыдущей работы
У меня есть задание, которое назначается каждые несколько минут. Я хочу реализовать логику, когда новая задача начинается там, где прервана предыдущая успешно выполненная задача. Конкретнее, я использую эти временные интервалы для запросов к базе да…
11 окт '18 в 13:39
2
ответа
Google Cloud Composer и Google Cloud SQL
Какие у нас есть способы подключения к экземпляру Google Cloud SQL (MySQL) из недавно представленного Google Cloud Composer? Намерение состоит в том, чтобы получить данные из экземпляра Cloud SQL в BigQuery (возможно, с промежуточным шагом через Clo…
03 май '18 в 11:45
1
ответ
Composer - падение потока данных
Я создаю почасовую задачу в Airflow, которая планирует задание потока данных, однако ловушка, предоставляемая Airflow Library, в большинстве случаев дает сбой, в то время как задание потока данных действительно выполняется успешно. [2018-05-25 07:05…
25 май '18 в 08:07
0
ответов
Cloud Composer не может подключиться к службе Cloud SQL Proxy
Мы запустили кластер Cloud Composer и хотим использовать его для перемещения данных из Cloud SQL (Postgres) в BQ. Я следил за примечаниями об этом, упомянутыми на этих двух ресурсах: Google Cloud Composer и Google Cloud SQL https://cloud.google.com/…
15 ноя '18 в 14:01
3
ответа
Почему бы вам не запускать капсулы Kubernetes более часа от Composer?
В документации Cloud Composer прямо говорится, что: Из-за проблемы с клиентской библиотекой Kubernetes Python ваши модули Kubernetes должны быть спроектированы так, чтобы запускаться не более часа. Тем не менее, он не предоставляет больше контекста…
24 окт '18 в 22:40
0
ответов
Агент или неверный файл конфигурации не найдены
После установки библиотеки Python Datadog в мой экземпляр Cloud Composer, а затем при попытке инициализировать ее в группе обеспечения доступности баз данных я получаю эту ошибку: from datadog import initialize, api ... options = { 'api_key': Variab…
07 дек '18 в 11:54
1
ответ
Airflow REST API - Как получить историю выполненных задач?
Я хочу знать статус всех выполненных задач. Мы можем сделать это вручную, но я хочу узнать это через REST Client(Google composer).
19 дек '18 в 10:22
0
ответов
Параметры шаблона потока данных недопустимы: шаблон потока данных вызывается из Cloud Composer
Я использую Dataprep для создания шаблона потока данных, который в основном делает вставки таблицы GCS в BQ. Я получил шаблон, экспортированный в папку /tmp и использованный в качестве параметров в dataflow_operator.DataflowTemplateOperator(). Я не …
20 дек '18 в 05:58
1
ответ
Воздушный поток - попытка зациклить оператора. Выполнение не ожидает фактической операции для завершения
В Airflow - пытаюсь зациклить оператора. (BigQueryOperator). Группа обеспечения доступности баз данных завершается еще до завершения запроса. По сути, мой DAG это: Прочитайте набор запросов вставки один за другим. инициировать каждый запрос, использ…
19 дек '18 в 22:48
1
ответ
Как я могу обрабатывать данные в хранилище Google через Apache Airflow?
У меня есть файл CSV в облачном хранилище Google. Я использую Google Cloud Composer для запуска Apache Airflow. Я хотел бы запустить несколько сценариев bash для моего CSV-файла и сохранить его обратно в облачном хранилище Google? Я попробовал поиск…
31 дек '18 в 05:11
1
ответ
_pickle.PicklingError: Невозможно засечь <class 'jinja2.utils.MissingType'>: он не найден как jinja2.utils.MissingType
Я пытаюсь запустить PythonVirtualenvOperator в пределах dag в gcloud composer среда, но я получаю сообщение об ошибке при создании виртуальной среды. Поиск в Google привел меня к https://github.com/uqfoundation/dill/issues/93 но я не уверен, что пон…
07 янв '19 в 11:31
1
ответ
Оператор BigQueryHook не распознает аргумент use_legacy_sql
Попытка выполнить запрос с помощью pythonoperator (используя BigQueryHook) def CheckIncomingRecords(**context): sql = context['templates_dict']['sql'] logging.info("sql passed is : {}".format(sql)) bq = BigQueryHook(bigquery_conn_id='bigquery_defaul…
08 янв '19 в 04:31
1
ответ
Google Cloud Composer, программа airflow не может распознать установленные пакеты PyPi
Я работаю над Airflow с помощью Google Cloud Composer. Вот файл dag: from airflow import DAG from airflow.operators.bash_operator import BashOperator from datetime import datetime, timedelta dag = DAG( 'hello_world', description='Simple DAG', start_…
11 янв '19 в 04:37
4
ответа
Использование Dataflow против Cloud Composer
Я прошу прощения за этот наивный вопрос, но я хотел бы получить некоторые разъяснения о том, является ли Cloud Dataflow или Cloud Composer подходящим инструментом для работы, и мне неясно из документации Google. В настоящее время я использую Cloud D…
11 янв '19 в 22:20