Сбой задачи PROVISION в состоянии REQUESTING_CREATE

Question

Я новичок в платформе GCP и пытаюсь создать простой рабочий процесс Data Fusion для загрузки таблицы BigQuery из текстового файла, который находится в корзине GCS.

Рабочий процесс успешно развернут. Однако во время выполнения рабочего процесса на шаге 2 происходит сбой с сообщением об ошибке

Сбой задачи PROVISION в состоянии REQUESTING_CREATE для запуска программы program_run:default.testing_df.-SNAPSHOT.workflow.DataPipelineWorkflow.5ff986e9-7241-11e9-af46-56bbe5c7844b.

В подробном журнале ниже у нас есть разрешение "Требуется" compute.firewalls.list для оператора "projects / mylab-gcp"

Ниже приведен полный журнал ошибок для выполнения.

2019-05-09 10: 01: 13,945 - DEBUG [provisioning-service-7:icciptProvisioningTask@121] - Выполнение подзадачи PROVISION REQUESTING_CREATE для запуска программы program_run: default.testing_df.-SNAPSHOT.workflow.DataPipelineWorkflow.5ff98-11e924-7-9-7 af46-56bbe5c7844b. 2019-05-09 10:01:16,839 - INFO [provisioning-service-7:iccrspdDataprocProvisioner@171] - Создание кластера Dataproc cdap-testingdf-5ff986e9-7241-11e9-af46-56bbe5c7844b с метками системы {goog-datafusion-version=6_0, cdap-version=6_0_0-1555624816640, goog-datafusion-edition=basic} 2019-05-09 10:01:17,162 - ОШИБКА [provisioning-service-7:icciptProvisioningTask@151] - сбой задачи PROVISION в состоянии REQUESTING_CREATE для программы запустите program_run:default.testing_df.-SNAPSHOT.workflow.DataPipelineWorkflow.5ff986e9-7241-11e9-af46-56bbe5c7844b. com.google.api.client.googleapis.json.GoogleJsonResponseException: 403 Запрещено { "code": 403, "ошибки": [ { "domain": "global", "message": "Обязательно" compute.firewalls.list' разрешение для 'projects/mylab-gcp'", " причине ":" запрещено " } ], "message": " Обязательный "compute.firewalls.list'разрешение для" проектов /mylab-gcp'" } на com.google.api.client.googleapis.json.GoogleJsonResponseException.from(GoogleJsonResponseException.java:146) ~[na:na] at com.google.api.client.googleapis.services.json.AbstractGoogleJsonClientRequest.newExceptionOnEquer) (аннотация) [na: na] на com.google.api.client.googleapis.services.json.AbstractGoogleJsonClientRequest.newExceptionOnError(AbstractGoogleJsonClientRequest.java:40) ~[na:na] на com.google.api.client.googleapis.services.AbstractG $1.interceptResponse(AbstractGoogleClientRequest.java:321) ~[na:na] на com.google.api.client.http.HttpRequest.execute(HttpRequest.java:1065) ~[na:na] на com.google.api. сл ient.googleapis.services.AbstractGoogleClientRequest.executeUnparsed(AbstractGoogleClientRequest.java:419) ~[na:na] at com.google.api.client.googleapis.services.AbstractGoogleClientRequest.executeUnparsed:qu.Uj.jpg: AbstractGoG ] at com.google.api.client.googleapis.services.AbstractGoogleClientRequest.execute(AbstractGoogleClientRequest.java:469) ~[na:na] at io.cdap.cdap.runtime.spi.provisioner.dataproc.DataprocireentDataproClient.java:310) ~[na:na] в io.cdap.cdap.runtime.spi.provisioner.dataproc.DataprocClient.createCluster(DataprocClient.java:155) ~[na:na] в io.cdap.cdap.runtime.spi.provisioner.dataproc.DataprocProvisioner.createCluster(DataprocProvisioner.java:172) нет] в io.cdap.cdap.internal.provision.task.ProvisioningSubtask.execute(ProvisioningSubtask.java:54) ~[na:na] в io.cdap.cdap.internal.provision.task.ProvisioningTask.lambda$executeOnce$0(ProvisioningTask.java:123) ~[na:na] в io.cdap.cdap.common.service.Retries.callWithRetries(Retries.java:183) ~[na:na] в io.cdap.cdap.common.service.Retries.callWithInterruptibleRetries(Retries.java:257) ~[na:na] at io.cdap.cdap.internal.provision.task.ProvisioningTask.executeOnce(ProvisioningTask.java:123) ~[на:na] at io.cdap.cdap.internal.provision.ProvisioningService.lambda$null$16(ProvisioningService.java:559) [na:na] в io.cdap.cdap.internal.provision.ProvisioningService.callWithProgramLogviceService: Предоставление:772) [na:na] в io.cdap.cdap.internal.provision.ProvisioningService.lambda$null$17(ProvisioningService.java:557) [na:na] в io.cdap.cdap.common.async.KeyedExecutor$2. выполнить (KeyedExecutor.java:98) ~[na:na] на java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) ~[na:1.8.0_212] на java.util.concurrent.FutureTask. выполнить (FutureTask.java:266) ~[na:1.8.0_212] в java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) ~[na:1.8.0_212] в java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) ~[na:1.8.0_rent2 at java.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) ~[na:1.8.0_212] в java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) ~[na:1.8.0_212] в java.lan.Thread.run(Thread.java:748) ~[na:1.8.0_212] 2019-05-09 10:01:17,180 - DEBUG [provisioning-service-7:icciptProvisioningTask@159] - Прекращена задача PROVISION для запуска программы program_run: default.testing_df.-SNAPSHOT.workflow.DataPipelineWorkflow.5ff986e9-7241-11e9-af46-56bbe5c7844b из-за исключения.

Я могу видеть своего корневого пользователя консоли GCP вместе с учетной записью службы "[e-mail]" в консоли IAM. Я назначил как корневую учетную запись, так и служебную учетную запись в качестве владельца вместе с нижеуказанными дополнительными ролями в обеих учетных записях.

Администратор BigQuery Compute Instance Admin (v1) Compute Network Admin Compute OS Admin Login Compute Безопасность Администратор Облако данных Администратор облачных данных Fusion Владелец агента API служебных данных Data Fusion

Тем не менее, после выполнения всех этих действий я получаю сообщение об ошибке "Требуется" compute.firewalls.list для "projects / mylab-gcp".

Answer 1

Пожалуйста, взгляните на шаг Настройка прав для создания экземпляра: https://cloud.google.com/data-fusion/docs/how-to/create-instance

Это должно решить проблему для вас. Обратите внимание, что это включает добавление новой учетной записи службы в политику IAM.