apache_beam.runners.dataflow_runner.DataflowRuntimeException: сбой конвейера данных:

Question

Я настроил проект Google Cloud в Cloud Shell и попытался запустить этот учебный скрипт https://github.com/GoogleCloudPlatform/cloudml-samples/blob/master/flowers/sample.sh

Наткнулся на эту ошибку:

***@***:~/git/cloudml-samples/flowers$ ./sample.sh 
Your active configuration is: [cloudshell-4691]


Using job id:  flowers_***_20170113_162148

python trainer/preprocess.py \
  --input_dict "$DICT_FILE" \
  --input_path "gs://cloud-ml-data/img/flower_photos/eval_set.csv" \
  --output_path "${GCS_PATH}/preproc/eval" \
  --cloud
WARNING:root:Using fallback coder for typehint: Any.
WARNING:root:Using fallback coder for typehint: Any.
WARNING:root:Using fallback coder for typehint: Any.
DEPRECATION: pip install --download has been deprecated and will be removed in the future. Pip now has a download command that should be used instead.
Collecting google-cloud-dataflow==0.4.4
  Using cached google-cloud-dataflow-0.4.4.zip
  Saved /tmp/tmpSoHiTi/google-cloud-dataflow-0.4.4.zip
Successfully downloaded google-cloud-dataflow
# Takes about 30 mins to preprocess everything.  We serialize the two
Traceback (most recent call last):
  File "trainer/preprocess.py", line 436, in <module>
    main(sys.argv[1:])
  File "trainer/preprocess.py", line 432, in main
    run(arg_dict)
  File "trainer/preprocess.py", line 353, in run
    p.run()
  File "/home/slalomconsultingsf/.local/lib/python2.7/site-packages/apache_beam/pipeline.py", line 159, in run
    return self.runner.run(self)
  File "/home/slalomconsultingsf/.local/lib/python2.7/site-packages/apache_beam/runners/dataflow_runner.py", line 195, in run
    % getattr(self, 'last_error_msg', None), self.result)
apache_beam.runners.dataflow_runner.DataflowRuntimeException: Dataflow pipeline failed:
(b85b0a598a3565cb): Workflow failed.

Я не смог понять, где я делал ошибку, из журнала ошибок потока данных GoogleCloud.

Ценю любой ответ и помощь в устранении неполадок.

Answer 1

Включить API Dataflow. В верхней части окна поиска Pantheon, набрав "dataflow api", вы попадете в окно, где вы можете нажать "Включить API".

Я думаю, что это исправит это для вас. Я отключил API-интерфейс Dataflow и получил ту же ошибку, что и вы, затем, когда он был снова включен, проблема снова исчезла.