DBT 404 Not found: набор данных hello-data-pipeline:staging_benjamin не найден в расположении EU

При выполнении "DBT run" я получаю следующую ошибку

{{ config(materialized='table') }}

SELECT customer_id FROM `hello-data-pipeline.adwords.google_ads_campaign_stats`

Я убеждаюсь, что мое местоположение ОТ содержит 3 части

  • Проект (hello-data-pipeline)
  • База данных (adwords)
  • Таблица (google_ads_campaign_stats)

Но я получаю следующую ошибку

15:41:51 | 2 of 3 START table model staging_benjamin.yo......................... [RUN]
15:41:51 | 2 of 3 ERROR creating table model staging_benjamin.yo................ [ERROR in 
0.32s]
Runtime Error in model yo (models/yo.sql)
404 Not found: Dataset hello-data-pipeline:staging_benjamin was not found in location EU

NB. Bigquery не выдает никаких ошибок при выполнении этого запроса в редакторе Bigquery. NB 2 DBT не показывает никаких ошибок при запуске команды sql непосредственно в редакторе скриптов.

Что я делаю не так?

Источник

3 ответа

Решение

Возможно, вам потребуется указать место, где будет выполняться ваш запрос. Запросы, выполняемые в определенном месте, могут ссылаться только на данные в этом месте. Вы можете выбрать автоматический выбор, чтобы выполнить запрос в том месте, где находятся данные.

Подробнее о расположении наборов данных

Источник

Хорошо, я нашел. Мне нужно было указать местоположение в файле profile.yml. => https://docs.getdbt.com/reference/warehouse-profiles/bigquery-profile/

В облаке DBT вы найдете его при настройке вашего проекта

Источник

У меня была похожая ошибка на вашу'hello-data-pipeline:staging_benjamin was not found in location EU'

Однако моя проблема заключалась не в том, что набор данных не находился в неправильном месте. Если бы DBT не был нацелен на схему, которую я хотел.

например, для вашего примера это будет такhello-data-pipeline:staging_benjaminна самом деле не будет целевой схемой, которую вы изначально хотели.

Добавление этого фрагмента кода поверх моего запроса решило проблему.

      {{ config(schema='marketing') }}

select ...

см. схемы DBT: https://docs.getdbt.com/docs/building-a-dbt-project/building-models/using-custom-schemas

вот еще один документ, который помог мне понять, почему это происходит:

«dbt Cloud IDE: значения определяются вашим подключением и учетными данными. Чтобы проверить любое из этих значений, перейдите в свою учетную запись (через изображение своего профиля в правом верхнем углу) и выберите проект в разделе «Учетные данные». https ://docs.getdbt.com/reference/dbt-jinja-функции/цель

Источник
Другие вопросы по тегам