Как рассчитать стоимость (счет) для Google Cloud Genomics Pipeline

Question

Я использую движок Cromwell в Google Cloud, который отправляет запросы на запуск конвейера: https://cloud.google.com/genomics/reference/rest/v1alpha2/pipelines/run.

После того, как конвейеры закончены, я могу найти операции Google Cloud, связанные с каждым конвейером, по меткам. Однако я не могу определить их стоимость. В журналах счетов Google Cloud перечислены только счета вычислительного движка, но они не показывают связь между экземплярами вычислительного движка и операциями геномики, поэтому я не могу понять, как рассчитать стоимость.

Как рассчитать стоимость конвейера Google Cloud Genomics

Answer 1

Оказывается, если вы запускаете конвейер с правильной labels указанный (объясненный здесь в документации API), вы можете фильтровать журналы выставления счетов, используя эти метки. В моем случае двигатель Cromwell делал это автоматически для меня, поэтому мне не нужно было делать ничего лишнего.

Когда вы хотите проанализировать счета, вы должны экспортировать данные в BigQuery, вы не можете экспортировать данные в файл, потому что это не дает вам обязательных полей.

Как только счета загрузятся в BigQuery (у меня это заняло около 4-5 часов), вы можете выполнить следующий запрос:

SELECT SUM(cost)
FROM `PipelineBilling.gcp_billing_export_v1_BILLING_ACCOUNT_ID`, UNNEST(labels) as l
WHERE l.key = 'cromwell-workflow-id' AND l.value = 'cromwell-MY-WORKFLOW-ID'

Это вернет одно число, которое является общей стоимостью конвейера с меткой под названием cromwell-workflow-idсо значением cromwell-MY-WORKFLOW-ID (однако этот ярлык будет другим, если вы не используете Cromwell).