GCP Healthcare FHIR Проглатывание происходит слишком медленно
Я пытаюсь принять 1 миллион файлов FHIR JSON (каждый файл размером в байтах) в FHIR Store набора данных Google Healthcare. На проглатывание уходит так много времени (больше часа). Есть ли способ оптимизировать скорость API здравоохранения.
Примечание. Я также хочу принимать, деидентифицировать и экспортировать в bigquery. поэтому весь процесс занимает более 3 часов.
заранее спасибо
1 ответ
Решение
Несколько советов по производительности для массового импорта FHIR в Google Cloud Healthcare API:
- Убедитесь, что входная корзина GCS находится в том же регионе, что и набор медицинских данных. Межрегиональный импорт будет медленнее.
- Проверьте квоту вашего проекта. Соответствующая квота для массового импорта - "вход в хранилище FHIR в байтах в минуту". Вы можете запросить увеличение квоты, если это станет ограничивающим фактором.
- Производительность может варьироваться в зависимости от общей нагрузки в используемом регионе. us-central1 - очень популярный регион, потому что он упоминается в кодовой таблице; вы можете добиться более высокой пропускной способности в другом месте (доступные регионы см. на https://cloud.google.com/healthcare/docs/concepts/regions).