Будет ли Google Cloud Run поддерживать GPU/TPU когда-нибудь?
Пока что Google Cloud Run поддерживает CPU. Есть ли план поддержки GPU? Было бы очень круто, если бы GPU был доступен, тогда я смогу продемонстрировать проект DL, не запуская супер дорогой экземпляр GPU.
3 ответа
Пока что Google Cloud Run поддерживает CPU. Есть ли план поддержки GPU? Было бы очень круто, если бы GPU был доступен, тогда я смогу продемонстрировать проект DL, не запуская супер дорогой экземпляр GPU.
Я серьезно сомневаюсь в этом. GPU/TPU - это специализированное оборудование. Cloud Run - это управляемый контейнерный сервис, который:
- Позволяет запускать контейнеры без состояния, которые можно вызывать через HTTP-запросы. Это означает, что приложения, интенсивно использующие процессор, не поддерживаются. Между HTTP-запросом / ответом процессор бездействует почти до нуля. Ваши дорогие GPU / TPU бездействуют.
- Автоматическое масштабирование в зависимости от количества запросов в секунду. Запустить 10000 экземпляров за секунды легко. Представьте себе кошмар поддержки Google для биллинга, если клиенты смогут запустить столько GPU / TPU и размер счетов.
- Тарифицируется через 100 мсек. Большинство запросов вписываются в несколько сотен миллисекунд выполнения. Это не хорошее исполнение или бизнес-модель для интеграции CPU / GPU / TPU.
- Предоставляет модель выставления счетов, которая значительно снижает стоимость веб-служб практически до нуля, когда они не используются. Вы просто платите за расходы на хранение изображений вашего контейнера. Когда HTTP-запрос получен по URL-адресу службы, изображение контейнера загружается в исполнительный блок, и обработка запросов возобновляется. Как только запросы прекращаются, биллинг и использование ресурсов также прекращаются.
Типы обработки данных на GPU / TPU лучше всего обеспечиваются внутренними экземплярами, которые защищают и управляют вычислительной мощностью и затратами, которые обеспечивают эти процессорные устройства.
Вы можете использовать графический процессор с Cloud run для Antos
https://cloud.google.com/kuberun/docs/configuring/compute-power-gpu
Cloud Run для Anthos теперь поддерживает графические процессоры. См. Https://cloud.google.com/anthos/run/docs/configuring/compute-power-gpu