Прогноз большого запроса с использованием модели sk-learn

Question

Я создал модель sklearn на моей локальной машине. Затем я загрузил его в хранилище Google. Я создал модель и версию в AI Platform, используя ту же модель. Это работает для онлайн-прогнозирования. Теперь я хочу выполнить пакетное прогнозирование и сохранить данные в большом запросе, так как он обновляет большую таблицу запросов каждый раз, когда я выполняю прогнозирование.

Может кто-нибудь подсказать мне, как это сделать?

Answer 1

AI Platform в настоящее время не поддерживает запись результатов прогнозирования в BigQuery.

Вы можете записать результаты прогноза в BigQuery с помощью Dataflow. Здесь есть два варианта:

1. Создать задание потока данных, которое делает прогнозы самостоятельно.
2. Создайте задание потока данных, которое использует платформу AI для получения прогнозов модели. Вероятно, это будет использовать онлайн-прогнозы.

В обоих случаях вы можете определить приемник BigQuery для вставки новых строк в вашу таблицу.

Кроме того, вы можете использовать облачные функции для обновления таблицы BigQuery всякий раз, когда в GCS появляется новый файл. Это решение будет выглядеть так:

1. Используйте gcloud для запуска пакетного прогнозирования (`задания gcloud ml-engine отправляют прогноз... --output-path="gs://[My Bucket]/batch-вести tions / "
2. Результаты записываются в несколько файлов: gs://[My Bucket]/batch-predictions/prediction.results-*-of-NNNNN
3. Облачная функция запускается для анализа и вставки результатов в BigQuery. Этот средний пост объясняет, как это настроить