Использование Python для отправки данных из твиттера непосредственно в хранилище данных Google Cloud

Как можно отправить данные из Twitter прямо в хранилище данных Google Cloud. Хотелось бы пропустить шаг первой загрузки его на мой локальный компьютер, а затем загрузить его в облако. Это будет работать один раз. Не ищет полный код, но какие-либо указатели или учебники, которые кто-то мог бы извлечь. Использование python для взаимодействия с Google-облаком и хранилищем.

Любая помощь будет оценена.

Источник

1 ответ

Вот запись в блоге, которая описывает следующую архитектуру:

  • Запустите скрипт Python на Compute Engine
  • Перемещение ваших данных в BigQuery для хранения

Вот еще одна, которая описывает несколько более сложную архитектуру, включая возможность анализа твитов:

  • Используйте шаблоны облачных данных Google Cloud
  • Запуск конвейеров потока данных из приложения Google App Engine (GAE)
  • Для поддержки рабочих мест MapReduce
Источник
Другие вопросы по тегам