R: Автоматизируйте очистку и хранение данных Twitter в облаке

Question

Я являюсь пользователем R и работаю над проектом, который включает в себя получение информации из данных Twitter (более конкретно, просмотр данных Twitter с использованием rtweet пакет и проведение анализа на эти данные). Кроме того, для визуализации я создал приложение Shiny на основе этих данных.

Где мне нужны дополнительные входы

Сегодня данные Twitter, которые я собираю, хранятся локально на моем ноутбуке. Однако я хотел бы сделать это по-другому. В идеале я бы хотел добиться следующего -

1) Данные извлекаются из Twitter с помощью rtweet пакет и хранится непосредственно на облачной платформе (например, AWS или Microsoft Azure).

2) Я бы хотел определить периодичность этого процесса очистки (например, раз в два дня). Я хотел бы добиться этого с помощью какого-либо инструмента планирования.

3) В конце концов, я бы хотел, чтобы мое приложение Shiny (размещенное на shinyapps.io) могло взаимодействовать с этой облачной платформой и получать сохраненные в ней твиты для анализа.

Я искал в Интернете решения, но пока ничего не нашел.

Если у кого-то есть опыт в этом, ваши отзывы будут высоко оценены.

Answer 1

Вы создаете аккаунт на AWS. Затем вы создаете s3 bucket. На вашем виртуальном сервере или машине с hwrre вы хотите сделать копию, вы устанавливаете aws cli (клиент для взаимодействия с aws resiurces)

Затем вы запустили команду копирования и файлы копируются в облако.

Точно так же назад вы используете cli для извлечения файлов