Чтение больших файлов JSON из S3 в экземпляре RStudio EC2 (AMI Луи Аслетта)

Question

Я иду через аналогичную проблему, как этот вопрос здесь:

У меня большой файл JSON на AWS S3, и я пытаюсь получить к нему доступ через RStudio (экземпляр EC2 от AMI Луи Аслетта). Я даже пытался перейти с t2 на r4.xlarge с 30 ГБ памяти, но безрезультатно: я получаю ошибки:

Ошибка в writeBin(httr::content(r, as = "raw"), con = file): длинные векторы еще не поддерживаются: connections.c:4147

Если я использую экземпляр бесплатного уровня, то выдает ошибку:

Ошибка в curl:: curl_fetch_memory (url, handle = handle): не удалось записать тело (0!= 16360)

Кажется, что вопрос, который я упомянул в ссылке, нашел способ сделать это, хотя я не в состоянии полностью следовать ему. Может кто-нибудь объяснить, пожалуйста, немного, когда они говорят, что каталог должен быть что-то другое, чем "дом". Как вы это реализуете? Потому что нет никакого разрешения делать это в Louis AMI. Вопрос может быть очень простым, но я выхожу из себя.

Ура!

Answer 1

"Кто-нибудь, пожалуйста, объясните немного, когда они говорят, что каталог должен быть чем-то еще, кроме" домашнего ". Как вы это реализуете? Потому что в Louis AMI нет разрешения на это. Вопрос может быть очень простым, но я схожу с ума здесь ".

Я сочувствую вам здесь, поскольку это противоречит здравому смыслу для нового пользователя Linux, выходящего из Windows. ИМХО, по иронии судьбы, я видел два вопроса, отвечающих на это закрытыми, поскольку они считаются слишком простыми для этого продвинутого форума. Но вы не одиноки, это похоже на ту же проблему из личного опыта того же сообщения об ошибке с чтением данных с тем же AMI.

Если вы загрузите файл на другой диск в экземпляре, это, скорее всего, можно будет решить. Поскольку AMI Louis Aslett Rstudio базируется в этом пространстве 8-10 ГБ, вам нужно будет установить рабочий каталог вне этого, домашнего каталога. Не интуитивно очевидно из интерфейса сервера Rstudio.

Я бы посоветовал взглянуть на другие каталоги (например, подняться на несколько уровней выше дома в поле выбора каталога Rstudio на RHS в Rstudio или с помощью команды df в командной строке Linux). Затем выполните setwd() в другом каталоге (например, xda или другом, имеющем достаточно места) и попробуйте прочитать его снова.