Загрузка файлов с безопасного FTP-сервера с помощью R
Мне нужно скачать файлы с сервера sftp, разобрать их и вставить в базу данных.
В настоящее время я использую rCurl следующим образом:
library(RCurl)
url<-c("sftp://data.ftp.net/incomining.data.txt")
x<-getURL(url, userpwd="<id>:<passwd>")
writeLines(x, incoming.data.txt"))
Я также посмотрел на download.file и не вижу sftp sufpport в download.file. Кто-нибудь еще делал подобную работу? Поскольку я буду получать несколько файлов, я заметил, что время от времени rcurl истекает. Мне нравится sftp сначала скачать все файлы с сервера sftp, а затем обработать его. Есть идеи?
1 ответ
Решение
Похоже, что вопрос "как избежать тайм-аутов в rcurl?"
Увеличьте значение CURLOPT_CONNECTTIMEOUT. Это действительно та же самая проблема, что и установка времени ожидания Curl в PHP.
Редактировать, из комментариев ниже:
x<-getURL(url, userpwd="<id>:<passwd>", connecttimeout=60) // 60 seconds, e.g.