RCurl getURLContent определяет тип контента через окончательное перенаправление

Question

Это следующий вопрос к RCurl getURL с циклом - ссылка на PDF убивает цикл:

У меня есть следующее getURL команда:

require(RCurl)
#set a bunch of options for curl
options(RCurlOptions = list(cainfo = system.file("CurlSSL", "cacert.pem", package = "RCurl")))
agent="Firefox/23.0" 
curl = getCurlHandle()
curlSetOpt(
  cookiejar = 'cookies.txt' ,
  useragent = agent,
  followlocation = TRUE ,
  autoreferer = TRUE ,
  httpauth = 1L, # "basic" http authorization version -- this seems to make a difference for India servers
  curl = curl
)


x = getURLContent('http://timesofindia.indiatimes.com//articleshow/2933019.cms')
class(x)
#[1] "character"
attr(x, "Content-Type")
#"text/plain" 

В браузере ссылка выше перенаправляет на:

x = getURLContent('http://timesofindia.indiatimes.com/photo.cms?msid=2933009')
class(x)
#[1] "raw"
attr(x, "Content-Type")
#"application/pdf" 

Предполагая, что я знаю только первую ссылку, как я могу определить, что конечное местоположение перенаправления (или перенаправлений) имеет определенный тип (в данном случае PDF)?

Спасибо!!

Answer 1

Может быть, есть лучшее решение, но одним из способов может быть это:

# ...
h <- basicTextGatherer()
x = getBinaryURL('http://timesofindia.indiatimes.com//articleshow/2933019.cms', 
                 headerfunction = h$update, curl = curl)
r <- gregexpr("Content-Type:.*?\n", h$value())
tail(regmatches(h$value(), r)[[1]], 1)
# [1] "Content-Type: application/pdf\r\n"   

Answer 2

Я столкнулся с подобной проблемой, пытаясь запустить getURLContent с использованием дайджест-аутентификации для получения двоичных данных (используя нестандартный тип MIME). Я использую RCurl v1.95-4.1 на R 2.15.3.

Если я запускаю getURLContent без флага binary=TRUE, он не будет автоматически переключаться на двоичный = TRUE из-за заголовка mime для этого типа данных, поэтому он попытается выполнить rawToChar() и выдаст ошибку "встроенный NULL в строку". Однако аутентификация работает.

Если я добавлю двоичный флаг = TRUE к вызову getURLContent, это может вызвать проблемы с этапом аутентификации, поскольку я получу ответ "Ошибка: неавторизован".

В конечном итоге сработала замена getURLContent() на getBinaryURL() [как в примере выше], который позволил работать авторизации userpwd="u:p" и доставил двоичные данные моему назначенному объекту.

Я думаю, что автор RCurl внес улучшения в обработку getURLContent двоичных данных для v1.97, основываясь на том, что я вижу в GitHub, так что это может уйти в прошлое... за исключением тех из нас, кто все еще работает старше R расстановок.