Вложенная функция для извлечения данных из нескольких URL (с аутентификацией) в R
Мой код ниже предназначен для извлечения данных (и их метаданных) с аутентификацией через конечную точку API и возврата всех метаданных в фрейм данных. Я хочу создать вложенную функцию, чтобы повторить этот же процесс для другой конечной точки API с той же аутентификацией и добавить результат от второй конечной точки к первой в одном кадре данных (они оба имеют одинаковую структуру данных и заголовки). Я не знаю, где в этом процессе я должен поместить link_to_endpoint2, как сделать вложение, добавить результаты и т. Д.
get_data <- function(uid, credentials, root_url) {
cookie <- credentials$cookie
token <- credentials$token
start_time <- Sys.time()
print (start_time)
url <- paste0(root_url, 'link_to_endpoint1', uid)
resp <- httr::GET(url,
httr::add_headers(.headers = c(`Content-Type` = "application/json",
Cookie = cookie, `X-CSRF-Token` = token)),
body = body,
encode = "json")
httr::warn_for_status(resp)
resources <- httr::content(resp)
access_check <- resources$result$error
assertthat::assert_that(is.null(access_check),
msg = 'Access denied')
resources <- resources$result[[1]]$resources
res_ids <- purrr::map_chr(resources, 'id')
res_urls <- purrr::map_chr(resources, 'url')
res_desc <- purrr::map_chr(resources, 'description')
res_format <- purrr::map_chr(resources, 'format')
res_rclass <- purrr::map_chr(resources, 'data_classification_of_file')
res_rtype <- purrr::map_chr(resources, 'mimetype')
res_rname <- purrr::map_chr(resources, 'name')
out <- data.frame(res_ids,
res_urls,
res_desc,
res_format,
res_rclass,
res_rtype,
res_rname,
stringsAsFactors = FALSE)
out$id <- uid
end_time <- Sys.time()
print (end_time)
process_time <- (end_time - start_time)
print(process_time)
return(out)
}
1 ответ
Решение
Вам придется протестировать это решение, но вы можете попробовать
Изменение этих строк на
# Old line
New line
# get_data <- function(uid, credentials, root_url) {
get_data <- function(uid, credentials, root_url, link) {
# url <- paste0(root_url, 'link_to_endpoint1', uid)
url <- paste0(root_url, link, uid)
Затем вы можете вызвать эту функцию с помощью (при условии, что вы уже загрузилиpurrr
)
links <- c('link_to_endpoint1', 'link_to_endpoint2')
desired <- map_df(links, ~get_data(uid, credentials, root_url, .x))