Легкая функция с RSelenium
Моя сессия примерно такая:
startServer()
remDir <- remoteDriver()
remDir$open()
Source <- paste0("https://www.example.com")
remDir$navigate(Source)
Я разбираю некоторые ссылки:
HTML <- remDir$getPageSource()
tmp <- xpathSApply(htmlParse(HTML[[1]]),
' //a/@href')
И теперь я хочу проанализировать каждую ссылку tmp:
srcPartOne <- paste0(Source, as.list(tmp)[185:199],"/")
HTMLs <- lapply(srcPartOne, getURL)
Но с этой точки зрения функция getURL не подходит для меня. Потому что ссылки содержат динамическую страницу. Итак, мне нужно использовать RSelenium в lapply
функционировать примерно так:
HTMLs <- lapply(srcPartOne, remDir$navigate,remDir$pageSource)
Я привел пример, я знаю, что это не работает. Как я могу разобрать каждую ссылку, используя RSelenium? редактировать:
library(RSelenium)
library(RCurl)
library(rdrop2)
library(pbapply)
#Start RSelenium
drop_auth() #Dropbox Authentication
startServer()
remDir <- remoteDriver()
remDir$open(silent = TRUE)
#Set 'Vitrin' sources to get mobil number:
Source <- paste0("https://www.sah1b1nden.com")
remDir$navigate(Source)
HTML <- remDir$getPageSource()
tmp <- xpathSApply(htmlParse(HTML[[1]]),
' //a/@href')
#Get HTML framework from each ' Vitrin' sources:
#
srcPartOne <- paste0(Source, as.list(tmp)[185:232],"/")
pblapply(srcPartOne, function(x) {
remDir$navigate(x)
remDir$getPageSource()
}) -> pgs
Parses<- lapply(X = pgs[1:48], htmlParse)
temp <- lapply(Parses, xpathSApply, '//*[contains(concat( " ", @class, " " ), concat( " ", "show-part", " " ))]',xmlValue)