Используйте R и Openxlsx для вывода списка фреймов данных в виде рабочих листов в одном файле Excel
У меня есть набор файлов CSV. Я хочу упаковать их и экспортировать данные в один файл Excel, который содержит несколько листов. Я читаю в файлах CSV как набор фреймов данных.
Моя проблема в том, как построить команду в openxlsxЯ могу сделать это вручную, но у меня возникла проблема с созданием списка. В частности, как добавить фрейм данных в качестве подкомпонента именованного списка, а затем передать в качестве параметра write.xlsx()
пример
Итак, я сначала перечисляю CSV-файлы на диске и генерирую набор фреймов данных в памяти...
# Generate a list of csv files on disk and shorten names...
filePath <- "../02benchmark/results/results_20170330/"
filePattern <- "*.csv"
fileListwithPath = list.files(path = filePath, pattern = filePattern, full.names = TRUE)
fileList = list.files(path = filePath, pattern = filePattern, full.names = FALSE)
datasets <- gsub("*.csv$", "", fileList)
datasets <- gsub("sample_", "S", datasets)
datasets
# Now generate the dataframes for each csv file...
list2env(
lapply(setNames(fileListwithPath, make.names(datasets)),
read.csv), envir = .GlobalEnv)
Пример вывода:
dput(datasets)
c("S10000_R3.3.2_201703301839", "S10000_T4.3.0_201703301843",
"S20000_R3.3.2_201703301826", "S20000_T4.3.0_201703301832", "S280000_R3.3.2_201704020847",
"S280000_T4.3.0_201704021100", "S290000_R3.3.2_201704020447",
"S290000_T4.3.0_201704020702", "S30000_R3.3.2_201703301803",
"S30000_T4.3.0_201703301817", "S310000_R3.3.2_201704012331",
"S310000_T4.3.0_201704020242", "S320000_R3.3.2_201704011827",
"S320000_T4.3.0_201704012128", "S330000_R3.3.2_201704011304",
"S330000_T4.3.0_201704011546", "S340000_R3.3.2_201704010652",
"S340000_T4.3.0_201704011010", "S350000_R3.3.2_201704010020",
"S350000_T4.3.0_201704010404", "S360000_R3.3.2_201703311819",
"S360000_T4.3.0_201703312134", "S370000_R3.3.2_201703310914",
"S370000_T4.3.0_201703311301", "S380000_R3.3.2_201703310134",
"S380000_T4.3.0_201703310509", "S390000_R3.3.2_201703301846",
"S390000_T4.3.0_201703302252", "S40000_R3.3.2_201703301738",
"S40000_T4.3.0_201703301752", "S50000_R3.3.2_201703301707", "S50000_T4.3.0_201703301724",
"S60000_R3.3.2_201703301624", "S60000_T4.3.0_201703301647", "S70000_R3.3.2_201703301535",
"S70000_T4.3.0_201703301602", "S80000_R3.3.2_201703301430", "S80000_T4.3.0_201703301508",
"S90000_R3.3.2_201703301324", "S90000_T4.3.0_201703301400")
Теперь у нас есть набор фреймов данных, и мы хотим создать один файл Excel с несколькими листами...
wb <- createWorkbook()
saveWorkbook(wb, 'output.xlsx')
lapply(names(myList), function(x) write.xlsx(myList[[x]], 'output.xlsx', sheetName=x, append=TRUE))
Проблема:
Проблема в том, что я могу создать структуру списка вручную и подтвердить, что она работает, НО, кажется, я не могу создать список автоматически.
myList <- sapply(datasets,function(x) NULL)
names(myList)
str(myList)
myList$S10000_R3.3.2_201703301839 <- eval(S10000_R3.3.2_201703301839)
таким образом:
> str(myList)
List of 40
$ S10000_R3.3.2_201703301839 :'data.frame': 43 obs. of 4 variables:
..$ function.: Factor w/ 42 levels "DF add random number vector",..: 30 25 38 42 36 39 40 29 26 22 ...
..$ user : num [1:43] 2.144 0.263 0.024 0.068 0.008 ...
..$ system : num [1:43] 0.63 0.065 0.001 0.004 0 ...
..$ elapsed : num [1:43] 12.274 1.104 0.047 0.115 0.009 ...
$ S10000_T4.3.0_201703301843 : NULL
$ S20000_R3.3.2_201703301826 : NULL
...
Конкретная проблема: Как добавить каждый фрейм данных в список...
myList <- lapply( myList, function(x) eval(x) )
Что я делаю не так с Лапли здесь? Вышеуказанная функция lapply() не выполняет итерацию по списку и не добавляет фрейм данных к записи списка имен.
i.e. myList$S10000_R3.3.2_201703301839 <- eval(S10000_R3.3.2_201703301839)
> str(myList)
List of 40
$ S10000_R3.3.2_201703301839 :'data.frame': 43 obs. of 4 variables:
..$ function.: Factor w/ 42 levels "DF add random number vector",..: 30 25 38 42 36 39 40 29 26 22 ...
..$ user : num [1:43] 2.144 0.263 0.024 0.068 0.008 ...
..$ system : num [1:43] 0.63 0.065 0.001 0.004 0 ...
..$ elapsed : num [1:43] 12.274 1.104 0.047 0.115 0.009 ...
$ S10000_T4.3.0_201703301843 : NULL
$ S20000_R3.3.2_201703301826 : NULL
...
Что мне не хватает? Вся помощь с благодарностью приветствуется. Да, я почти уверен, что упускаю что-то очевидное... но... я в тупике.
2 ответа
У меня нет ваших фреймов данных, поэтому я не могу это проверить, но приведенный ниже код похож на подход, который я использую, когда мне нужно читать и писать файлы Excel. Код ниже использует xlsx пакет, так как это то, с чем я знаком, но, надеюсь, вы можете адаптировать его, если вам нужно использовать openxlsx,
library(xlsx)
Сначала прочитайте файлы в список. Что-то вроде этого:
filePath <- "../02benchmark/results/results_20170330/"
filePattern <- "*.csv"
fileListwithPath = list.files(path = filePath,
pattern = filePattern,
full.names = TRUE)
fileList = list.files(path = filePath, pattern = filePattern, full.names = FALSE)
fileListwithPath = setNames( fileListwithPath,
list.files(path = filePath, pattern = filePattern))
df.list = lapply(fileListwithPath, read.csv)
# Now we rename the List Names for use in worksheets...
# Remove .csv and sample_ prefix used in filenames...
# Reult in workbook S<size>_<R version>_<date>
names(df.list) <- gsub("\\.csv$","", names(df.list))
names(df.list) <- gsub("sample_","S", names(df.list))
Теперь у вас есть список, в котором каждый элемент является фреймом данных, а имя каждого элемента - именем файла. Теперь давайте запишем каждый фрейм данных на отдельную рабочую таблицу в той же рабочей книге Excel, а затем сохраним файл в виде файла xlsx:
wb = createWorkbook()
lapply( names(df.list),
function(df) {
sheet = createSheet(wb, df)
addDataFrame(df.list[[df]], sheet = sheet, row.names = FALSE)
} )
saveWorkbook(wb, "My_workbook.xlsx")
Для иллюстрации я разделил чтение и запись файлов csv, но вы можете объединить их в одну функцию, которая читает каждый отдельный файл csv и записывает его на новый лист в одной книге Excel.
Вот решение с openxlsx:
## create data;
dataframes <- split(iris, iris$Species)
# create workbook
wb <- createWorkbook()
#Iterate the same way as PavoDive, slightly different (creating an anonymous function inside Map())
Map(function(data, nameofsheet){
addWorksheet(wb, nameofsheet)
writeData(wb, nameofsheet, data)
}, dataframes, names(dataframes))
## Save workbook to excel file
saveWorkbook(wb, file = "file.xlsx", overwrite = TRUE)
..но, однако, openxlsx также может использовать write.xlsx для этого, так что вы можете просто дать объекту свой список данных и путь к файлу, а openxlsx достаточно умен, чтобы сделать все остальное... вышеприведенное решение с Map(), если вы хотите отформатировать листы определенным образом.
Думаю, стоит добавить решение, используя imap функция от purrr package, поскольку он предлагает удобный механизм доступа к имени и индексу элемента списка за один вызов:
imap_xxx(x, ...)индексированная карта - это сокращение отmap2(x, names(x), ...)еслиxесть имена, илиmap2(x, seq_along(x), ...)если это не так. Это полезно, если вам нужно вычислить как значение, так и позицию элемента.
imap решение
На фиктивных данных для воспроизводимости.
lst_data <- list(cars = mtcars, air = airmiles)
wb <- openxlsx::createWorkbook()
purrr::imap(
.x = lst_data,
.f = function(df, object_name) {
openxlsx::addWorksheet(wb = wb, sheetName = object_name)
openxlsx::writeData(wb = wb, sheet = object_name, x = df)
}
)
t_file <- tempfile(pattern = "test_df_export", fileext = ".xlsx")
saveWorkbook(wb = wb, file = t_file)