Проблемы с чтением файла JSON в R

Question

У меня есть файл JSON (экспорт из mongoDB), который я хотел бы загрузить в R. Документ имеет размер около 890 МБ и приблизительно 63 000 строк из 12 полей. Поля числовые, символьные и дата. Я хотел бы закончить с фреймом данных 63000 x 12.

lines <-  readLines("fb2013.json")

результат: jFile имеет все 63 000 элементов в классе char, и все поля объединены в одно поле.

Каждый файл выглядит примерно так:

"{\" _ id \ ": \" 10151271769737669 \ ", \" comments_count \ ": 36, \" creation_at\": { \"$date\": 1357941938000 }, \"icon\": \"http://blahblah.gif\", \"likes_count\": 450, \"link\": \"http://www.blahblahblah.php\", \"message\": \" Хотелось бы мне это выяснить!\", \"page_category\": \" Компьютеры \", \"page_id\": \"30968999999\", \"page_name\": \"NothingButTrouble\", \"type\": \"photo\", \"updated_at\": { \"$date\": 1358210153000 } }"

Используя rjson,

jFile <- fromJSON(paste(readLines("fb2013.json"), collapse=""))

только первая строка читается в jFile, но есть 12 полей.

Использование RJSONIO:

jFile <- fromJSON(lines)

результаты в следующем:

Warning messages:
1: In if (is.na(encoding)) return(0L) :
  the condition has length > 1 and only the first element will be used

Опять же, только первая строка читается в jFile и есть 12 полей.

Вывод rjson и RJSONIO выглядит примерно так:

$`_id`
[1] "1018535"

$comments_count
[1] 0

$created_at
       $date 
1.357027e+12 

$icon
[1] "http://blah.gif"

$likes_count
[1] 20

$link
[1] "http://www.chachacha"

$message
[1] "I'd love to figure this out."

$page_category
[1] "Internet/software"

$page_id
[1] "3924395872345878534"

$page_name
[1] "Not Entirely Hopeless"

$type
[1] "photo"

$updated_at
       $date 
1.357027e+12 

Answer 1

Пытаться

library(rjson)
path <- "WHERE/YOUR/JSON/IS/SAVED"
c <- file(path, "r")
l <- readLines(c, -1L)
json <- lapply(X=l, fromJSON)

Answer 2

Поскольку вы хотите data.frame, попробуйте это:

# three copies of your sample...
line.1<- "{ \"_id\" : \"10151271769737669\", \"comments_count\" : 36, \"created_at\" : { \"$date\" : 1357941938000 }, \"icon\" : \"http://blahblah.gif\", \"likes_count\" : 450, \"link\" : \"http://www.blahblahblah.php\", \"message\" : \"I wish I could figure this out!\", \"page_category\" : \"Computers\", \"page_id\" : \"30968999999\", \"page_name\" : \"NothingButTrouble\", \"type\" : \"photo\", \"updated_at\" : { \"$date\" : 1358210153000 } }" 
line.2<- "{ \"_id\" : \"10151271769737669\", \"comments_count\" : 36, \"created_at\" : { \"$date\" : 1357941938000 }, \"icon\" : \"http://blahblah.gif\", \"likes_count\" : 450, \"link\" : \"http://www.blahblahblah.php\", \"message\" : \"I wish I could figure this out!\", \"page_category\" : \"Computers\", \"page_id\" : \"30968999999\", \"page_name\" : \"NothingButTrouble\", \"type\" : \"photo\", \"updated_at\" : { \"$date\" : 1358210153000 } }" 
line.3<- "{ \"_id\" : \"10151271769737669\", \"comments_count\" : 36, \"created_at\" : { \"$date\" : 1357941938000 }, \"icon\" : \"http://blahblah.gif\", \"likes_count\" : 450, \"link\" : \"http://www.blahblahblah.php\", \"message\" : \"I wish I could figure this out!\", \"page_category\" : \"Computers\", \"page_id\" : \"30968999999\", \"page_name\" : \"NothingButTrouble\", \"type\" : \"photo\", \"updated_at\" : { \"$date\" : 1358210153000 } }" 
x <- paste(line.1, line.2, line.3, sep="\n")
lines <-  readLines(textConnection(x))
library(rjson)

# this is the important bit
df <- data.frame(do.call(rbind,lapply(lines,fromJSON)))
ncol(df)
# [1] 12

# finally, there's some cleaning up to do...
df$created_at
# [[1]]
# [[1]]$`$date`
# [1] 1.357942e+12
# ...
df$created_at <- as.POSIXlt(unname(unlist(df$created_at)/1000),origin="1970-01-01")
df$created_at
# [1] "2013-01-11 17:05:38 EST" "2013-01-11 17:05:38 EST" "2013-01-11 17:05:38 EST"

df$updated_at <- as.POSIXlt(unname(unlist(df$updated_at)/1000),origin="1970-01-01")

Обратите внимание, что это преобразование предполагает, что даты были сохранены в миллисекундах с начала эпохи.