R - Невозможно собрать данные из Spark с помощью Sparklyr

Я использую Spark 2.0.2 в сочетании с sparklyr 0.5.4-9004 на RStudio, на сервере windows.

Время от времени, когда я пытаюсь собрать, прочитать или записать данные с сервера Spark, я получаю следующую ошибку:

Error in UseMethod("invoke") : 
  no applicable method for 'invoke' applied to an object of class "character"

Я не уверен, что это проблема с сервером или какая-то проблема с sparklyr,

Пока что единственный способ решить эту проблему - перезапустить sparklyr связь с искрой.

Вот простой код, который я использую:

sc <- spark_connect(master = "spark://####:7077")

tibble_file_parquet <- spark_read_parquet(
  sc, "file_parquet", path, overwrite = TRUE)

result <- tibble_file_parquet %>% count(x, y)

collect(result)
Источник

1 ответ

Это происходит, когда у вас заканчивается память. Это изменение в конфигурационном файле мне помогло (хотя я не специалист по управлению памятью).

config$'spark.dynamicAllocation.enabled' <- "true"

Источник
Другие вопросы по тегам