n-грамм в ошибке R: неверный аргумент 'times'

Question

Я пытаюсь следовать этому примеру, но попал в ошибку.

> library("RWeka")
> library("tm")
Loading required package: NLP
> data("crude")
> BigramTokenizer <- function(x) NGramTokenizer(x, Weka_control(min = 2, max = 2))
> tdm <- TermDocumentMatrix(crude, control = list(tokenize = BigramTokenizer))
Error in rep(seq_along(x), sapply(tflist, length)) : 
  invalid 'times' argument
In addition: Warning message:
In mclapply(unname(content(x)), termFreq, control) :
  scheduled core 1 encountered error in user code, all values of the job will be affected

Есть идеи?

Answer 1

Просто используйте лучшую / современную упаковку. Я могу предложить несколько вариантов:

1. Используйте text2vec вместо tm, Смотрите виньетки для примеров. (Я автор).
2. Стоит проверить Quanteda
3. Если по какой-то причине вам нравится tm, попробуйте пакет токенизаторов заменить RWeka токенайзер ngram.