Quanteda: как получить нграммы и их частоты, учитывая n-1 предшествующих слов / типов

Question

Для предсказания следующего слова с использованием нграмм мне нужно будет найти все нграммы (и их частоты) с учетом n-1 слов-предшественников.
В dfm я не видел никакого способа сделать это, поэтому начал внедрять его вручную на texstat_frequency (data.frame).
После столкновения с некоторыми методами, чья документация мне не ясна на этой странице, задаюсь вопросом, есть ли способ, и просто я не могу его увидеть (возможно, один из методов "[", которые перечислены, но не описаны так, как я понимаю там)) отсюда этот вопрос.
(Явно, возможно, неправильно исключая использование регулярных выражений, которые я обычно люблю, из-за предубеждения, что запуск их на сотнях тысяч строк может быть слишком медленным / тяжелым)

---

Посмотрел fcm(), как предложено в комментарии, но я могу только получить нграммы, которые следуют нграммам, как в коде ниже, это не то, что я спросил, так как он работает только для n = 2 (и требует подстановки результирующей матрицы в дано (n-1) грамм).

txt <- c("a b 1 2 3 a b 2 3 4 a b 3 4 5")
fcm(tokens(txt, ngram = 2), "window", window = 1, ordered = T)
Feature co-occurrence matrix of: 10 by 10 features.
10 x 10 sparse Matrix of class "fcm"
        features
features a_b b_1 1_2 2_3 3_a b_2 3_4 4_a b_3 4_5
     a_b   0   1   0   0   0   1   0   0   1   0
     b_1   0   0   1   0   0   0   0   0   0   0
     1_2   0   0   0   1   0   0   0   0   0   0
     2_3   0   0   0   0   1   0   1   0   0   0
     3_a   1   0   0   0   0   0   0   0   0   0
     b_2   0   0   0   1   0   0   0   0   0   0
     3_4   0   0   0   0   0   0   0   1   0   1
     4_a   1   0   0   0   0   0   0   0   0   0
     b_3   0   0   0   0   0   0   1   0   0   0
     4_5   0   0   0   0   0   0   0   0   0   0 

Приведенный выше код использует quanteda, установленную с github 20 августа 2018 года, которая должна содержать это исправление, созданное этим вопросом.

packageVersion("quanteda")
[1] ‘1.3.5’

Answer 1

Разработчик пакета любезно предоставил пример кода ( здесь), который показывает, как добиться того, что я просил, для текста не слишком большого размера. Я воспроизвожу здесь этот код с некоторыми упрощениями и комментариями, чтобы сделать его как можно более простым для понимания

sample_code <- function() {

  require(quanteda)

  print(paste("based on","https://github.com/quanteda/quanteda/issues/1413#issuecomment-414795832"))
  print("great package great support, thanks")

  ngms <- tokens("a b 1 2 3 a b 2 3 4 a b 3 4 5", n = 2:5)

  # get rid of tokens metadata not necessary for our UC
  ngms_lst <-  as.list(ngms)
  ngms_unlst  <- unlist(ngms_lst) # (named) character with _ sep. ngrams

  # split in " "-separated pairs:  "n-1 tokens", "nth token"
  ngms_blank_sep <- stringi::stri_replace_last_fixed(ngms_unlst,"_", " ")

  # list of character(2)  ( (n-1)gram ,nth token )
  tk2_lst <- tokens(ngms_blank_sep)

  # --- end of tokens/ngrams pre-processing

  # ordinary fcm
  fcm_ord <- fcm(tk2_lst , ordered = TRUE)

  fcm_ord[33:39, 1:6]
}


sample_code()
[1] "based on https://github.com/quanteda/quanteda/issues/1413#issuecomment-414795832"
[1] "great package great support, thanks"
Feature co-occurrence matrix of: 7 by 6 features.
7 x 6 sparse Matrix of class "fcm"
         features
features  a b 1 2 3 4
  3_a_b_2 0 0 0 0 1 0
  a_b_2_3 0 0 0 0 0 1
  b_2_3_4 1 0 0 0 0 0
  2_3_4_a 0 1 0 0 0 0
  3_4_a_b 0 0 0 0 1 0
  4_a_b_3 0 0 0 0 0 1
  a_b_3_4 0 0 0 0 0 0