Как разделить предложение на слова

Question

В настоящее время я работаю с наборами данных разговоров. Данные в настоящее время выглядят следующим образом:

Mike, "Hello how are you"
Sally, "Good you"

Я планирую со временем создать облако слов этих данных, и оно должно выглядеть так:

Mike, Hello
Mike, how
Mike, are
Mike, you
Sally, good
Sally, you

Answer 1

Возможно, что-то подобное с помощью reshape2::melt?

# Sample data
df <- read.csv(text =
    'Mike, "Hello how are you"
    Sally, "Good you"', header = F)

# Split on words
lst <- strsplit(trimws(as.character(df[, 2])), "\\s");
names(lst) <- trimws(df[, 1]);

# Reshape into long dataframe 
library(reshape2);
df.long <- (melt(lst))[2:1];
#     L1 value
#1  Mike Hello
#2  Mike   how
#3  Mike   are
#4  Mike   you
#5 Sally  Good
#6 Sally   you

Пояснение: Разделенный трейлинг / лидирующий пробел урезан (trimws) записи во втором столбце на пустом месте \\s и хранить в list, принимать list имена записей из первого столбца, и преобразовать в длинный data.frame с помощью reshape2::melt,

Я ухожу, превращая это в запятую data.frame вам решать...

Answer 2

Используйте токенизатор, например, через tidytext::unnest_tokens:

library(tidyverse)
library(tidytext)

dialogue <- read_csv(
    'Mike, "Hello how are you"
     Sally, "Good you"', 
    col_names = c('speaker', 'sentence')
)

dialogue %>% unnest_tokens(word, sentence)
#> # A tibble: 6 x 2
#>   speaker  word
#>     <chr> <chr>
#> 1    Mike hello
#> 2    Mike   how
#> 3    Mike   are
#> 4    Mike   you
#> 5   Sally  good
#> 6   Sally   you