Как рассчитать расстояние между струнами, используя sparklyr?

Question

Мне нужно рассчитать расстояние между двумя строками в R, используя sparklyr. Есть ли способ использовать stringdist или любой другой пакет? Я хотел использовать расстояние двоюродного брата. Это расстояние используется как метод функции stringdist.

Заранее спасибо.

Answer 1

Вы можете использовать встроенный levenshtein функция:

df <- copy_to(sc, data.frame(a=c("This is it", "Foo"), b=c("This is", "foobar)))

# df %>% mutate(dist = levenshtein(a, b))
# # Source:   lazy query [?? x 3]
# # Database: spark_connection
#   a          b        dist
#   <chr>      <chr>   <int>
# 1 This is it This is     3
# 2 Foo        foobar      4