Как подружиться второй степени

У меня есть RDD, его элементы такие: (k,<iterable list>),(imagine key is a vertex and values are it's neighbors).Я хочу найти друзей второй степени (Friends of friends). Так что у меня должно быть два вложенных цикла для создания этих пар ключ-значение:((i,j),2) это код sudo:

(key i, ValueIterator friesndlist)
foreach k member of friesndlist do 
  foreach m member of friesndlist  do 
     emit ((k,m),2)

и у меня есть этот код:

val lines = sc.textFile("followers.txt").map(s => {
  val substrings = s.split(" ")
  (substrings(0), substrings(1))
})
  val aggrigateNeighbors = lines.groupByKey()

как я могу это сделать?

0 ответов

Другие вопросы по тегам