Описание тега spark-graphx
GraphX - компонент Apache Spark для графов и параллельных вычислений с графами.
1
ответ
Как рассчитать расстояние между двумя узлами в GraphX, Scala?
Я хочу рассчитать максимальное расстояние между каждым узлом до узла приемника. Узел раковины является узлом без внешних ребер. Я нашел функцию для кратчайшего расстояния, но я хочу знать максимальное расстояние.
19 апр '17 в 00:36
1
ответ
Как найти количество вершин, которые достижимы из данной вершины в Spark GraphX
Я хочу узнать количество достижимых вершин из данной вершины в ориентированном графе (см. Изображение ниже), например, для id=0L, так как он соединяется с 1L и 2L, 1L соединяется с 3L, 2L соединяется с 4L, следовательно, вывод должен быть 4. Ниже пр…
27 апр '18 в 14:33
0
ответов
Graphx Label Распространение интерпретации
Я собираюсь попытаться запустить распространение меток, используя встроенный алгоритм scala на графике, используя Graphx. Я стараюсь: val labProp = lib.LabelPropagation.run(allGraph,5).vertices.collect. sortWith(_._1<_._1) и предположительно я по…
15 июн '18 в 18:41
2
ответа
Как убедить Scala IDE распознать пакет org.apache.spark.graphx._?
Когда я пытаюсь включить GraphX в свою работу, кажется, что я делаю что-то не так, потому что Scala IDE не распознает org.apache.spark.graphx._ или что-нибудь связанное с графиками (!) Я что-то упустил, когда впервые создал свой проект? Нужно ли в…
27 мар '16 в 05:46
1
ответ
Как создать связи между вершинами в RDD[(Long, Vertex)] на основе свойства?
У меня есть пользователи: RDD[(Long, Vertex)] коллекция пользователей. Я хочу создать ссылки между моими объектами Vertex. Правило таково: если две вершины имеют одинаковое значение в выбранном свойстве - назовите его prop1, тогда ссылка существует.…
19 ноя '15 в 10:04
2
ответа
Добавление новой вершины в граф в Spark с помощью Scala
Я использую Spark в Scala. Я хочу создать график и динамически обновлять график. Я сделал это с помощью следующего кода: import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf import org.apache.…
08 дек '15 в 08:13
1
ответ
Поиск кликов или сильно связанных компонентов в Apache Spark с использованием Graphx
Клика C в неориентированном графе G = (V, E) является подмножеством вершин C ⊆ V, так что каждые две различные вершины смежны. Это эквивалентно условию, что подграф G, индуцированный C, является полным. В некоторых случаях термин клика может также о…
04 июл '15 в 06:27
1
ответ
Иерархическая обработка данных в Apache Spark
У меня есть набор данных в Spark (v2.1.1) с 3 столбцами (как показано ниже), содержащими иерархические данные. Моя цель - назначить добавочную нумерацию для каждой строки на основе иерархии родитель-потомок. Графически можно сказать, что иерархическ…
27 дек '17 в 17:10
1
ответ
Spark graphX: как загрузить большие данные для создания графика
Я вижу много примеров использования массива для создания вершины, а затем распараллеливания его, чтобы сделать его RDD, но если у меня есть огромные данные, то как бы я справился с этим? Я не думаю, что смогу создать массив, скажем, 1 миллион строк …
06 апр '16 в 20:04
1
ответ
Spark: GraphX не может найти связанные компоненты в графах с несколькими ребрами и длинными путями
Я новичок в Spark и GraphX и провел несколько экспериментов с его алгоритмом, чтобы найти связанные компоненты. Я заметил, что структура графика, похоже, сильно влияет на производительность. Он был в состоянии вычислить графы с миллионами вершин и…
27 апр '16 в 14:07
1
ответ
Scala получает список смежности каждой вершины из списка исходного узла и конечного узла
Я довольно новичок в Scala и GraphX, так что это может быть тривиальным вопросом. Я пытаюсь изменить направление каждого ребра графа, а затем получить список смежности каждой вершины нового перевернутого графа. Ввод осуществляется в форме "FromNodeI…
05 окт '17 в 05:27
2
ответа
Spark - GraphX - масштабирование подключенных компонентов
Я пытаюсь использовать подключенные компоненты, но у меня проблема с масштабированием. Мой вот что у меня есть - // get vertices val vertices = stage_2.flatMap(x => GraphUtil.getVertices(x)).cache // get edges val edges = stage_2.map(x => Grap…
26 окт '16 в 15:47
1
ответ
Ошибка несоответствия типа scala в коде graphX
Я новичок в Scala, изучая его для Apache-Spark. Я написал простую функцию в Scala для GraphX def foo(edge: EdgeTriplet[Map[Long, Double], Double]): Iterator[(VertexId, Map[Long, Double])] = { val m = edge.srcAttr for((k, v) <- m){ if (v + edge.at…
12 сен '17 в 07:16
1
ответ
Построить RDD[Edge[ED]] из RDD[Long, Long, ED] в GraphX
Я сейчас пытаюсь построить RDD[Edge[String]] от RDD[(Long,Long,String)]Я видел код src Edgeимеет параметр Edge(VertexId,VertexId,ED)Так что я думаю, если у меня есть RDD[(Long,Long,String)] Я могу превратить его в RDD[Edge[String]] Мой код val c:RDD…
07 май '18 в 11:58
1
ответ
Отобразить каждый элемент списка в Spark
Я работаю с СДР, пары которых структурированы следующим образом: [Int, List[Int]] моя цель - сопоставить элементы списка каждой пары с ключом. Так, например, мне нужно сделать это: RDD1:[Int, List[Int]] <1><[2, 3]> <2><[3, 5, 8]…
17 мар '17 в 21:34
1
ответ
Искра `LiveListenerBus` Исключение меня бесит
Я использую кластеры AWS EMR, и версия спарк spark-submit --version Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/ Branch HEAD Compiled by user ec2-user on 2016-10-11T00:04:18Z Revision 8…
11 июн '17 в 11:40
0
ответов
Spark GraphX получает кратчайший путь между двумя вершинами с заданной глубиной
Я новичок в GraphX, вот вопрос: у нас есть две известные вершины id вершины: id1 id2 и установите глубину для перемещения: глубина =4 Как получить информацию кратчайшего пути от id1 до id2 с ограниченным значением глубины перемещения до 4, кажется, …
20 окт '17 в 09:57
0
ответов
Присоединиться к более чем vertexrdd[double] graphx scala
Мне нужно присоединиться более чем к 2 VertexRDD[Double]. Я пытаюсь это с помощью следующего кода, но не могу заставить его работать val vertices=Array((1L, 11.0),(2L, 12.3),(3L,13.8)) val vRDD= sc.parallelize(vertices) val edges = Array(Edge(1L,2L,…
12 фев '18 в 14:28
0
ответов
Получение NullPointerException с API Graphx / Pregel на Spark в кластере EMR
Я пытаюсь сгенерировать информацию об иерархии на основе этого примера: https://www.qubole.com/blog/processing-hierarchical-data-using-spark-graphx-pregel-api/ После настройки кода по мере необходимости, когда я запускаю код, он отлично работает на …
25 май '18 в 03:07
1
ответ
GraphX - отсутствует файл класса, необходимый для Graph
Я новичок в Scala/Spark. Я пытаюсь скомпилировать и запустить образец кода GraphX. Исходная ссылка на файл: PageRank Мой код, слегка отредактированный, чтобы избежать проблем: // scalastyle:off println package org.apache.spark.examples.graphx // $ex…
27 мар '18 в 04:43