Описание тега gelly
Gelly - это библиотека обработки графиков для распределенного потокового движка Apache Flink.
1
ответ
Flink Gelly - Несоответствие типов при создании графика
Я новичок в Apache Flink и Gelly, и я использую Scala API. У меня есть DataSet вершин и DataSet ребер, и я пытаюсь создать график следующим образом: val env = ExecutionEnvironment.getExecutionEnvironment // correct result val edges: DataSet[Edge[Lon…
03 фев '16 в 09:00
1
ответ
Flink: ошибка несоответствия типов PageRank
Я хочу вычислить PageRank из файла CSV ребер, отформатированных следующим образом: 12,13,1.0 12,14,1.0 12,15,1.0 12,16,1.0 12,17,1.0 ... Мой код: var filename = "<filename>.csv" val graph = Graph.fromCsvReader[Long,Double,Double]( env = env, p…
16 ноя '15 в 11:02
0
ответов
Лучшая производительность с Flink Gelly при уменьшении доступной памяти
Я замечаю странное поведение в исполнении Flink Gelly (алгоритм PageRank на графике с примерно 17 000 000 вершин и 136 000 000 ребер). При настройке taskmanager.heap.mb: 125000 результаты до времени выполнения ~110 сек, taskmanager.heap.mb: 10000 со…
01 фев '18 в 15:26
0
ответов
Выход из вычислений для некоторых узлов в Flink Gelly
Есть ли способ выйти из вычислений для некоторых конкретных узлов (определенных некоторыми условиями)? Точно так же, как функция voiceToHalt() в Giraph.
14 фев '18 в 14:14
0
ответов
Ошибка сериализации Flink
Я пытаюсь запустить протокол распространения Label на графике Apache Flink Gelly Graph.Вот мой код: Graph<String, Long, String> ugraph = Graph.fromDataSet(vertex, edgeSet, env).getUndirected(); DataSet<Tuple2<String, Long>> idsWith…
26 июл '16 в 19:35
0
ответов
Flink: память закончилась исключение
Я настроил кластер Flink со следующей конфигурацией: Количество диспетчеров задач: 2 Когда я запускаю алгоритм связанных компонентов (org.apache.flink.graph.library.ConnectedComponents) на графе с 4 миллионами ребер и 1750000 вершин с параллелизмом …
25 июл '18 в 14:00
1
ответ
Используйте collect() и env.execute() в одном задании
Я пытаюсь написать вычисление во Flink, которое требует двух этапов. На первом этапе я создаю Graph и получаю его идентификаторы вершин: List<String> ids = graph.getVertexIds().collect(); На втором этапе я хотел бы использовать эти идентификат…
28 ноя '17 в 11:29
1
ответ
Можно ли использовать библиотеку Gelly для графовых запросов во Flink, аналогично Graph Frame в Spark
Может ли библиотека графов Flink Gelly выполнять разбиение графа, сопоставление с образцом графа, соединения и т.д.
03 апр '18 в 12:54
1
ответ
Flink Gelly Path/Trail Usecase
Наша команда - новичок в Gelly api. Мы стремимся реализовать простой вариант использования, который перечислит все пути, исходящие из начальной вершины - например, CSV-файл входного края равен 1,2 \ n2,3 \ n3,4 \ n1,5 \ n5,6 требуемый вывод будет (п…
31 июл '16 в 10:08
1
ответ
Несоответствие типов Flink Graph сообщество
Я пытаюсь выполнить очень простой код для обнаружения сообщества, но он возвращает ошибку: import org.apache.flink.graph.library.CommunityDetection import org.apache.flink.graph._ import org.apache.flink.graph.scala.Graph import java.lang.Long impor…
26 авг '16 в 22:50
0
ответов
Обновление графика Flink Gelly во время вычислений
Я новичок в Fink и Gelly. У нас есть требование выполнять вычисление графа, в то время как сам граф постоянно меняется из-за постепенных обновлений (часто). Поскольку график такой огромный, мы провели некоторое исследование Spark с TinkerPop. Но про…
04 окт '18 в 00:36
0
ответов
Как измерить время выполнения вершинно-ориентированного итерационного алгоритма во Flink? Что такое оператор головы итерации?
Мне интересно, как наилучшим образом измерить время выполнения для итерационно-центрированного алгоритма. Насколько я заметил в пользовательском интерфейсе Flink, оператор Iteration-Head кажется подходящим. Он останавливается, когда запускается мой …
14 сен '18 в 08:57
1
ответ
Как импортировать артефакты Apache Flink SNAPSHOT?
Я хочу добавить документы Gelly в свой проект, но это дает мне эту ошибку: Источники не найдены для: org.apache.flink:flink-gelly_2.10:1.2-SNAPSHOT Это в моем pom.xml <dependency> <groupId>org.apache.flink</groupId> <artifactId&…
26 сен '16 в 12:18
1
ответ
Flink Gelly расширяет класс Edge и использует его в DataSet
В Gelly я пытаюсь создать специальный Edge, называемый Temporal edge, чтобы сделать это проще, я создал класс под названием Temporaledgev3: public class TemporalEdgev3<K, V> extends Edge<K, Tuple3<V,Integer,Integer>> { /* Creates n…
12 окт '16 в 20:00
1
ответ
Пытаясь расширить Gelly Graph
Я пытаюсь расширить граф Gelly в граф с краями с помощью Tuple5 вместо Tuple 3. Это невозможно, если расширить гелевый граф, поскольку конструктор является закрытым. Я пошел дальше и создал свой собственный класс Edge, который расширяет Tuple5 вмест…
11 окт '16 в 08:30
1
ответ
Apache Flink создает неверный план
Я создал простое задание для Apache Flink, в котором используется реализация PageRank, предоставляемая Gelly. Локально, работает внутри IDE, все нормально. Однако я попытался отправить JAR с моим заданием экземпляру Flink, запущенному на моем компью…
14 мар '16 в 00:15
4
ответа
Flink: подключенные компоненты - ошибка несоответствия типов
Я пытаюсь запустить алгоритм связанных компонентов на графике, используя Scala API, как показано в руководстве по программированию и других примерах. val graph = Graph.fromDataSet(vertices, edges, env).getUndirected val maxIterations = 10 val compon…
04 фев '16 в 17:36
0
ответов
flink - произошла ошибка при создании временной таблицы
Команда, я получаю приведенную ниже ошибку в Flink. org.apache.flink.client.program.ProgramInvocationException: The program execution failed: Job execution failed. at org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:413) at org.a…
01 окт '16 в 09:56
0
ответов
Flink Glyly реализуя близость
Я стремлюсь реализовать централизацию близости в Flink Gelly и пытаться использовать функцию карты на каждом узле для вычисления SSSP для него. График не сериализован, и поэтому я не могу отправить его на каждый узел. Любая помощь будет высоко оцене…
22 ноя '17 в 14:11
0
ответов
Flink Gelly. Почему агрегатор будет сброшен в следующей итерации?
Это мой код Это кажется правильным до сих пор, но в следующем супершаге я все равно получаю 5, а не 10! Кажется, агрегатор был сброшен. Что я могу сделать для хранения каждого значения superStep? Кстати, я хочу получить значение агрегатора за предел…
28 сен '17 в 09:17