Обновление графика Flink Gelly во время вычислений

Я новичок в Fink и Gelly. У нас есть требование выполнять вычисление графа, в то время как сам граф постоянно меняется из-за постепенных обновлений (часто). Поскольку график такой огромный, мы провели некоторое исследование Spark с TinkerPop. Но проблема этого подхода заключается в том, что RDD является неизменяемым, что затрудняет обработку инкрементных обновлений на графике (IndexRDD долгое время не поддерживается, поэтому мы не хотим идти в этом направлении). Это заставляет нас думать о Флинк и Гелли. Могут ли какие-нибудь эксперты помочь мне ответить на следующие вопросы: 1. Gelly/Flink может обрабатывать инкрементные обновления изначально, верно? Я имею в виду, что обход графа -> мутация графа -> обход графа не требует дополнительных усилий, таких как искра, для перезагрузки всего СДР, верно? Но если так, как согласованность данных поддерживается во Flink? 2. Что произойдет, если я обновлю график (например, добавлю ребро, изменим значение вершины) во время обработки вычисления графа?

большое спасибо

0 ответов

Есть github проект для потоковой передачи графиков

Другие вопросы по тегам