Может ли Гираф повторно использовать график в памяти с предыдущего задания для последующих заданий?

Question

У меня около миллиона узлов и миллиардов ребер, поэтому Гираф хранит график в памяти так, чтобы его можно было снова использовать для последующих заданий, или он загружает и сохраняет полный граф до и после каждого задания соответственно?

Answer 1

Что вы имеете в виду для последующих работ?? Когда вы запускаете алгоритм графа (например, кратчайший путь), Giraph загружает базовый граф в память и сохраняет его до завершения вычислений (все супершагы выполнены). Если проверка указана включена, Giraph сохраняет текущее состояние всех вершин в конце некоторых супершагов (в зависимости от конфигураций) в целях отказоустойчивости. После завершения вычислений результаты сохраняются в HDFS (или что-то еще, например, Hbase), и процессы Java завершаются. Нет никаких разумных причин, по которым Гираф хранит граф в памяти для последующих графовых алгоритмов.