Преобразование графических данных из формата Edge Input в Vertex Input Format

Я экспериментирую с Giraph. Для запуска алгоритмов в Giraph мне нужны данные графика в формате ввода вершин. Почти все доступные большие данные онлайн представлены в формате Edge List. Я написал код на Java для преобразования этого формата Edge List в Vertex Input Format. Это работает для небольших графов с почти 800k ребрами. Однако для графика, который мне нужен, каждый раз, когда я запускаю программу, она выдает ошибку превышения пространства кучи. Я попытался увеличить размер кучи до максимума. Тем не менее ошибка сохранилась.

Файл, на котором я работаю, имеет размер около 15 ГБ.

Я не знаю много о том, как алгоритмы (PageRank, SingleSourceShortestPath и т. Д.,) Написаны в Giraph, но я знаю, что они все принимают граф в VertexInputFormat в качестве входных данных.

Помощь, которую я ищу:

  1. Оптимизированный код для преобразования EdgeInputFormat в VertexInputFormat (или)
  2. Любой онлайн-инструмент, который может помочь в этом преобразовании (или)
  3. Алгоритм PageRank, который принимает EdgeInputFormat в качестве входных данных.
Источник

1 ответ

Извините, я не понял, почему вы хотите использовать только VertexInputFormat, Giraph также предоставляет EdgeInputFormat API, почему вы не можете это использовать?

Источник
Другие вопросы по тегам