Spark GraphX ​​- Как я могу прочитать из файла JSON в Spark и создать график из данных?

Question

Я новичок в Spark и Scala, и я пытаюсь прочитать кучу данных твитера из файла JSON и превратить их в график, где вершина представляет твит, а край соединяется с твитами, которые являются твитами исходный размещенный товар. До сих пор мне удалось прочитать из файла JSON и выяснить схему моего RDD. Теперь я считаю, что мне нужно каким-то образом взять данные из объекта SchemaRDD и создать RDD для вершин и RDD для ребер. Это способ подойти к этому или есть альтернативное решение? Любая помощь и предложения будут высоко оценены.

Answer 1

Это действительно зависит от вашего файла JSON. Вам необходимо проанализировать данные из файла json и создать свои вершины и ребра на основе проанализированных данных. Нет определенного способа реализовать это, это действительно зависит от программиста. Один из подходов состоит в том, чтобы создать массив вершин и массив ребер (опять же на основе проанализированных данных) и распараллелить их (создать VertexRDD и EdgeRDD), а затем создать нужный вам график. Надеюсь, я помог.