Описание тега giraph
Apache Giraph - это система итеративной обработки графов, созданная для обеспечения высокой масштабируемости.
3
ответа
Что лучше: отправлять много маленьких сообщений или меньше больших?
У меня есть приложение, чья детализация обмена сообщениями может быть написана двумя способами - отправка множества маленьких сообщений по сравнению с (возможно, намного) меньшими по размеру. Концептуально то, что движется, это набор "живых" идентиф…
04 сен '14 в 18:21
1
ответ
Есть ли в Spark или Giraph метод Лувена?
Это метод Лувена, чтобы найти сообщество в социальной сети. https://sites.google.com/site/findcommunities/ Я хочу запустить его на большом графике, используя метод BSP, такой как Spark или Giraph.
15 ноя '13 в 07:31
1
ответ
Ошибка OutOfMemory при чтении байтов с ребер в пряже
Я делаю алгоритм BFS в пряже, и я делаю пользовательское значение для данных в моей вершине (Vertex Data). Но после того, как я это сделал, что-то пошло не так для процесса чтения краев. Я прослеживаю ошибку до следующих строк кода: В ByteArrayEdges…
20 авг '15 в 05:07
0
ответов
NoClassDefFoundError hadoop/yarn/client/YarnClientImpl
Я установил giraph-1.0.0 на свой двухузловой кластер, построенный с использованием версии 2.0.4-альфа hadoop, где на моем кластере установлена версия 2.7.1. Когда я попытался запустить пример giraph для вершины Simple Shortest Path, я получил след…
05 авг '16 в 09:04
1
ответ
Как определить количество рабочих giraph, чтобы установить в аргумент -w?
Я использую кластер Hadoop ec2, который состоит из 20 машин c3.8xlarge, каждая из которых имеет 60 ГБ оперативной памяти и 32 виртуальных процессора. На каждой машине я настраивал параметры пряжи и mapreduce, как описано здесь https://docs.aws.amazo…
02 сен '18 в 20:43
1
ответ
Apache Giraph/Hadoop: перебор пользовательских ArrayWritable
Я думал, что это будет просто осуществить, но это начинает быть болью. У меня есть подкласс ArrayWritable так: public class VertexDistanceArrayWritable extends ArrayWritable { public VertexDistanceArrayWritable() { super(VertexDistanceWritable.class…
27 май '16 в 07:17
1
ответ
Apache Giraph на Cloudera VM - POM для org.apache.hadoop:hadoop-core:jar: отсутствует 2.6.0, информация о зависимостях отсутствует
Я новичок в Hadoop/Giraph и Java. В качестве части задания я загрузил Cloudera Quickstart VM и Giraph поверх него. Я использую эту книгу под названием "Практическая аналитика графиков с помощью Apache Giraph; авторы: Шапошник, Роман, Мартелла, Клауд…
08 дек '17 в 19:44
1
ответ
java.lang.IncompatibleClassChangeError: Найден интерфейс org.apache.hadoop.mapreduce.JobContext, но ожидаемый пример установки класса
Я запускаю пример из http://giraph.apache.org/quick_start.html После успешной установки Giraph я создаю файл /tmp/tiny_graph.txt и запускаю $HADOOP_HOME/bin/hadoop jar /usr/local/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoo…
10 мар '15 в 17:52
0
ответов
Задание PageRank на Apache giraph не создает выходной файл
Команда: hduser@bigtapp:/usr/local/giraph$ hadoop jar /usr/local/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.7.0-jar-with-dependencies.jar org.apache.giraph.GiraphRunner org.apache.giraph.examples.SimplePageRankComputat…
07 май '15 в 06:25
0
ответов
Какова модель согласованности Apache Giraph? Это ACID-совместимый?
Название в значительной степени подводит итог. Я пытаюсь выяснить, какую последовательность обеспечивает Гираф. Это ACID-совместимый? Оставляет ли это на усмотрение Hadoop Framework?
29 окт '13 в 15:25
1
ответ
Компиляция проекта, который использует старомодный Giraph с Maven
У меня есть проект, который был разработан из другой группы и использует старую версию Giraph. Проект сделан на основе самого проекта Giraph; Структура и файлы проекта точно такие же, как и у Giraph, за исключением того, что некоторые источники.java…
30 май '14 в 06:34
2
ответа
Ошибка компиляции при сборке Giraph
Я пытаюсь построить Giraph. У меня есть следующее: Java-версия "1.7.0_25", Apache Maven 3.0.4, Hadoop 1.0.4. Я следую инструкциям на этой странице: https://cwiki.apache.org/confluence/display/GIRAPH/Quick+Start+Guide Когда я запускаю: mvn compile, я…
07 авг '13 в 16:42
1
ответ
Не удалось найти или загрузить основной класс org.apache.giraph.yarn.GiraphApplicationMaster
Я пытаюсь запустить Giraph на кластере YARN (Hadoop 2.5.2), но я застрял в этой ошибке: Could not find or load main class org.apache.giraph.yarn.GiraphApplicationMaster Я перепробовал все, что могу найти в предыдущих сообщениях на эту тему, но безре…
12 мар '15 в 03:44
1
ответ
Может ли Гираф повторно использовать график в памяти с предыдущего задания для последующих заданий?
У меня около миллиона узлов и миллиардов ребер, поэтому Гираф хранит график в памяти так, чтобы его можно было снова использовать для последующих заданий, или он загружает и сохраняет полный граф до и после каждого задания соответственно?
21 сен '15 в 08:12
1
ответ
Память не освобождается после завершения работы с гирафом
Я использую Apache Giraph версии 1.0 на Hadoop версии 0.20.203. Он выполняет ConnectedComponentsVertex и SimpleShortetPathsVertex, примеры apache giraph, задания успешно, но существует проблема. После завершения работы память не освобождается. Как п…
08 апр '14 в 14:25
0
ответов
Hadoop 0.20.203.0-RC1 уменьшить застрял на 0%
Я следую этому руководству ниже, чтобы установить Apache Giraph. http://giraph.apache.org/quick_start.html Я выполнил все шаги правильно, но когда я пытаюсь запустить пример WordCount, приведенный в ссылке, программа застревает на 16/08/13 14:49:29 …
13 авг '16 в 05:53
1
ответ
Преобразование графических данных из формата Edge Input в Vertex Input Format
Я экспериментирую с Giraph. Для запуска алгоритмов в Giraph мне нужны данные графика в формате ввода вершин. Почти все доступные большие данные онлайн представлены в формате Edge List. Я написал код на Java для преобразования этого формата Edge List…
02 янв '17 в 15:12
1
ответ
Пример кратчайших путей Giraph ClassNotFoundException
Я пытаюсь запустить пример кратчайших путей из инкубатора giraph ( https://cwiki.apache.org/confluence/display/GIRAPH/Shortest+Paths+Example). Однако вместо того, чтобы выполнить пример из giraph-*-dependencies.jar, я создал свой собственный jar зад…
22 май '12 в 11:09
0
ответов
4-х профильное исчисление большого графа с Apache Giraph
Для моей магистерской диссертации в области компьютерных наук мне удалось реализовать 4-х профильное исчисление ( https://arxiv.org/abs/1510.02215) с использованием giraph-1.3.0-snapshot (скомпилировано с профилем -Phadoop_yarn) и hadoop-2.8.4. Я на…
08 дек '18 в 19:35
1
ответ
Hadoop-2.7.2: Как управлять ресурсами
Я использую сервер с 16 ядрами, 64 ГБ оперативной памяти, диск 2,5 ТБ, и я хочу выполнить программу Giraph. Я установил hadoop-2.7.2, и я не знаю, как настроить hadoop для использования только частичного количества ресурсов сервера, поскольку сервер…
07 фев '17 в 12:06