Задание PageRank на Apache giraph не создает выходной файл
Команда:
hduser@bigtapp:/usr/local/giraph$ hadoop jar /usr/local/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.7.0-jar-with-dependencies.jar org.apache.giraph.GiraphRunner org.apache.giraph.examples.SimplePageRankComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip /user/input/tiny.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /user/output/SimplePageRank -w 1 -ca giraph.SplitMasterWorker=false
Результат:
15/05/07 11:28:38 INFO utils.ConfigurationUtils: Не указан формат ввода ребра. Убедитесь, что ваш InputFormat не требует его. 15/05/07 11:28:38 INFO utils.ConfigurationUtils: Не указан формат вывода края. Убедитесь, что ваш OutputFormat не требует его. 15/05/07 11:28:38 INFO utils.ConfigurationUtils: установка пользовательского аргумента [giraph.SplitMasterWorker] в [false] в GiraphConfiguration 15/05/07 11:28:39 ПРЕДУПРЕЖДЕНИЕ util.NativeCodeLoader: невозможно загрузить native-hadoop библиотека для вашей платформы... с использованием встроенных java-классов, где это применимо 15/05/07 11:28:39 INFO Configuration.deprecation: mapreduce.job.counters.limit устарела. Вместо этого используйте mapreduce.job.counters.max 15/05/07 11:28:39 INFO Configuration.deprecation: mapred.job.map.memory.mb устарела. Вместо этого используйте mapreduce.map.memory.mb 15/05/07 11:28:39 INFO Configuration.deprecation: mapred.job.reduce.memory.mb устарела. Вместо этого используйте mapreduce.reduce.memory.mb 15/05/07 11:28:39 INFO Configuration.deprecation: mapred.map.tasks.speculative.execution устарела. Вместо этого используйте mapreduce.map.speculative 15/05/07 11:28:39 INFO Configuration.deprecation: mapreduce.user.classpath.first устарела. Вместо этого используйте mapreduce.job.user.classpath.first 15/05/07 11:28:39 INFO Configuration.deprecation: mapred.map.max.attempts устарела. Вместо этого используйте mapreduce.map.maxattempts 15/05/07 11:28:39 INFO job.GiraphJob: run: Поскольку контрольная точка отключена (по умолчанию), не допускайте повторных попыток выполнения задачи (настройка mapred.map.max.attempts = 1, old value = 4) 15/05/07 11:28:39 INFO Configuration.deprecation: mapred.job.tracker устарел. Вместо этого используйте mapreduce.jobtracker.address 15/05/07 11:28:39 INFO client.RMProxy: подключение к ResourceManager по адресу /0.0.0.0:8032 15/05/07 11:28:42 INFO mapreduce.JobSubmitter: число split:1 15/05/07 11:28:42 INFO mapreduce.JobSubmitter: отправка токенов для задания: job_1430974889906_0002 15/05/07 11:28:42 INFO impl.YarnClientImpl: Подано приложение application_1430974889906_0002 15/05/07 11:28:42 INFO mapreduce.Job: URL для отслеживания работы: http://bigtapp:8088/proxy/application_1430974889906_0002/ 15/05/07 11:28:42 INFO job.GiraphJob: URL отслеживания: http://bigtapp:8088/proxy/application_1430974889906_0002/ 15/05/07 11:28:42 INFO job.GiraphJob: Ожидание ресурсов... Задание начнется только тогда, когда оно получит все 2 сопоставителя 15/05/07 11:28:55 INFO mapreduce. Задание: выполняется задание: job_1430974889906_0002 15/05/07 11:28:55 INFO mapreduce.Job: задание job_1430974889906_0002 работает в режиме убер: false 15/05/07 11:28:55 INFO mapreduce.Job: карта на 100% меньше 0% 15/05/07 11:28:55 ИНФОРМАЦИЯ mapreduce.Job: Job job _1430974889906_0002 не удалось с состоянием СБОЙ из-за: Задача не выполнена task_1430974889906_0002_m_000000 Задание не выполнено, так как задания не выполнены. failedMaps: 1 failedReduces: 0
15/05/07 11:28:55 INFO mapreduce.Job: Счетчики: 8 счетчиков заданий Не выполненные задачи карты = 1 Запущенные задачи карты = 1 Другие локальные задачи карты = 1 Общее время, потраченное всеми картами в занятых слотах (мс)=5785 Общее время, затраченное всеми в занятых слотах (мс)=0 Общее время, затраченное на все задачи карты (мс)=5785 Общее количество секунд-секунд, затраченных всеми задачами карты = 5785 Общее количество мегабайт-секунд, затраченных всеми задачами карты =5923840