Описание тега cloudera-quickstart-vm

Виртуальная машина Cloudera QuickStart содержит одноузловой кластер Apache Hadoop, включая Cloudera Manager, примеры данных, запросы и сценарии.
2 ответа

Как установить Cloudera Hadoop на ПК, который не поддерживает виртуализацию

Мне нравится устанавливать Cloudera Hadoop в Windows 7. Мой компьютер, поэтому я загружаю проигрыватель VMware, но он не работает, потому что мой компьютер не поддерживает виртуализацию. Есть ли решение?
1 ответ

Тестовый запуск HIPI не выполняется из-за NoclassdefinitionFound

Я пытался следовать учебнику на виртуальной машине cloudera (cdh-5.4.2), но получаю исключение при попытке запустить встроенный jar для подсчета количества пикселей. Сама сборка завершается успешно: [cloudera@quickstart helloWorld]$ gradle jar :core…
26 окт '15 в 15:52
0 ответов

Не удается поместить файл на HDFS

У меня виртуальная коробка CDH, запущенная на моих окнах 10. Я выполняю простую работу с календарём, в которой есть только компонент для помещения файла в HDFS (tHDFSPut) из окон в HDFS, который находится в виртуальной коробке. Но когда я запускаю з…
1 ответ

JsonMappingException в программе Hadoop с Eclipse

Видеть JsonMappingException в простой программе Hadoop при запуске в Eclipse(Kepler) с виртуальной машиной Cloudera QuickStart VM Exception in thread "main" java.lang.NoClassDefFoundError: org/codehaus/jackson/map/JsonMappingException at org.apache.…
2 ответа

Запускать работу с python с помощью Oozie и Hue - Intercepting System.exit(1)

Мне нужно запустить некоторые скрипты Spark Python как рабочие процессы Oozie, я тестировал сценарии локально с помощью Spark, но когда я отправляю их в Oozie, я не могу понять, почему это не работает. Я использую Cloudera VM и управляю Oozie с помо…
3 ответа

Cloudera Hadoop - Демоны не работают

Я самостоятельно изучаю Hadoop и начал с установки Cloudera QuickVM на рабочую станцию VMware с ОС CENT. У меня сложилось впечатление, что Quickstart VM имеет большинство предопределенных конфигураций. Нужно ли настраивать какие-либо другие конфигур…
1 ответ

ОШИБКА 2997: Обнаружено исключение ввода-вывода. Директория part1 не существует

У меня проблема с выполнением скрипта в Apache Pig. У меня есть 3 файла, а именно movies.csv, ratings.csv, tags.csv. Сначала я хочу загрузить "movies.csv", затем загрузить "ratings.csv" и объединить обе таблицы. Но я сталкиваюсь с ошибкой при загруз…
1 ответ

Добавление работника в Spark Standalone CDH5.3

У меня есть быстрый запуск cloudera cdh5.3 на ВМ. У меня проблемы с запуском Spark. Я прошел эти шаги http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_spark_configure.... и выполнил слово exapmle, и это сработало. …
1 ответ

Apache Giraph на Cloudera VM - POM для org.apache.hadoop:hadoop-core:jar: отсутствует 2.6.0, информация о зависимостях отсутствует

Я новичок в Hadoop/Giraph и Java. В качестве части задания я загрузил Cloudera Quickstart VM и Giraph поверх него. Я использую эту книгу под названием "Практическая аналитика графиков с помощью Apache Giraph; авторы: Шапошник, Роман, Мартелла, Клауд…
1 ответ

Экспорт Sqoop со вставкой повторяющихся записей

Я пытаюсь понять, как работает экспорт sqoop. У меня есть сайт таблицы в MySQL, который содержит два столбца ID и URL и содержит две строки 1,www.yahoo.com 2,www.gmail.com Таблица не имеет первичного ключа Когда я экспортирую записи из HDFS в таблиц…
1 ответ

Ошибка подключения к Hbase в среде Kerberos

Я использую Спарк 1.6.0 (spark-1.2.0-cdh5.10.2) Cloudera VM (spark-1.2.0-cdh5.10.2) Hbase (1.2.0 от Cloudera) Scala 2.10 Kerberos включен Шаги, которые я выполняю: kinit (Так что мой пользователь будет на месте) 2. spark-shell --master yarn --execut…
0 ответов

Запрос исполнителей, потому что задачи забиты

У меня есть приложение для потокового воспроизведения, которое до вчерашнего дня работало абсолютно нормально и внезапно натолкнулось на это предупреждение. У меня такая же среда и использую тот же код. Вот предупреждения: 05/09 17:13:03 ИНФОРМАЦИЯ …
1 ответ

Ошибка простого ssh-задания: AUTH_FAILED: Невозможно выполнить операцию

Я пытаюсь простую работу SSH с использованием Cloudera Oozie. job.properties: nameNode=hdfs://localhost:8020 jobTracker=localhost:8032 queueName=default examplesRoot=examples oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/ap…
05 мар '17 в 09:17
1 ответ

Не удается запустить PySpark (не используя интерактивную оболочку) на виртуальной машине Cloudera

Когда я следую этому примеру и пытаюсь использовать команду spark-submit в среде cloudera vm я постоянно получаю следующую ошибку: ERROR spark.SparkContext: Error initializing SparkContext. org.apache.hadoop.security.AccessControlException: Permissi…
1 ответ

Как обновить версию MLLIB в PySpark

Я установил Cloudera VM и, следовательно, у него есть PySpark с библиотекой MLLIB, но библиотека ML MLLIB слишком старая, я просто хотел обновить ее до последней версии MLLIB, уже обновил python с 2.6 до 2.7, но не смог найти никакой документации об…
2 ответа

Ошибка конфигурации Hue -/etc/hue/conf.empty - обнаружена потенциальная неправильная конфигурация

Привет эксперты, Я новичок в Hadoop, Linux и Cloudera. Я установил cloudera vm 5.7 на свой компьютер и импортировал данные mysql в hdfs, используя SQOOP. Я пытаюсь выполнить некоторые запросы к этим данным, используя impala. Итак, я попытался запус…
08 май '16 в 09:26
0 ответов

Получение ошибки при запуске spark-shell в CDH 5.7

Я новичок в Spark и использую CDH-5.7 для запуска Spark, но я получаю эту ошибку, когда запускаю Spark-shell в терминале, я запускаю все сервисы Cloudera, включая Spark, также с помощью Launch Cloudera Express. Пожалуйста, помогите. Using Scala vers…
13 июл '16 в 11:58
1 ответ

Бегущая искра в показе докера - сайт не доступен

Я новичок в докере, запускаю быстрый запуск cloudera в докере через порт 8888. docker run --hostname=quickstart.cloudera --privileged=true -t -i -p 8888:8888 -p 8800:8800 -p 7180:7180 cloudera/quickstart /usr/bin/docker-quickstart Мне нужно запустит…
05 сен '17 в 12:53
0 ответов

Я не могу программно получить доступ к файлу в образе CDH 5.7, запущенном в vmware

У меня есть образ vmware cloudera, cdh-5.7, работающий с centos6.8, я использую OS X в качестве своей машины для разработки и образ cdh для запуска кода. ОБНОВИТЬ Это build.sbt, который я сейчас использую, я только что обновил версию spark с официал…
30 май '16 в 11:14
2 ответа

Hadoop в Cloudera пути VMware

Привет я реализовал мой средний счетчик слов в java в cloudera vm 4.2.1 p, и я преобразовал в файл Jar и выполнил команду: hadoop jar averagewordlength.jar stubs.AvgWordLength shakespeare wordleng Далее: я правильно запустил Шекспира и не могу запус…