Описание тега cloudera-cdh

Описание тега Вопросы с тегом
For questions specifically about Cloudera's Distribution of Apache Hadoop (CDH). Please look at https://community.cloudera.com/ before posting questions.
1 ответ

Импала - заменить все данные в разделе таблицы

У меня есть программа, которая генерирует все данные, касающиеся раздела таблицы Impala. Эта программа записывает данные в текстовый файл HDFS. Как (физически) удалить все данные, ранее принадлежавшие разделу, и заменить их данными в новом текстовом…
20 апр '17 в 15:53
0 ответов

Spark отбрасывает SparkListenerEvent, потому что в очереди событий нет места

Я использую pyspark для запуска своих искровых задач, и когда я пытался выполнить следующий скрипт на python, я получаю следующие ошибки. from pyspark.sql.functions import count, sum, stddev_pop, mean, length comp_df = sqlContext.sql('SELECT * FROM …
22 май '17 в 08:53
1 ответ

Веб-интерфейс Hadoop UI

У меня небольшая проблема. Мне нужно интегрировать веб-интерфейс Hadoop с нашим веб-приложением. Мне просто нужен интерфейс Hadoop, где мы можем запускать некоторые команды hadoop что-то вроде 1 cat hadoop dfs -cat <path>prints the file conten…
22 авг '14 в 06:38
1 ответ

Установка Cloudera CDH4

Я вижу следующий шаг в инструкциях по установке CDH4 MRV1 по адресу: http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/4.2.0/CDH4-Quick-Start/cdh4qs_topic_3_2.html Шаг 4. Создание системных каталогов MapReduce: sudo -u hdfs hadoop …
06 фев '14 в 16:35
0 ответов

Не удалось запустить запросы кустов параллельно с помощью редактора запросов оттенка

У меня есть кластер CDH-5 с установленными ульем, импалой и оттенком. Когда 2 пользователя пытаются параллельно использовать "Редактор запросов" Hue с Impala или Hive, мы никогда не получаем результат обратно. Когда один пользователь запускает запро…
21 мар '16 в 12:50
1 ответ

Соединительный стол Hive от чайника Pentaho

Я пытаюсь подключиться для передачи данных из mysql в таблицу Hive в cloudera с помощью задания Kettle. Я загрузил драйвер куста jdbc с сайта cloudera в папку lib в чайнике, но я получаю эту ошибку Ошибка подключения к базе данных: (с использованием…
25 фев '16 в 13:37
0 ответов

Hadoop NameNode в HA аварийно завершает работу каждый раз после большого количества отложенных ошибочных блоков

Я получаю много - 2018-02-13 03: 16: 50,843 ИНФОРМАЦИЯ org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: Повторное сканирование отложенных ошибочных блоков завершено за 56 мсек. Осталось 8749610 блоков. 1 блок перемещается. и тогда я получ…
13 фев '18 в 03:32
1 ответ

Невозможно активировать Kafka в CDH 5.7.0

Я новичок в CDH 5.7.0. Мне нужно, чтобы Кафка и Flume использовались в моем проекте. Когда я запустил Cloudera Manager, я обнаружил, что kafka уже доступен для скачивания. Я нажал на "Dowbload", чтобы загрузить kafka, а затем на "Distribut", чтобы р…
08 авг '16 в 07:06
0 ответов

Сбой задания Spark с ошибкой userr/spark/applicationHistory превышен

Я работаю на кластере CDH 5.3.2 с Spark 1.2.0. У нас было специальное искровое приложение, которое работало нормально до тех пор, пока несколько дней назад оно не начало работать со следующей ошибкой: Exception in thread "main" org.apache.hadoop.ipc…
01 фев '18 в 06:23
0 ответов

Hql Hive 2 не может установить auxpath с помощью hql jdbc

Ссылка: выполнение запроса Hive для пользовательского udf ожидает путь jar hdfs вместо локального пути в CDH4 с потоком Oozie Я поместил свой флягу на HDFS, разделенную двумя узлами. Странно, что когда я перешел из Hive в Hive2, перестало работать с…
10 сен '15 в 19:17
1 ответ

Импала минимальный DDL

Я знаю, что мы можем создать таблицу Impala, как CREATE EXTERNAL TABLE SCHEMA.TableName LIKE PARQUET '/rootDir/SecondLevelDir/RawFileThatKnowsDataTypes.parquet' Но я не уверен, что Impala может создать таблицу из файла (желательно текстового), котор…
11 дек '15 в 00:24
2 ответа

Как перезапустить сервер Solr (Cloudera) из командной строки

Я хочу перезапустить облако Solr из командной строки или сценария оболочки. когда я использую команду sudo service solr-restart server, это дает нераспознанную службу. Есть ли способ перезапустить облако Solr из командной строки? Я использую Cloudea…
07 апр '15 в 07:42
0 ответов

Обнаружена ошибка пространства кучи Java в Hive

При попытке просто скопировать данные из одной существующей таблицы в новую таблицу с помощью клона Создать таблицу как select * from t_table, она работает просто отлично. С другой стороны, при попытке скопировать данные из существующей таблицы в др…
24 фев '16 в 13:05
1 ответ

Вывод из эксплуатации нескольких узлов данных Hadoop параллельно

Я заменяю несколько машин в своем кластере Hadoop CDH 5.7. Я начал с добавления нескольких новых машин и вывода из эксплуатации того же количества существующих датододов. Я заметил, что блоки помечаются как недостаточно реплицированные при выводе уз…
16 дек '16 в 23:45
1 ответ

Поддерживает ли cdh5.1.2 формат файла Parquet?

Поддерживает ли Cloudera 5.1.2 формат файла Parquet? Hadoop 2.3.0-cdh5.1.2 Есть ли у нас совместимость на сайте клоудера
29 июн '17 в 11:20
1 ответ

Безопасность CDH с использованием Kerberos и Microsoft Active Directory

Я пытаюсь защитить свой кластер CDH с помощью Kerberos, но я хочу использовать информацию о пользователе, имеющуюся в моем Microsoft Active Directory. Есть ли способ использовать MS AD в качестве источника для поиска пользователей Kerberos?
08 мар '16 в 13:15
1 ответ

Как установить Cloudera CDH на кластер 100 Node без использования Cloudera Manager?

Как установить Cloudera CDH на кластер 100 Node без использования Cloudera Manager? Установка и настройка CDH вручную на каждом узле кластера является сложной задачей. Какие инструменты и технологии используются для автоматизации задач в производств…
20 ноя '15 в 20:03
0 ответов

Работа Hadoop терпит неудачу между

Я совершенно новичок в Hadoop, пока выполняю работу hadoop. Моя работа останавливается на map 67% reduce 0% с тайм-аутом 600сек ошибка не может понять, в чем проблема. Я изменил свой yarn-site.xml из одного ответа о переполнении стека. Мой маппер и …
25 июл '18 в 12:52
0 ответов

Не удается поместить файл на HDFS

У меня виртуальная коробка CDH, запущенная на моих окнах 10. Я выполняю простую работу с календарём, в которой есть только компонент для помещения файла в HDFS (tHDFSPut) из окон в HDFS, который находится в виртуальной коробке. Но когда я запускаю з…
10 мар '18 в 16:08
0 ответов

Как импала читает данные из авро

У меня есть требование создать веб-интерфейс для запроса данных, хранящихся в файлах avro на hdfs. Архитектура, которую мы хотели бы получить, - это спа-центр с API-интерфейсом для запросов данных. Запросы могут искать любые столбцы в файлах avro, к…
16 янв '19 в 11:31