Описание тега hdp
Hortonworks Data Platform (HDP) - это распространение платформы данных Apache Hadoop с открытым исходным кодом, содержащей набор проектов поверх HDFS и YARN в качестве основного уровня Hadoop.
0
ответов
Выборочная установка Spark 2.31 без ambari по проблеме производительности HDP
У меня есть Spark 2.3.1 выборочная установка без ambari на HDP 2.6.2, работающая в кластере. Я сделал все необходимые настройки в соответствии с инструкциями по установке свечей и не ambari. Теперь, когда я отправляю искровое задание в режиме класте…
18 дек '18 в 01:52
1
ответ
Создавая очереди на лету
Я хочу запустить X количество заданий MR в цикле, каждое из которых будет отправлено в случайную очередь, которая создается на лету. Пример: -D mapred.queuename= имя root.random. Я хочу пройти через это столько раз, сколько необходимо, и это должно …
19 дек '18 в 03:20
0
ответов
zookeeper-client не может подключиться к серверу zookeeper
В моем кластере HDP я устанавливаю 3 сервера zookeeper-сервера и клиент zookeeper на 3 узла ( master1, master2, master3),. все узлы на redhat версия машины 7.2 Когда мы запускаем клиент zookeeper с master1 на сервере zookeeper на master1, мы получае…
01 янв '19 в 09:33
1
ответ
Не удалось зарегистрировать хост на сервере Ambari для одного хоста (текущего компьютера), на котором запущена служба ambari
Ambari 2.5.1.0 / centOS-7 -> агент Ambari, сервер Ambari, работающий с внешней базой данных postgres9.6 в той же системе. Теперь нажмите Ambari url -> войти в Ambari -> Создать кластер -> предоставить имя кластера -> далееselecet HDP-2.6.3.0 -> выбе…
03 янв '19 в 11:46
1
ответ
Как убить задание Spark с именем задания в автономном кластере
Как убить задание Spark с именем задания в автономном кластере? Как перечислить идентификаторы заданий Spark в песочнице? Есть ли команда, похожая на yarn application -list?
04 фев '19 в 21:47
0
ответов
Обновление HDP3.0, застряло в "Переместить таблицы кустов".. /etc/hive/conf/hive-env.sh: строка 46: [:!=: Ожидается унарный оператор
Я пытаюсь обновить HDP 2.6 до 3.0, и я застрял на шаге "Переместить таблицы кустов". Я выполнил все необходимые условия. Пожалуйста, помогите в этом отношении.. Пожалуйста, найдите журнал ошибок... 2019-02-04 20:12:46,631 - действие с аффиксом "pre_…
05 фев '19 в 11:35
0
ответов
Как развернуть кластер HDP без HDFS?
Как развернуть кластер HDP без HDFS, поскольку я не хочу HDFS для хранения и буду использовать собственную систему хранения в памяти. Как это может быть сделано?
25 фев '19 в 05:53
0
ответов
Невозможно загрузить pdf-файлы размером более 10 МБ в Hbase через python happybase - HDP 3
Мы используем HDP 3. Мы пытаемся вставить PDF-файлы в один из столбцов определенного семейства столбцов в таблице Hbase. Средой разработки является python 3.6, а соединителем hbase - happybase 1.1.0. Мы не можем загрузить файл PDF размером более 10 …
26 фев '19 в 10:45
1
ответ
Как ambari использует zookeeper для подробной синхронизации файлов конфигурации кластера
Как ambari использует zookeeper для подробной синхронизации файлов конфигурации кластера? Я не могу найти ни одного документа по этому поводу, есть ли какой-нибудь пример, все, что я могу получить, это как использовать zookeeper для достижения HA в …
14 янв '19 в 03:14
1
ответ
Правильно ли ограничивать очистку /tmp каждый день в кластере hadoop
У нас есть версия кластера HDP - 2.6.4 Кластер установлен на redhat версии машины - 7.2 Мы заметили следующую проблему на компьютерах JournalNodes (мастер-машины) У нас есть 3 машины JournalNodes, и в папке /tmp у нас есть тысячи пустых папок. drwx-…
20 дек '18 в 09:54
2
ответа
Hive Compute Statistic HDP 2.6
Попытка увидеть статистику по конкретному столбцу. Я выполнил ANALYZE Команда сначала, а затем попытался увидеть статистику DESCRIBE FORMATTED <table_name> <col_name>, Я не вижу никаких ценностей в этом. Любая идея, почему это не показыв…
12 окт '18 в 15:42
0
ответов
Проблемы HBase Backup в HDP
Я пытаюсь запустить команду резервного копирования hbase в кластере hdp с помощью приведенной ниже команды habse backup create full 'hdfs://url:8020/user/someuser/' TAB1 Я получаю ошибку ниже Caused by: org.apache.hadoop.ipc.RemoteException(java.io.…
17 окт '18 в 11:29
0
ответов
Не удалось обновить Ambari Server с помощью AttributeError: у объекта 'NoneType' нет атрибута 'title'
Я обновляю ambari server версии 2.6 до версии 2.7, следуя этому документу https://docs.hortonworks.com/HDPDocuments/Ambari-2.7.1.0/bk_ambari-upgrade-major/content/upgrade_ambari.html Задачи работают отлично до шага 12. Когда я бегу ambari-server upg…
13 ноя '18 в 07:21
0
ответов
Apache Ambari - веб-интерфейс мастера установки не работает
У меня возникли проблемы с Apache Ambari 2.7.3 в Ubuntu и его мастером установки. После вкладки "Имя кластера" веб-интерфейс блокирует следующие шаги, но я не могу понять, в чем проблема. В консоли веб-разработчика есть несколько ошибок: Ошибка инте…
17 дек '18 в 11:00
0
ответов
Готова ли структурированная потоковая передача к производству на HDP 2.6.4 с поддержкой версии 2.2.0?
Я хотел бы знать, готова ли структурированная потоковая передача к производству на HDP 2.6.4. Я читал, что он готов к производству на spark 2.2.0, но я не знаю, как обстоят дела с HDP 2.6.4. Это очень важно для моей работы. Заранее спасибо.
09 янв '19 в 16:16
1
ответ
Это подключиться к SSL без LDAP
Мой сервер LDAP - SSL, если мне нужно подключиться к серверу LDAPS. Нужно ли включать SSL на моем сервере для получения результатов с сервера. Пример: я пытаюсь подключиться к Apache Ranger в HDP2.x . Нужно ли мне включить SSL на машине Ranger для п…
14 янв '19 в 01:57
0
ответов
Открыть TSDB - нет такого названия для "метрик": "тест"
Мы всегда получаем ошибку: Вызывается: net.opentsdb.uid.NoSuchUniqueName: нет такого имени для "метрики": "test" в net.opentsdb.uid.UniqueId$1GetIdCB.call(UniqueId.java:450) ~[tsdb-2.4.0.jar:] at net.opentsdb.uid.UniqueId$1GetIdCB.call(UniqueId.java…
30 янв '19 в 09:54
0
ответов
Не удалось загрузить URI для стека HDP-2.1.GlusterFS с hortonworks.com
Я делаю кластер из 5 узлов с использованием HDP 2.3 и использую частное хранилище для его сборки, но, к сожалению, мои две машины работают по регистру, остальные три не работают. Кто-нибудь может мне помочь? когда я проверяю ambari-server.log получа…
09 фев '19 в 18:55
1
ответ
Невозможно запустить большинство служб HDP2.6.1 Sandbox на экземпляре AWS EC2
Я установил изолированную программную среду HDP2.6.1 с помощью докера в экземпляре AWS EC2 [c5.4xlarge - CentOS 7 (x86_64) - с обновлениями]. Я также могу изменить пароль администратора и войти в Ambari UI от имени администратора. Но когда я захожу …
15 фев '19 в 19:31
1
ответ
Включение, планирование CPU в YARN действительно улучшит параллельную обработку в искре?
YARN с планировщиком емкости будет учитывать только память при выделении ресурсов для пользовательских запросов. Если я отправлю искровое задание следующим образом: --master yarn --deploy-mode client --driver-memory 4g --executor-memory 4g - -num-ex…
12 ноя '18 в 10:34