Описание тега hortonworks-data-platform
Hortonworks Data Platform (HDP) - это распространение платформы данных Apache Hadoop с открытым исходным кодом, содержащей набор проектов поверх HDFS и YARN в качестве основного уровня Hadoop.
1
ответ
Работа сценария оболочки Oozie
У меня есть один сценарий оболочки script.sh, которому нужен один файл свойств script.properties. Я выполнил этот скрипт как: ./script.sh script.properties Теперь я хочу запустить этот скрипт, используя oozie. Как я могу передать файл script.propert…
11 ноя '16 в 15:31
2
ответа
HDP 2.2 Sandbox Не удалось найти каталог SQOOP
Я следовал за учебником http://hortonworks.com/hadoop-tutorial/import-microsoft-sql-server-hortonworks-sandbox-using-sqoop/ Я не могу найти /usr/lib/sqoop/lib. Я мог видеть Sqoop, работающий в песочнице. Просто не удалось найти папку для сбрасывания…
09 фев '15 в 19:29
1
ответ
ACL не поддерживаются по крайней мере в одной файловой системе: Distcp HDFS
Согласно документации distcp -> Если указан параметр -pa, DistCp сохраняет разрешения также потому, что ACL - это супер-набор разрешений. но hadoop distcp -pa -delete -update /src/path /dest/path/ не работает с ACL, не поддерживаемыми хотя бы в одн…
24 авг '18 в 11:23
1
ответ
org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: тайм-аут чтения
У меня есть следующие настройки перед моим оператором SQL в кусте. Тем не менее, он не может отправить запрос, я продолжаю получать TimeoutException. Когда я проверяю представление TEZ, выполняется только первый оператор анализа. Могу ли я знать, чт…
08 авг '16 в 16:57
1
ответ
Как создать пользовательский сервис контроллеров NiFi?
Я пытаюсь узнать, как создать собственный сервис контроллера NiFi. Для начала я подумал о том, чтобы подражать DBCPConnectionPool служба контроллера, просто скопировав исходный код DBCPConnectionPool оказание услуг. Чтобы реализовать то же самое, я …
17 апр '18 в 08:10
1
ответ
Проблема с Amabari Hortonworks Host очистить удалить пакеты
Я пытаюсь настроить кластер снова после выполнения ambari-reset. В первый раз во время проверки хостов я получил около 180 предупреждающих сообщений, после запуска python-скрипта python /usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py я …
19 сен '15 в 13:19
2
ответа
Используйте Nifi replaceText, чтобы поменять местами первое или последнее вхождение char/string с другой строкой?
Попытка добавить тег к входящему файлу nifi json. Входные данные: [{"HIT":"DUMMY_3","BatchId":"jkajks981n-1280189nd-129dnbj-2349nbfk","Id":"81274376231"}] Ожидаемый результат: [{"nifi_received_ts_est":"2018-10-04 09:31:50.108","HIT":"DUMMY_3","Batch…
04 окт '18 в 13:50
1
ответ
Что означает Num Off Switch Containers в пользовательском интерфейсе Yarn Resource Manager?
У меня есть работа ETL, занимающая много ресурсов процессора и памяти и работающая в течение длительного времени. Первое, что я заметил при отладке, это следующее (из задания в графическом интерфейсе менеджера ресурсов) Num Node Local Containers (уд…
23 ноя '18 в 01:01
1
ответ
Интеграция Hbase с Hive: зарегистрировать таблицу Hbase
Я использую Hortonworks Sandbox 2.0, который содержит следующие версии Hbase и Hive Component Version ------------------------ Apache Hadoop 2.2.0 Apache Hive 0.12.0 Apache HBase 0.96.0 Apache ZooKeeper 3.4.5 ... и я пытаюсь зарегистрировать свою та…
27 мар '14 в 13:08
1
ответ
TableNotFoundException при обновлении клиента hbase с 0,98 до 1,1
Я только что перешел на HortonWorks HBase клиент 1.1.2.2.4.2.0-258 с версии 0.98. Все отлично работает локально, но через пару минут под рабочей нагрузкой у меня начинает появляться TableNotFoundException: Caused by: org.apache.hadoop.hbase.TableNot…
03 янв '18 в 11:05
1
ответ
spark-sql: ошибка при инициации сеанса NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning
Я столкнулся с проблемой при запуске сеанса spark-sql. Первоначально, когда я инициировал сеанс Spark, была видна только база данных по умолчанию (Не база данных по умолчанию Hive, а та же Spark). Чтобы просмотреть базы данных кустов, я скопировал ф…
11 окт '18 в 08:54
1
ответ
При установке Ambari MPack выдает сообщение об использовании Python
Попытка установить Amabri Management Pack, и я не могу заставить команду работать ambari-server install-mpack --mpack=http://public-repo-1.hortonworks.com/HDF/centos6/2.x/updates/2.1.1.0/tars/hdf_ambari_mp/hdf-ambari-mpack-2.1.1.0-2.tar.gz --purge -…
07 фев '17 в 15:46
1
ответ
<ошибка urlopen [Errno 111] Соединение отклонено> в HortonWorks
Я пытаюсь запустить hadoop на виртуальной машине, которую я скачал с HortonWorks Sandbox (очень новый для работы с hadoop, mahout...) Я использую среду HortonWorks, чтобы создать таблицу и начать работать с ней. Но проблема в том, что когда я загруж…
20 фев '14 в 21:23
3
ответа
Apache Pig от отметки времени до настоящего времени
Я пытаюсь проанализировать некоторые данные с Apache свинья в Amabari В этом конкретном случае у меня есть проблема... У меня есть столбец с отметкой времени, записанной в этом конкретном формате 1433306146000 1422814565122 с помощью онлайн-конверте…
14 май '16 в 14:29
2
ответа
Доступ к kafka в песочнице из Host OS (после попытки каждого решения)
Обсуди меня нуб. Я прочитал все вопросы о переполнении стека и пытался в течение одного дня, но решение просто не щелкнуло мне. ПОЖАЛУЙСТА, Помогите мне конкретно к моим НАСТРОЙКАМ и КОДУ (потому что я перепробовал все возможности из тех же проблем …
16 сен '15 в 07:19
1
ответ
Улей версии версий
Я просматриваю версии релизов Hive и наблюдаю, как шаблон версий Hive кажется немного запутанным. После выпуска 1.2.1, который состоится 27 июня 2015 года, следующая версия будет 2.0 15 февраля 2016 года, и версии будут продолжены. Снова 7 апреля 20…
27 май '17 в 11:39
1
ответ
Разъем HDFS-GPFS для использования в Apache Spark
Есть ли возможность читать данные из IBM GPFS (Global Parallel Filesystem) в Apache Spark? Мое намерение состоит в том, чтобы использовать что-то вроде этого sc.textFile("gfps://...") вместо sc.textFile("hdfs://...") Средой, которая предназначена дл…
20 окт '17 в 12:59
1
ответ
Не удается подключиться к kafka после обновления с HDP 2.4 до HDP 2.5 на AWS EC2
У меня был проект производителя kafka, реализованный на Sandbox 2.4 через Virtual Box, но с тех пор я реализовал этот проект на AWS EC2 (с использованием облачного взлома Hortonworks). Это привело меня к обновлению до HDP 2.5, поэтому я перешел с ka…
24 мар '17 в 16:05
2
ответа
Умный доступ к данным SAP HANA: невозможно подсчитать строки виртуальной таблицы (Hive)
У меня есть виртуальная машина HANA Express, с которой я хочу взаимодействовать с кластером Hadoop. У меня есть таблица Hive, которую я подключил через Smart Data Access (SDA) к HANA. С виртуальной таблицей все работает нормально, я могу использоват…
07 апр '17 в 08:24
1
ответ
Проблема с модулем pywebhdfs
Я пытаюсь использовать модуль pywebhdfs в Python для взаимодействия с песочницей Hortonworks Hadoop. Я попробовал следующие три команды: from pywebhdfs.webhdfs import PyWebHdfsClient hdfs = PyWebHdfsClient(user_name="root",port=50070,host="localhost…
04 окт '15 в 05:35