Описание тега cloudera
Cloudera Inc. - это компания-разработчик корпоративного программного обеспечения из Пало-Альто, которая предоставляет программное обеспечение и услуги на основе Apache Hadoop.
1
ответ
Команда WebHDFS OPEN возвращает пустые результаты
Я создал простой файл в HDFS по пути /user/admin/foo.txt Я могу видеть содержимое этого файла в Хюэ. Как я выдаю команду curl -i http://namenode:50070/webhdfs/v1/user/admin/foo.txt?op=OPEN Я получаю ответ HTTP/1.1 307 TEMPORARY_REDIRECT Cache-Contro…
24 ноя '15 в 16:22
1
ответ
Настройка Java-приложения для работы с HBase (Hue-Cloudera)
Кто-нибудь может дать какой-нибудь совет о том, как мне следует настроить мой Java-приложение для работы с HBase? К сожалению, этот фундаментальный шаг для настройки java-приложения для связи с HBase был опущен в курсе PluralSight "Начало работы с H…
10 авг '17 в 16:05
1
ответ
FileNotFoundException при использовании DistributedCache для доступа к MapFile
Я использую hadoop cdf4.7 запустить в режиме пряжи. В MapFile есть hdfs://test1:9100/user/tagdict_builder_output/part-00000и у него есть два файла index а также data Я использовал следующий код, чтобы добавить его в distribCache: Configuration conf …
21 июл '14 в 13:34
2
ответа
Jooq расширить существующий диалект. Принять MySQL диалект к Apache Hive диалект
Я пытаюсь использовать JOOQ для запроса Hive. Диалект Hive SQL довольно близок к диалекту MySQL. Прямо сейчас я встретил эти проблемы: Hive поддерживает LIMIT N, он не поддерживает LIMIT N OFFSET K. Пустое решение - переопределить select.limit(limit…
13 мар '13 в 09:31
1
ответ
Краевой узел Cloudera отсутствует в шаблоне Azure RM. Зачем?
Документация Cloudera говорит об (и я полагаю, рекомендует) использование пограничного узла (иначе говоря, шлюзового узла) в качестве средства управления внешним доступом к кластеру. Недавно я развернул кластер Cloudera в Azure с использованием пред…
22 фев '16 в 13:48
1
ответ
Веб-интерфейс Hadoop UI
У меня небольшая проблема. Мне нужно интегрировать веб-интерфейс Hadoop с нашим веб-приложением. Мне просто нужен интерфейс Hadoop, где мы можем запускать некоторые команды hadoop что-то вроде 1 cat hadoop dfs -cat <path>prints the file conten…
22 авг '14 в 06:38
1
ответ
Настройка кластера на GCP с Cloudera Director
Я следую инструкциям на сайте Cloudera, чтобы настроить кластер с помощью Cloudera Director. Однако, когда я добираюсь до шага, на котором я должен "Добавить среду", у меня возникают две проблемы. Во-первых, регион, который я выбрал (us-east1-b) при…
12 окт '16 в 18:45
0
ответов
Не удалось запустить запросы кустов параллельно с помощью редактора запросов оттенка
У меня есть кластер CDH-5 с установленными ульем, импалой и оттенком. Когда 2 пользователя пытаются параллельно использовать "Редактор запросов" Hue с Impala или Hive, мы никогда не получаем результат обратно. Когда один пользователь запускает запро…
21 мар '16 в 12:50
1
ответ
Как добавить схему ввода для вывода в pig
Я написал один UDF, где моей входной схемой является Мешок кортежей. Теперь в моем UDF я обрабатываю каждый кортеж и добавляю дополнительное поле для каждого кортежа и передаю его в выходной пакет. Это хорошо работает. Теперь на следующем шаге я поп…
06 июн '14 в 09:32
0
ответов
Hadoop NameNode в HA аварийно завершает работу каждый раз после большого количества отложенных ошибочных блоков
Я получаю много - 2018-02-13 03: 16: 50,843 ИНФОРМАЦИЯ org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: Повторное сканирование отложенных ошибочных блоков завершено за 56 мсек. Осталось 8749610 блоков. 1 блок перемещается. и тогда я получ…
13 фев '18 в 03:32
1
ответ
Различные инструменты, доступные для создания конвейеров данных
Мне нужно создать конвейеры данных в Hadoop. У меня есть импорт, экспорт, сценарии для очистки данных, и мне нужно настроить их в конвейере. Я использовал Oozie для графиков импорта и экспорта данных, но теперь мне нужно также интегрировать R-скрипт…
25 авг '16 в 18:42
1
ответ
Атрибут пакета HBase REST API не работает
При попытке сканировать HBase через REST API в нашем кластере (CDH 5.14.0 | HBase 1.2.0-cdh5.14.0) сканер batch Атрибут не работает, всегда возвращает записи по одной. Запрос PUT выглядит следующим образом: http://hbase-rest-server:20550/our-table/s…
19 июл '18 в 13:19
0
ответов
Как отделить текст с фиксированной шириной длины с помощью разделителя на основе заданных символов?
У меня есть следующие 30 символов фиксированной ширины ID длины серии в текстовом файле, которые я хотел бы разделить разделителем / поместить в отдельные столбцы. У меня есть тысячи удостоверений в этом файле. Размер самого файла превышает 2 ГБ. Я …
08 мар '16 в 04:47
0
ответов
Проблема сборки мусора на сервере региона HBase
Я работаю инженером-программистом больших данных почти год и столкнулся с очень серьезной проблемой на нашей производственной платформе. Мы используем Cloudera Express 5.4.6. Наш кластер Hadoop имеет 2 узла имен и 9 узлов данных. Каждому из узлов да…
03 янв '18 в 18:14
1
ответ
Не понимая NPR MapReduce
Вот ошибка, которую я получаю: 14/02/28 02:52:43 INFO mapred.JobClient: Task Id : attempt_201402271927_0020_m_000001_2, Status : FAILED java.lang.NullPointerException at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask.java:843) at org.…
03 мар '14 в 00:17
1
ответ
Служба кустов не начинает получать ошибку Не удалось инициализировать базу данных?
Я установил Cloudera 4.6 на 4 узла при запуске всех служб я получаю ошибку в журналах HIVE из-за некоторых проблем я пропустил команду "Первый запуск" и база данных куста не создана Failed initialising database. FATAL: password authentication failed…
14 апр '14 в 10:16
1
ответ
Импала минимальный DDL
Я знаю, что мы можем создать таблицу Impala, как CREATE EXTERNAL TABLE SCHEMA.TableName LIKE PARQUET '/rootDir/SecondLevelDir/RawFileThatKnowsDataTypes.parquet' Но я не уверен, что Impala может создать таблицу из файла (желательно текстового), котор…
11 дек '15 в 00:24
1
ответ
Как автоматизировать очистку мусора Hadoop
Я могу очистить корзину под моей пользовательской папкой, запустив hadoop fs -expungeЭто избавляет от файлов, которые старше, чем fs.trash.interval значение. Существует ли исключение для автоматического восстановления дискового пространства? Также я…
17 июл '14 в 23:05
1
ответ
Невозможно запустить демонов, используя start-dfs.sh
Мы используем дистрибутив cdh4-0.0 от cloudera. Мы не можем запустить демонов с помощью приведенной ниже команды. >start-dfs.sh Starting namenodes on [localhost] hduser@localhost's password: localhost: mkdir: cannot create directory `/hduser': Pe…
18 июл '12 в 11:45
0
ответов
Установщик Cloudera Manager не работает в Ubuntu
Я пытаюсь установить cloudera-manager-installer.bin и сталкиваюсь с ошибкой: Reading package lists... Building dependency tree... Reading state information... E: Unable to locate package oracle-j2sdk1.6 E: Couldn't find any package by regex 'oracle-…
07 июн '13 в 20:26