Описание тега hcatalog
Table and storage management service for data created using Apache Hadoop.
0
ответов
Воссоздать базу данных Hive из Metastore в RDS
Если я настроил кластер EMR для хранения его HCatalog в RDS MySQL, как указано здесь, как я могу воссоздать кластер и структуру с использованием метастаза, если кластер завершен?
08 мар '18 в 09:54
2
ответа
Невозможно хранить целочисленные данные с помощью ParquetStorer
Я сталкиваюсь с очень странной проблемой. У меня есть обработка нескольких столбцов данных с помощью свиньи. Pig использует HCatalogLoader для загрузки данных в сценарии pig. Столбцы содержат несколько целочисленных данных, строковые данные, а также…
15 окт '14 в 14:48
2
ответа
InvalidProtocolBufferException при попытке записи данных в HCatalog (вне MapReduce)
Мой тестовый код: public static void main(String [] args) throws HCatException { String metastoreUrl = "thrift://<censored>:9083"; String databaseName = "default"; String tableName = "test"; WriteEntity.Builder builder = new WriteEntity.Builde…
02 апр '14 в 15:21
0
ответов
Ошибка при запуске программы MapReduce с HCatalog на подчиненном узле
Я написал программу MR для чтения CSV-файла и сохранения данных в многораздельной таблице кустов. Я использую HCatalog для создания раздела в таблице. Программа успешно скомпилирована. Я установил все необходимые банки в classpath по этой ссылке: ht…
04 дек '17 в 20:35
1
ответ
Загрузка данных в улей, а затем анализировать их от свиньи с помощью hcatalogue. Кажется ли это хорошей идеей?
Допустим, у нас есть данные в формате JSON, и мы хотим получить некоторые результаты для бизнес-пользователей.Загрузка данных в улей из HDFS, а затем анализировать их от свиньи с помощью hcatalog. У меня есть ниже вопрос в этом отношении.В. Можно ли…
08 апр '16 в 01:17
1
ответ
Hive Macros/UDFs - Параллельный / комбинированный / один интерпретатор
Я хотел бы создать расширение Hive (макрос / UDF / шлюз / прокси / фасад или что-то еще), который может а) создавать / изменять таблицы БД иб) обрабатывать данные. Проблема здесь в том, что для b) желательна параллельная обработка, что является обыч…
17 мар '16 в 00:09
0
ответов
Свинья не может сохранить данные в таблице HIVE с помощью HCAT
Свинья не может сохранить данные в таблице HIVE с помощью HCatStorer(), когда в той же таблице содержится 998/999 файлов. Когда я объединяю все эти файлы в один, ОШИБКА исчезает и снова появляется, когда число файлов достигает 998/999. Я просто испо…
09 дек '16 в 09:48
1
ответ
HCatalog уведомления на HDInsight
Я пытаюсь включить уведомления HCatalog в кластере HDInsight, чтобы отслеживать изменения метаданных. У меня есть брокер ActiveMQ, работающий на обоих моих головных узлах. Он работает, так как я смог подписаться на него и получать уведомления, котор…
19 апр '18 в 14:02
0
ответов
Как указать формат файла хранения как ORCFile с использованием HCatalog?
HCatalog поддерживает формат RCFile, текстовые файлы, файлы SequenceFiles или ORC в соответствии с документацией. Я не могу найти подробную информацию о том, как указать тип хранения в HCatalog как ORCFiles.
01 апр '14 в 23:20
1
ответ
Динамический раздел с импортом Sqoop
В документации sqoop говорится, что Sqoop можно использовать для импорта данных в Hive с динамическим разделом. Но не удалось найти никакого примера для этого. Кто-нибудь пробовал это. Функция Sqoop HCatalog поддерживает следующие типы таблиц: Нерас…
08 авг '15 в 19:53
1
ответ
В каком формате и как мне импортировать строки JSON, такие как данные, в hadoop?
Я много читал о форматах данных для hadoop и в настоящее время, похоже, понимаю, что в зависимости от используемого вами пакета наиболее продвинутые форматы - ORC (хорошо поддерживается в Hortonworks) или Parquet (хорошо поддерживается в Cloudera). …
15 апр '15 в 20:19
1
ответ
Проблема куста Hcatalog java.lang.IllegalArgumentException: URI: не имеет схемы
Привет, я пытаюсь сделать этот пример hcatalog по следующей ссылке. http://www.cloudera.com/content/cloudera/en/documentation/cdh4/v4-2-0/CDH4-Installation-Guide/cdh4ig_topic_19_6.html я получаю следующее исключение при запуске задания. java.lang.Il…
03 ноя '14 в 10:01
1
ответ
Запись в несколько схем HCatalog в одном редукторе?
У меня есть набор потоков Hadoop, которые были написаны до того, как мы начали использовать Hive. Когда мы добавили Hive, мы настроили файлы данных как внешние таблицы. Теперь мы думаем о переписывании потоков для вывода их результатов с использован…
13 дек '13 в 22:40
0
ответов
Simple Producer Consumer, используемый для отправки уведомлений о разделах с помощью HCATALOG
Я не могу получать уведомления, используя HCATALOG, используя JMS. Я написал простую продюсерскую потребительскую программу. Служба Apache MQ работает в фоновом режиме. Я могу отправлять простые текстовые сообщения, используя ApacheMQ. Но "markParti…
27 ноя '14 в 06:10
0
ответов
Hive аутентификация LDAP для JDBC и HCatalog
У меня есть приложение Java/ Groovy для работы с Hive над ldap (активный каталог). В этом приложении есть два способа работы с Hive: jdbc и hcatalog (HCatWriter, HCatReader). Я могу получить соединение JDBC (org.apache.hive.jdbc.HiveConnection) на к…
16 апр '18 в 20:07
2
ответа
Sqoop инкрементальный экспорт с использованием hcatalog?
Есть ли способ использовать sqoop для последовательного экспорта? Я использую интеграцию Hcatalog для sqoop. Я пытался использовать параметры --last-value, --check-column, которые используются для пошагового импорта, но sqoop дал мне ошибку, что эти…
19 апр '16 в 18:50
0
ответов
Как я могу найти все базы данных и таблицы, используя hcat?
У меня есть задача найти все схемы и таблицы, используя hcat. Я могу найти все схемы с: hcat -e 'show schemas' Я могу найти каждую таблицу с: hcat -e 'show tables in Schema_1' но я не могу понять, как один запрос, который делает оба. Я провел 2 часа…
04 фев '19 в 23:33
1
ответ
Mapreduce с интеграцией HCATALOG с oozie в MAPR
Я написал программу mapreduce, которая считывает данные из таблицы улья с помощью HCATLOG и записывает в HBase. Это работа только на карте без редукторов. Я запустил программу из командной строки, и она работает, как и ожидалось (Создан толстый JAR,…
10 июл '15 в 17:56
1
ответ
Доступ к таблицам из HIve с использованием Hcatalog REST
Я установил Hcatalog с CDH4 (на 64-битной Ubuntu 12.04) и сейчас пытаюсь получить доступ к информации таблицы с помощью REST Я перезапустил webhcat-сервер service webhcat-server restart, Затем я выполнил это в терминале, curl http://localhost:50111/…
05 июл '13 в 08:32
1
ответ
Определение внешней таблицы Hive поверх существующей таблицы HBase
Существует пустая таблица HBase с двумя семействами столбцов: create 'emp', 'personal_data', 'professional_data' Теперь я пытаюсь сопоставить с ней внешнюю таблицу Hive, в которой, естественно, есть несколько столбцов: CREATE EXTERNAL TABLE emp(id i…
12 окт '16 в 08:20