Описание тега spark-hive

Описание тега Вопросы с тегом
Используется при использовании модуля Spark-Hive или HiveContext
0 ответов

Разделитель поля таблицы Hive не распознается искрой HiveContext

Я создал внешнюю таблицу улья, которая хранится в виде текстового файла, разделенного по дате события. Как мы должны указать конкретный формат CSV при чтении в спарк из таблицы Hive? Окружающая среда 1. 1.Spark 1.5.0 - cdh5.5.1 Using Scala version 2…
25 мар '16 в 08:51
0 ответов

Apache Spark с Hive в Eclipse IDE выдает ошибку привилегии - проблема с базой данных только для чтения

Я пытаюсь протестировать Apache Spark с интеграцией Hive в Eclipse IDE. Это версии каждого проекта - Hadoop 2.7.4, Spark 2.2 и hive-2.3.2 с MySQL 5.7 в Eclipse Mars IDE. Содержимое hive-site.xml, как показано ниже, <property> <name>javax…
08 янв '18 в 11:19
0 ответов

Невозможно прочитать таблицу Hive, используя sparkR submit

Вот мой код: sc <- sparkR.init(master = "local[*]", sparkEnvir = list(spark.driver.memory="8g")) hiveContext <- sparkRHive.init(sc) sqlQuery <- "SELECT * from table ABC" joinSQL <- sql(hiveContext,sqlQuery) Это приводит к ошибке при отпр…
17 сен '18 в 07:05
0 ответов

Spark SQL dataframe.save с partitionBy создает столбец массива

Я пытаюсь сохранить данные из массива данных Spark SQL в куст. Данные, которые должны быть сохранены, должны быть разделены на один из столбцов в кадре данных. Для этого я написал следующий код. val conf = new SparkConf().setAppName("Hive partitioni…
29 сен '16 в 08:54
2 ответа

Выбрать все, кроме определенного столбца в Spark SQL

Я хочу выбрать все столбцы в таблице, кроме StudentAddress, и поэтому я написал следующий запрос: select `(StudentAddress)?+.+` from student; Это дает следующую ошибку в Squirrel Sql клиенте. org.apache.spark.sql.AnalysisException: не удается разреш…
26 апр '17 в 21:01
1 ответ

Spark создает массив полей с тем же ключом

У меня есть таблица улья, которая присутствует поверх контекста искры. Формат таблицы как ниже | key | param1 | Param 2| ------------------------- | A | A11 | A12 | | B | B11 | B12 | | A | A21 | A22 | Я хотел создать DataFrame со схемой val dataSche…
06 янв '17 в 10:17
1 ответ

Apache Spark с ульем

Как я могу читать / записывать данные из / в улей? Нужно ли компилировать искры с профилем улья для взаимодействия с улью? какие maven зависимости требуются для взаимодействия с ульем? я не мог найти документацию по скважине, чтобы следовать шаг за …
13 окт '15 в 07:33
1 ответ

Spark Hive: не удается получить столбец DataFrame

Я пытаюсь с Spark на Улей. В коде я создаю новый DataFrame и заполните его пользовательскими данными, используя HiveContext.createDataFrame метод: JavaSparkContext sc = ...; HiveContext hiveCtx = new HiveContext(sc); StructField f1 = new StructField…
13 мар '17 в 11:22
1 ответ

Как создать внешнюю таблицу Hive без локации?

У меня есть работа spark sql 2.1.1 на кластере пряжи в режиме кластера, где я хочу создать пустую внешнюю таблицу кустов (разделы с расположением будут добавлены на более позднем этапе). CREATE EXTERNAL TABLE IF NOT EXISTS new_table (id BIGINT, Star…
31 май '17 в 08:23
3 ответа

Как установить hive.metastore.warehouse.dir в HiveContext?

Я пытаюсь написать пример модульного теста, который опирается на DataFrame.saveAsTable() (так как он поддерживается файловой системой). Я указываю параметр хранилища улья на локальный диск: sql.sql(s"SET hive.metastore.warehouse.dir=file:///home/myu…
28 май '15 в 22:30
3 ответа

Создание внешней таблицы в Hive из Spark

Я получаю сообщение об ошибке ниже при попытке создать внешнюю таблицу в Hive из Spark и сохранить содержимое. The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw-rw-rw- Я даже попытался установить разрешение для …
15 апр '16 в 16:33
2 ответа

Spark sql saveAsTable создать режим добавления таблицы, если новый столбец добавлен в схему avro

Я использую Spark SQL DataSet для записи данных в улей. Он работает отлично, если схема такая же, но если я изменяю схему avro, добавляя новый столбец между ними, он показывает ошибку (схема предоставляется из реестра схемы) Error running job stream…
22 фев '18 в 09:19
0 ответов

Как я могу обновить или удалить записи таблицы улья из spark, не загружая всю таблицу в dataframe?

У меня есть таблица орков кустов с около 2 миллионами записей, в настоящее время для обновления или удаления я загружаю всю таблицу в информационный кадр, а затем обновляю и сохраняю как новый информационный кадр и сохраняю его в режиме перезаписи (…
06 янв '16 в 13:39
2 ответа

Невозможно просмотреть данные таблиц улья после обновления в спарке

Случай: у меня есть таблица HiveTest, которая представляет собой таблицу ORC, и транзакция установлена ​​в true и загружена в оболочку spark и просмотренные данные. var rdd= objHiveContext.sql("select * from HiveTest") rdd.show() --- Возможность про…
07 янв '16 в 17:31
1 ответ

Выполнение зависимых запросов с SparkSQL с использованием Spark Session

У нас есть 3 запроса, которые в настоящее время работают на HIVE. Использование Spark 2.1.0 Мы пытаемся выполнить это с использованием Spark SQL, но с помощью SparkSession(например, обтекание кодом Scala, создание Jar-файла, а затем отправка с испол…
15 ноя '17 в 22:30
0 ответов

GenericUDF улья выполнить дважды на Spark

Здравствуйте, я столкнулся с некоторой проблемой с созданием genericUDF улья и зарегистрироваться как временная функция, но когда я вызываю его, его вызов дважды, см. Код, приведенный ниже я создаю genericUDF со следующим кодом class GenUDF extends …
11 апр '16 в 08:34
1 ответ

Искра с пользовательскими привязками улья

Как я могу создать искру с текущими (улей 2.1) привязками вместо 1.2? http://spark.apache.org/docs/latest/building-spark.html Не упоминается, как это работает. Хорошо ли работает свеча с ульем 2.x?
10 авг '16 в 13:09
1 ответ

Объект HiveContext в пакете куст не доступен в пакете

Привет, кодеры, я снова вернулся. Я пытаюсь создать таблицу кустов из фрейма данных, используя контекст HIve в моем коде Scala, я могу сделать это в sqlContext, но когда дело доходит до HiveContext, он выдает эту ошибку [error] /home/mapr/avroProjec…
21 дек '16 в 05:29
2 ответа

Соединяющий улей от искры в интеллидж

Я пытаюсь подключиться к удаленному кусту изнутри моей искровой программы в Intellij, установленной на локальной машине. Я поместил конфигурационные файлы кластера hadoop на локальный компьютер и настроил переменные среды HADOOP_CONF_DIR в Intellij,…
14 фев '18 в 14:16
1 ответ

HiveOnSpark для Cloudera Manager 5.15 или 6.0?

Похоже, что HiveOnSpark не поддерживается в Cloudera Manager. https://www.cloudera.com/documentation/spark2/latest/topics/spark2_known_issues.html Хотя я заметил, что кто-то говорит, что Hive версии 2.2.0 поддерживает Spark 2.x. Можем ли мы действит…
10 сен '18 в 02:04