Описание тега hive-udf
Пожалуйста, используйте этот тег для определяемых пользователем функций (UDF) для apache hive.
2
ответа
Как кусты udf, udaf, udtfs, написанные на java, отлажены в ide как eclipse?
Например, для отладки UDF свиней это работает: http://ben-tech.blogspot.ie/2011/08/how-to-debug-pig-udfs-in-eclipse.html У меня есть скрипт улья, в котором я использую свой udaf, который не работает, поэтому я хотел бы пройтись по коду udf.
09 май '16 в 09:42
0
ответов
Hive - внутри функции UDF можно получить доступ к данным таблицы Hive.
Я создал образец TestUDF. import org.apache.hadoop.hive.ql.exec.Description; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.*; @Description ( name="test", value="returns the sum of two double values", extended="SELECT test(a,…
27 июн '18 в 01:44
0
ответов
Вызов существующего UDF Java/Hive в SparkContext без использования HiveContext в приложении Spark-SQL
У меня Spark 1.5.0 работает на кластере. Я хочу использовать Hive UDF из API ESRI. Я могу использовать эти API в Spark Application, но из-за некоторых проблем в моем кластере я не могу использовать HiveContext. Я хочу использовать UDF Exive Hive в п…
27 янв '17 в 17:38
0
ответов
Класс Hive UDF становится экземпляром для каждого вызова функции
Я создал UDF-класс One Hive и зарегистрировал его функцию в Spark. В запросе улья внутри объекта сеанса искры я вызываю эту функцию. Теперь, когда я запускаю свой код, я наблюдаю каждый раз, когда вызываемая функция создает новый экземпляр класса UD…
31 июл '18 в 09:14
1
ответ
Написание UDF на Python с использованием ошибки Pandas
Мы пытаемся написать UDF-файлы Hive на Python для очистки данных. UDF, который мы пробовали, использовал Pandas, и он выдает ошибку. Когда мы пытаемся использовать другой код Python без панд, он работает нормально. Пожалуйста, помогите понять пробле…
20 дек '18 в 07:26
1
ответ
Ошибка в моем HiveUDF
Я пытаюсь написать Hive UDF, который проверяет столбец в таблице Hive и объединяет строку с ним. Моя таблица Hive - схема и данные cityTab: Schema: id int name char(30) rank int Data: 1 NewYork 10 2 Amsterdam 30 Я написал следующий Hive UDF: public …
31 мар '17 в 04:42
2
ответа
Выбрать все столбцы структуры улья
У меня есть требование выбрать * из всех столбцов в структуре улья. Скрипт создания таблицы Hive здесь Скрипт создания таблицы Select * из таблицы отображает каждую структуру в виде столбца select * from table Требование, которое я имею, состоит в т…
16 мар '17 в 22:54
0
ответов
Alter Hive Внешний вывод таблицы с массивом<string> для поддержки csv-файла, совместимого с postgresql
Я изо всех сил пытаюсь создать формат tsv, совместимый с postgresql, имеющий массив как тип столбца hive, используя hive sql, имеющий определение внешней таблицы. С Hive я могу указать использовать разделитель /collection-item-Termination для записи…
05 мар '15 в 13:49
1
ответ
Инициализированный метод GenericUDF вызывается несколько раз
У меня есть HiveUDF, который расширяет GenericUDF, когда я вызываю udf через spark.sql, я получаю правильные результаты, но инициализированный метод вызывается несколько раз. Не можете понять, почему это происходит?
22 ноя '17 в 10:00
1
ответ
HiveUDF + saxon 9.1.0.8 + Java8 = не удалось создать XPathFactory
Моя работа Spark с HiveContext и Saxon работает нормально, если в коде не определены UDF. В случае реализации UDF - инициализация HiveContext завершилась ошибкой. Я слышал, что в saxon 9.5.1.5 решена проблема с несовместимостью saxon \ java8, котора…
17 ноя '16 в 11:57
0
ответов
Шаблон Java-кода Hive GenericUDF, необходимый для функции, принимающей строку и возвращающей Map<Character, Integer>
Я пытаюсь написать GenericUDF для Hive. Когда я добавляю JAR и пытаюсь создать временную функцию, указывающую на класс, я получаю сообщение об ошибке, поэтому создание функции не удается. Может ли кто-нибудь предоставить шаблон кода Java для функции…
21 июл '16 в 10:29
0
ответов
В любом случае интегрировать stanfordCoreNLP с UDF HIVE?
Я пытаюсь добавить StanfordCorenlp в hive udf, чтобы пометить китайские предложения. Но всегда встречайте исключение OutOfMemory. Какие-либо предложения? Также думаю об использовании Spark для тяжелой обработки, но не могу настроить китайские модели…
11 фев '18 в 07:25
1
ответ
Как писать ульи UDFs
Я так запутался с тем, как использовать UDFS. Можно ли заменить приведенные ниже функции сценария bash на UDF? #!/bin/bash src_count_q="use db;select count(*) from config_table where table_nm="test_source";" src_count=$(hive -e $src_count_q) trg_cou…
09 апр '16 в 22:48
2
ответа
Как читать переменные hive conf в методе инициализации UDF
Я пытаюсь прочитать переменную hive conf в методе initialize, но не работает, любое предложение, плз? Мой класс UDF: public class MyUDF extends GenericUDTF { MapredContext _mapredContext; @Override public void configure(MapredContext mapredContext) …
29 фев '16 в 08:16
0
ответов
Hive Python UDF
Я использую этот скрипт Python UDF: import sys import collections import datetime import re try: for line in sys.stdin: line=line.strip() number,sd=line.split('\t') sd=sd.lower() sd=sd.split(' ') new_sd_list=collections.OrderedDict(collections.Count…
04 сен '17 в 06:37
1
ответ
Найти медиану в искровом SQL для нескольких столбцов с двойным типом данных
У меня есть требование найти медиану для нескольких столбцов с двойным типом данных. Запросить предложение, чтобы найти правильный подход. Ниже приведен мой пример набора данных с одним столбцом. Я ожидаю, что значение медианы будет возвращено как 1…
30 дек '16 в 23:38
0
ответов
Решение для "выбора преобразования" для Python UDF в улье
Есть ли способ не включать все столбцы в select transform (), чтобы получить все столбцы в выводе? например: у меня есть столбцы в таблице улья, как: c1, c2, c3, c4, c5, c6, c7, c8, c9, c10 и я выполняю преобразование на столбцах c8, c9, c10 и вывод…
23 янв '17 в 06:30
1
ответ
Есть ли предел запросов для бесплатных баз данных GeoLite2? (Улей UDF)
Я скачал бесплатные базы гео-плитов по ссылке. Я собираюсь использовать его в hive-geo-ip-udf. Обновить: SELECT geoip(host,'COUNTRY_CODE','/home/dhruv/GeoLite2-Country.mmdb') from table_name; Для 64-й записи я получаю FAILED: UnsupportedOperationExc…
16 апр '16 в 07:23
1
ответ
ImportError Python Hive UDF
Я хочу поместить некоторые константы в один файл Python и импортировать его в другой. Я создал два файла, один с константами и один, который импортирует его, и все работает локально: constants.py: CONST = "hi guy" test_constants.py: from constants i…
29 окт '18 в 23:50
0
ответов
Hive UDF включает в себя оператор запроса
Я сталкиваюсь с проблемой при написании некоторых UDF, я искал похожие посты на сайте, но боюсь, у меня пока нет полезных идей. Вопрос в следующем: я собираюсь выполнить инструкцию SQL в UDF, а затем распечатать результат запроса. Вот мой код: publi…
06 июн '16 в 01:39