Описание тега user-defined-aggregate

Вопросы с тегом
1 ответ

Spark Scala: определенная пользователем агрегатная функция, которая вычисляет медиану

Я пытаюсь найти способ рассчитать медиану для данного кадра данных. val df = sc.parallelize(Seq(("a",1.0),("a",2.0),("a",3.0),("b",6.0), ("b", 8.0))).toDF("col1", "col2") +----+----+ |col1|col2| +----+----+ | a| 1.0| | a| 2.0| | a| 3.0| | b| 6.0| | …
02 июн '16 в 11:12
1 ответ

Почему scala WrappedArray[Int](null,null) возвращает 0 при применении, что случилось?

Работая в функции sparkSql UDAF, я обнаружил, что некоторые из моих входных столбцов неожиданно обнуляются. С некоторой практикой REPL выясняется, что поведение scala 2.10.5. код, как показано ниже import scala.collection.mutable val wa = mutable.Wr…
12 июн '18 в 17:48
1 ответ

Вывод нескольких столбцов в UDAF Spark

Я получаю некоторые данные от моего mongodb, который выглядит так: +------+-------+ | view | data | +------+-------+ | xx | *** | | yy | *** | | xx | *** | +------+-------+ Нет необходимости знать, что внутри. Я написал UserDefinedAggregateFunction,…
12 мар '17 в 15:21
1 ответ

Вычислить разницу между датой и предыдущей датой

У меня есть следующий Dataframe: ---------+--------+----------+-----------+--------------------+--------------------+-------+-----+------------ | id|groupid|| field| oldstring| newstring| created| pkey| project +-------+-------+---------+-----------…
11 июн '18 в 13:56
0 ответов

Пользовательская агрегатная функция mariadb

Я использую mariadb 10.3.9, и создал пользовательскую статистическую функцию (UDAF) и помещен в common_schema. Эта схема содержит мои служебные функции, которые будут использоваться другими схемами / базами данных на том же сервере. Проблема в том, …
01 окт '18 в 07:21
2 ответа

Сообщение 6558: сбой CREATE AGGREGATE, так как тип 'Concatenate' не соответствует спецификации UDAGG

Я создал сборку SQLCLR и добавил ее, когда запускаю команду T-SQL: CREATE AGGREGATE Concat (@input nvarchar(max)) RETURNS nvarchar(max) EXTERNAL NAME Sql_ClrAggregates.Concatenate; Я получаю ошибку: Сообщение 6558, уровень 16, состояние 1, строка 1 …
26 июн '15 в 08:29
1 ответ

Может ли каждый Spark UDAF использоваться с Window?

Я всегда думал, что Spark не позволяет определять User-Defined-Window-Functions. Я только что протестировал пример UDAF "Среднее геометрическое" отсюда ( https://docs.databricks.com/spark/latest/spark-sql/udaf-scala.html) как оконную функцию, и, пох…
14 фев '18 в 19:46
1 ответ

Улей UDF с параметрами

Я хочу написать пользовательский UDF (UDAF/UDTF), который может принимать постоянный параметр. Например, я хочу написать функцию MAX(COL, i), где COL - это коллекция значений, чтобы найти максимальное значение, а i - это позиция (т.е. i = 1, найти с…
22 июн '14 в 16:14
2 ответа

Пользовательский агрегат SQLCLR с несколькими параметрами sql_variant

Hy, У меня есть вопрос о пользовательских агрегатах CLR несколько месяцев назад на этом посте. Это работает как шарм. Но сейчас я бы хотел использовать совершенно одинаковые функции с двумя параметрами типа sql_variant. Как и в моем предыдущем посте…
28 авг '15 в 09:08
1 ответ

Когда происходит слияние в пользовательских определяющих функциях UDAF в Spark?

Я хочу знать, при каких обстоятельствах Spark будет выполнять слияние как часть функции UDAF. Мотивация: я использую множество функций UDAF над окном в моем проекте Spark. Часто я хочу ответить на такой вопрос: Сколько раз транзакция по кредитной ка…
18 дек '17 в 10:11
1 ответ

Невозможно передать нулевое значение в пользовательский агрегат

После полудня, Я пишу пользовательскую медианную функцию (не глядя на существующие решения, мне нравится вызов), после долгих хлопот я в большинстве своем. Однако я не могу передать столбец, который содержит нулевое значение. Я обращаюсь с этим в ко…
18 июл '17 в 13:31
1 ответ

Агрегаты в PostgreSQL

Напишите агрегат, чтобы подсчитать, сколько раз число 40 видно в столбце. Используйте свой агрегат, чтобы подсчитать количество 40-летних в таблице каталогов. Это то, что я делал: Create function aggstep(curr int) returns int as $$ begin return curr…
04 дек '18 в 19:12
2 ответа

Определяемый пользователем агрегат в SQL Server 2008 - как выполнить развертывание с MaxByteSize = -1?

Я читал здесь (и в других местах), что в SQL Server 2008 возможно создать определяемый пользователем агрегат, который может возвращать строку длиной более 8000 символов. Это именно то, что мне нужно. Предположительно, метод должен установить maxByte…
07 мар '09 в 17:58
2 ответа

Пользовательский агрегат SQLCLR с несколькими параметрами

У меня проблемы с пониманием того, как работают пользовательские агрегаты CLR. Я должен создать несколько пользовательских агрегатов CLR с несколькими параметрами. Дело в том, чтобы получить значение первого параметра в зависимости от второго. Напри…
07 июл '15 в 16:25
1 ответ

Прямые аргументы в пользовательских агрегатных функциях PostgreSQL

Я создаю пользовательскую статистическую функцию, которая нуждается в дополнительном параметре. Точнее, это кумулятивный минимум (он же окно), который принимает в качестве второго параметра интервал времени, определяющий окно. Поскольку функция агре…
10 янв '18 в 14:36
2 ответа

Пользовательский агрегат SQL Server возвращает ошибку, если агрегирует 0 строк

У меня есть этот пользовательский агрегат SQL Server: [SqlUserDefinedAggregate(Format.UserDefined, Name="median", IsInvariantToDuplicates=false, IsInvariantToNulls=true, IsInvariantToOrder=true, IsNullIfEmpty=true, MaxByteSize=8000)] public class Me…
28 дек '09 в 11:58
1 ответ

Несоответствие типов генериков Spark UDAF

Я пытаюсь создать UDAF на Spark (2.0.1, Scala 2.11), как показано ниже. Это по существу агрегирует кортежи и выводит Map import org.apache.spark.sql.expressions._ import org.apache.spark.sql.types._ import org.apache.spark.sql.functions.udf import o…
28 сен '17 в 16:59
1 ответ

Неверный результат пользовательского агрегата в SQL Server

Я пытался создать пользовательские агрегатные функции в SQL Server. Я наконец получил это работает (написал сборку в C#). Цель состоит в том, чтобы объединить все строки в группе, но в результате получается пустая строка. Вот мой класс в C#: [SqlUse…
26 дек '17 в 14:21
1 ответ

Почему изменяемая карта становится неизменяемой автоматически в UserDefinedAggregateFunction(UDAF) в Spark

Я пытаюсь определить UserDefinedAggregateFunction(UDAF) в Spark, который подсчитывает количество вхождений для каждого уникального значения в столбце группы. Это пример: предположим, у меня есть датафрейм df как это, +----+----+ |col1|col2| +----+--…
14 апр '16 в 17:23
1 ответ

Ошибка округления с расширением SQL CLR (определяемый пользователем агрегат)

Я пишу несколько пользовательских расширений.Net для SQL Server 2008. Одним из них является определенный пользователем агрегат, который должен агрегировать набор десятичных чисел в десятичное значение. Чтобы сузить мою проблему, я использую простую …
27 фев '11 в 13:25