Описание тега kiba-etl

Вопросы с тегом
2 ответа

Преобразование таблицы в хэш наборов с использованием Kiba-ETL

Я занят работой через конвейер ETL, но для этой конкретной проблемы мне нужно взять таблицу данных и превратить каждый столбец в набор, то есть в уникальный массив. Я изо всех сил пытаюсь обернуть голову, как бы я достиг этого в рамках Киба. Вот сут…
22 мар '18 в 07:27
1 ответ

Сохранение и загрузка конвейера etl из базы данных

Моя текущая задача - создать приложение rails, в котором пользователи могут создавать соединения из rdbms (для mysql, pg и т. Д.) И s3 (для csv и json). Пользователь может добавить работу etl. Задание etl может иметь несколько конвейеров в будущем, …
17 янв '18 в 02:31
1 ответ

Я могу запустить работу Kiba внутри службы рельсов?

Я выполняю задание kiba из службы rails, которая вызывается из контроллера. Вот текущий код. class KibaRunner attr_reader :job,:logger def initialize(job) @job = job @logger = Rails.logger end def run logger.info "Running job" Kiba.run(kiba_job) tru…
25 янв '18 в 05:42
1 ответ

Изменить диапазон строк после применения преобразований

Изменить диапазон строк после применения преобразований Я хочу написать преобразование Киба, которое позволяет мне вставлять ту же информацию для определенного числа строк. В этом случае у меня есть файл xls, который содержит подзаголовки, и эти под…
27 фев '17 в 22:46
1 ответ

Tmdb::InvalidApiKeyError (Tmdb::InvalidApiKeyError)

Когда я использую Kiba ELT, я следовал инструкциям на YouTube, а также инструкциям, предоставленным владельцем. Тем не менее, я получаю эту ошибку: bitlasoft@Bitlasoft-TS-22:~/test01$ bundle exec kiba movies.etl { "title: Blade Runner" => "title:…
14 ноя '16 в 12:46
1 ответ

Лучшее место для проверки заголовков CSV-файла в kiba ETL

Мне нужно проверить, что: строка заголовка присутствует заголовок содержит специфический набор заголовков Какое лучшее место для этого. У меня есть какое-то возможное решение, но я не знаю более идиоматического Проверьте перед запуском полного ETL д…
12 фев '19 в 09:32
2 ответа

Как передать параметры в вашу работу ETL?

Я строю ETL, который будет работать на разных источниках, с помощью переменной. Как я могу выполнить свою работу (задание по рейку) Kiba.run(Kiba.parse(IO.read(etl_file),etl_file)) и передать параметры для моего etl_file чтобы потом использовать для…
05 окт '15 в 23:56
1 ответ

Как выполнить преобразование агрегации в скрипте kiba etl (gem kiba)?

Я хочу написать сценарий Kiba Etl, который имеет источник из CSV в CSV-адресат со списком правил преобразования, среди которых 2-й преобразователь является агрегацией, в которой выполняется операция выбора имени, суммы (евро) по имени Kiba ETL Scrip…
30 июн '15 в 18:26
0 ответов

Передать параметры в метод Kiba run

Я пытаюсь использовать что-то похожее на код, который используется для KIBA Cli программно, как... filename = './path/to/script.rb' script_content = IO.read(filename) job_definition = Kiba.parse(script_content, filename) Kiba.run(job_definition) # &…
10 июл '15 в 03:42
1 ответ

Kiba-etl Mutliple Transformation-Multiple Destination

Я пытаюсь провести многократное преобразование, распространяя его по нескольким адресатам. например: orginal.csv: title movies1 movies2 movies3 movies4 добавление к.themoviedb и превращается в это better_movies.csv: title movies1=9 movies2=5.5 movie…
17 ноя '16 в 06:28
1 ответ

Существует ли пример реализации задания Kiba ETL, использующего корзину s3 с файлами csv в качестве источника и место назначения также в корзине s3?

У меня есть CSV-файл в S3, и я хотел преобразовать некоторые столбцы и поместить результат в другой контейнер S3, а иногда и в тот же контейнер, но с другой папкой. Могу ли я достичь этого с помощью Kiba? Я возможно.. мне нужно хранить данные CSV в …
15 янв '18 в 05:24
1 ответ

Могу ли я дублировать строки с помощью Kiba, используя преобразование?

В настоящее время я использую ваш драгоценный камень для преобразования CSV, который был скопирован из базы данных персонала, у которого нет API. Из соскоба я закончил с CSV. Я могу обработать это довольно хорошо, используя ваш драгоценный камень, е…
16 янв '16 в 13:18
2 ответа

Можно ли пропустить загрузку строки, используя гем kiba-etl?

Есть ли способ пропустить загрузку определенных строк, если я считаю строку недопустимой с помощью гема kiba-etl? Например, если существует проверка, которую необходимо пройти, прежде чем я загрузю ее в систему, или возникнут ошибки, и мне все еще н…
01 окт '15 в 16:36
1 ответ

Можно ли сделать поиск с помощью Kiba

Можно ли сделать "Поиск" с Кибой. Так как это вполне нормальный процесс в etl. Не могли бы вы показать демо, если да, спасибо.
23 ноя '15 в 04:01
0 ответов

Поток ETL для получения данных от удаленного сервиса, преобразования его в локальную модель ORM, а затем для установления отношений?

Недавно я настроил свой первый поток "etl" для получения данных из удаленного сервиса, изменил их, чтобы они соответствовали моим локальным моделям, а затем сохранил их. Теперь, когда я закончил, это кажется довольно гротескным по нескольким причина…
06 окт '15 в 06:43
3 ответа

ETL в CSV-файлы, разделить, а затем подтолкнуть к s3, чтобы быть использованными в красном смещении

Просто начав с Кибы, я не нашел ничего очевидного, но я мог бы просто направить своего внутреннего ребенка (который ищет свои туфли, глядя в потолок). Я хочу сбросить очень большой стол в Amazon Redshift. Кажется, что самый быстрый способ сделать эт…
15 июн '18 в 01:43
2 ответа

Лучшая практика использования Kiba в качестве пакетного процесса для файлов

Мы хотели бы запустить Kiba как пакетный процесс для серии файлов. Какова была бы наилучшая структура, чтобы задать маску файла, загрузить файлы с FTP, а затем запустить задание ETL для каждого, посылая уведомление об успехе или сбое для каждого фай…
09 сен '16 в 15:41
1 ответ

Киба: "Инкрементная синхронизация" между таблицами

Моя цель состоит в том, чтобы отобразить записи из большой таблицы в таблицу меньшего размера с учетом запроса, основанного на выражении GROUP BY. Я хочу синхронизировать их через Kiba, поэтапно, то есть без перезаписи неизмененных записей. Может ли…
09 янв '16 в 22:54
1 ответ

Использование Kiba: возможно ли определить и запустить два конвейера в одном файле? Использование промежуточного пункта назначения и второго источника

Моя обработка имеет этап "уплотнения" перед дальнейшей обработкой: Источник: необработанные журналы событий / аналитики разных пользователей. Преобразование: вставьте каждую строку в хеш согласно UserID. Назначение / вывод: хэш в памяти, такой как: …
10 окт '17 в 14:21
1 ответ

Как запустить KIBA ETL в рельсовой среде?

Я должен загрузить данные в приложение Spree. Шпрее использует Rails Engines. Во всех примерах используются симпатичные места для печати или CSV, но я хочу использовать модели веселья в пункте назначения, например. SpreeModel.create!(row) Я пытался …
25 сен '15 в 21:20