Обычная регистрация в Talend
Я пытался реализовать вход в Talend. Таким образом, я выполнил работу, используя обычные компоненты, я записал ошибку, информацию и отладку через Twarn и Tdie. Используя Logcatcher, я разделяю журнал на два файла отладки и ошибки. Эта часть работает нормально.
Теперь я сделал две работы,
Во-первых:- Используя генерацию линий trowgenerator, затем отправку в tmap и из tmap, я отправляю двум компонентам twarn, основываясь на каком-то условии.
Второе:- задание, в котором есть tlogcatcher, t_filterrow и разделение на два файла в зависимости от некоторых условий.
Таким образом, я выполняю второе задание параллельно с первым заданием для захвата журналов, но оно не работает.
Я перепробовал несколько вариантов и застрял на этом этапе.
Основная идея заключается в том, чтобы иметь общий компонент ведения журналов, который можно подключить к любому заданию для журналов.
Есть ли способы, которыми это может быть достигнуто?
3 ответа
Вот 3 способа, которые появились:
log4j: в корпоративную версию встроен log4j, что означает, что вы можете установить уровень отладки в tWarn / tDie и настроить log4j для помещения их в разные файлы. (При его использовании я обнаружил, что лучше всего иметь предупреждения в качестве своего собственного журнала уровня информации, поскольку уровень информации talends слишком глубок.) Я уверен, что log4j также может быть "взломан" в открытой студии. Это решило бы вашу проблему. https://exchange.talend.com/ имеет много результатов при поиске log4j, вы должны посмотреть.
Joblet: Если вы предпочитаете ваш текущий путь, я вижу 2 варианта для вас. Во-первых, попытайтесь создать кубок, однако использование одного и того же файла из нескольких заданий не является хорошей идеей и, вероятно, приводит к ошибкам. Это не очень хорошее решение, но оно может сработать, если мы поговорим только об одной работе, для которой нужно создать 2 файла.
Ведение журнала на уровне проекта: вы можете попытаться включить ведение журнала на уровне проекта, но при этом все файлы будут записаны. Это в основном означает перенаправление вывода logcatcher в файл. Это 1 файл, а не 2, но, по крайней мере, это работает. https://help.talend.com/display/TalendOpenStudioforBigDataUserGuide520EN/2.6+Customizing+project+settings (Stats & Logs)
Там действительно нет хорошего решения того, что вам нужно.
Talend имеет встроенную возможность ведения журналов и очень прост в настройке. Шаг 1: создать базу данных AMC. Шаг 2. Установите свойства уровня проекта для ведения журнала. Шаг 3. Проверьте базу данных AMC на наличие логов. Все ошибки и предупреждения будут зарегистрированы. Необязательный шаг 4: создание отчетов на основе данных регистрации в базе данных AMC.
Вы можете войти в файл вместо базы данных, но запись в базу данных позволяет более надежный запрос и отчетность. Также, если вы выполняете задания вне TAC, вы можете присоединить AMC к базе данных TAC для некоторых действительно полезных отчетов о ваших заданиях.
Вы можете войти:
- Ошибки и предупреждения
- Статистика (продолжительность работы)
- FlowMeter (метрика потока данных)
На экране 1 показана настройка проекта в Talend Studio
На экране 2 показан запрос из таблицы AMC db, log. Обратите внимание, что есть две другие таблицы, одна для статистики, а другая для потока. Также обратите внимание, что в выбранной строке есть сообщение от tWarn.
Спасибо всем за расширенную поддержку. Я смог достичь того, чего пытался достичь.
Я создал стандартную работу, которая дает журналы twarn и tdie. Затем у меня есть работа, которая ловит логи и распределяет логи на основе ошибок или информации / отладки.