Как запустить поток с минимальной конфигурацией в мозаике

Question

Я разрабатываю некоторые задания ETL с помощью Mosaic Decisions. Во время выполнения задания он отправляет задание в Spark с использованием конфигураций по умолчанию. Эта конфигурация по умолчанию действительно огромна, и мне это не нужно для разработки (поскольку я использую меньшее количество записей для модульного тестирования во время разработки).

Есть ли способ заставить Mosaic использовать меньше ресурсов Spark для моей разработки? Чтобы я без надобности не блокировал ресурсы кластера?

Answer 1

Да, это возможно. Для этого вам нужно будет создать новую конфигурацию запуска с желаемой конфигурацией ресурсов из персонажа Manager (LTI Mosaic Manager). Затем просто выполните поток с вновь созданной конфигурацией запуска.

Выполните следующие действия, чтобы создать новую конфигурацию запуска:

1. Войти в Mosaic Decisions и в правом верхнем углу нажмите "Проекты", а затем " Manager.

2. В Mosaic Manager, нажми на Runconfig вкладка на левой панели навигации.
3. Нажмите на Add New Configuration. Введите желаемые конфигурации и нажмитеSave.

4. Возвращаться Mosaic Decisions, и выполните желаемый поток с вновь созданной конфигурацией запуска