Apache Airflow Local Executor Использование памяти
Описание: у нас есть локальная установка Apache Airflow v1.9 на 4-ядерном компьютере с 16 ГБ ОЗУ, где мы установили параллелизм исполнителя на 1000, но использование памяти работником во время нереста выглядит подозрительно.
Проблема: Поскольку у нас появилось 1000 рабочих процессов, то есть как они размещают все процессы в памяти, так как каждый процесс занимает ~52 МБ памяти, в идеале это должно было вызвать проблемы OutOfMemory, но проблем не было, и все процессы были зарегистрированы. Ниже приведены два скриншота: 1) фрагмент airflow.cfg 2) фрагмент htop. Мы попытались взорвать карту памяти процесса и сохранить ее в файл, используя gdb, и потребовалось около 3,2 МБ, что, по-видимому, является правильным потреблением памяти. Но если это так, почему RES показывает ~52 МБ. Нужно предложение, если ответ htop может вводить в заблуждение.
Скриншоты:
