apache nifi S3 PutObject застрял
Извините, если это глупый вопрос, очень новый для nifi.
Настроить группу процессов для выгрузки запросов sql в CSV и затем загрузить их на S3. Хорошо работал с небольшими запросами, но, похоже, застрял с большими файлами. 
Ограничение входной очереди для процессора PutS3Object составляет 1 ГБ, но размер файла, который он пытается поместить, составляет почти 2 ГБ. Я установил параметры составной части в процессоре S3 на 100M, но он все еще застрял.
Итак, моя теория заключается в том, что S3PutObject требуется полный файл, прежде чем он начнет загрузку. Это правильно? Нет ли способа загрузить его в потоковом режиме? Или мне просто нужно увеличить размер входной очереди?
Или я на неправильном пути, и есть что-то еще, что сдерживает все это.
1 ответ
На снимке экрана показано, что большой файл находится во входной очереди PutS3Object, и над ним активно работает PutS3Object (из индикатора 1 потока в правом верхнем углу блока процессора).
Как оказалось, ошибок не было, только задержка обработки большого файла.