pydrive [Errno 24] Слишком много открытых файлов - как обойти?
У меня проблемы с использованием pydrive для загрузки папки с большим количеством файлов (около 2000). Я получаю сообщение об ошибке:
[Errno 24] Слишком много открытых файлов
и действительно, глядя на lsof, скрипт python имеет 1024 открытых файловых дескриптора, что кажется пределом. Вывод lsof -p pid выглядит так
python 1344 имя пользователя 1022u IPv4 103326 0t0 TCP 192.168.0.19:53976->ams15s29-in-f1.1e100.net:https (УСТАНОВЛЕНО)
имя пользователя Python 1344 1023u IPv4 103332 0t0 TCP 192.168.0.19:38886->fra02s28-in-f1.1e100.net:https (CLOSE_WAIT)
Файловые дескрипторы изменяются с ESTABLISHED на CLOSE_WAIT (первые 800 или около того - CLOSE_WAIT), но они никогда полностью не "закрываются" (извините, что я не знаю терминологию).
Я гуглил, но увеличить этот лимит не кажется легким (или возможным). (поправьте меня, если я ошибаюсь).
У кого-нибудь есть советы, как обойти этот предел? Невозможно вручную переместить файлы на Google Диске.