Могут ли несколько представлений qsub читать одну и ту же группу файлов?
Я хотел бы использовать bash-скрипт и qsub для одновременного запуска 30-40 программ на python. Каждая программа на Python читает и ищет в одном и том же наборе файлов (всего ~400) набор последовательностей. Есть ли проблема, когда несколько программ на Python могут пытаться читать из одного файла? Если так, каковы последствия?
1 ответ
Решение
Нет проблем с чтением нескольких заданий из одних и тех же файлов, наложенных Torque. (Я думаю, что это утверждение, вероятно, верно для любого менеджера / планировщика ресурсов.)
Главной проблемой, которую я могу себе представить, будет производительность вашей файловой системы и то, сможет ли она справиться с потенциально одновременным доступом к этим файлам.