Перезапустить задание для суперкомпьютера во время выполнения команды для миллионов файлов?

Я использую суперкомпьютер, который использует знаменитый #PBS. У меня 48 часов, а этого недостаточно для обработки миллионов файлов.

Мои имена файлов похожи на:

AAAAAA.pdb 
DAAAAA.pdb 
EAAAAA.pdb 
FAAAAA.pdb 
...

Все возможные буквы: "A D E F G H I K L M N P Q R S T V W Y".

Я хочу использовать такой скрипт:

for file in /dir/*
do
  cmd [option] $file >> results.out
done

Но я должен использовать перезагрузку на время стены. С числами я бы поставил счетчик, но с конкретными буквами я не знаю, как написать последний файл для запуска с этой контрольной точки. Подобно:

if [ -f next.seq ]; then
  seq=`cat next.seq`
else
...
    for file in /dir/seq
    do
      cmd [option] $file >> results.out
    done
...
let seq=seq+1
echo $seq > next.seq

0 ответов

Другие вопросы по тегам