bash: /bin/ls: список аргументов слишком длинный

Question

Мне нужно составить список большого количества файлов (40000 файлов), как показано ниже:

ERR001268_1_100.fastq  ERR001268_2_156.fastq  ERR001753_2_78.fastq
ERR001268_1_101.fastq  ERR001268_2_157.fastq  ERR001753_2_79.fastq
ERR001268_1_102.fastq  ERR001268_2_158.fastq  ERR001753_2_7.fastq
ERR001268_1_103.fastq  ERR001268_2_159.fastq  ERR001753_2_80.fastq

моя команда: ls ERR*_1_*.fastq |sed 's/\.fastq//g'|sort -n > masterlistОднако ошибка: bash: /bin/ls: Argument list too long

Однако я могу решить эту проблему? Любой другой способ сделать список как этот perl/python?

Спасибо

Answer 1

Вы должны быть в состоянии заменить ls ERR*_1_*.fastq с find . -name "ERR*_1_*.fastq",
Таким образом, вы можете избежать превращения подстановочного знака в огромный список аргументов.

(The find вывод будет содержать начальную букву "./", например ./ERR001268_1_100.fastq, Если это нежелательно, вы можете избавиться от него с помощью другого sed Команда позже в конвейере.)

Answer 2

Если все файлы уже существуют в вашем каталоге, модуль python "glob" может иметь более высокий предел, чем командная строка bash.

Из командной строки:

python -c "import glob; print glob.glob('ERR_*_1_*.fastq')"

Чтобы сделать все это в Python, вы можете попробовать что-то вроде этого:

import glob
files = glob.glob("ERR_*_1_*.fastq")
trimmedfiles = [x.replace(".fastq","") for x in files]
trimmedfiles.sort()
for f in trimmedfiles:
    print f

Это решение будет сортировать файлы по алфавиту, а не по номерам. Для этого вы можете захотеть добавить магию key=lambda в метод sort():

trimmedfiles.sort(key=lambda f: int(f.split("_")[2]))

Answer 3

Find может помочь вам - вместо того, чтобы использовать ls find . -name 'yourpatternhere' -print0 | xargs -0 youractionhere

Answer 4

Ты можешь использовать find.

Пример:

find /Users/kunlun/Downloads/fu_neg/ -name "*.png" > 
/Users/kunlun/Downloads/fu_neg.txt