Распаковка больших файлов с использованием нескольких компьютеров

Question

Мы имеем дело с извлечением файлов gzip/bzip через Интернет, иногда они занимают несколько гигабайт (например, 15-гигабайтный вики-дамп).

Есть ли способ, которым они могут быть извлечены несколькими компьютерами вместо одного? Возможно, чтение заголовка плюс байты между X и Y каждым узлом в кластере, запись его в общую папку?

Или любой другой способ, который может ускорить этот процесс?

Answer 1

Вы рассматривали возможность использования параллельной альтернативы gzip/bzip?

В сценарии, в котором вы используете bzip, pbzip2 - это параллельная альтернатива, использующая pthreads для ускорения загрузки. Кроме того, параллельной альтернативой gzip является pgzip.