Скачать большой набор данных через ascp - Human Microbiome Project
Я задал этот вопрос в другом месте ( https://www.biostars.org/p/281809/), но я думаю, что он также подходит здесь, так как я думаю, что моя проблема связана с пониманием того, как работает большое хранилище данных на онлайн-сервере. Я пытаюсь загрузить большие данные из проекта "Микробиом человека". Они доступны на онлайн-сервере и могут быть загружены через aspera (ascp).
Я не могу найти правильный путь для получения данных. На своем веб-сайте ( https://www.hmpdacc.org/hmp/resources/download.php) они приводят пример команды для получения примера набора данных:
ascp -l 100M -QT user@aspera.hmpdacc.org:/ReferenceGenomes/test_genome.tar /path/to/local/directory
Я выполнил это, используя свое собственное имя пользователя, после чего меня попросили ввести пароль, и я могу аутентифицироваться. Но тогда я получаю следующую ошибку:
(Error: Server aborted session: No such file or directory)
Затем я загрузил файл манифеста через портал HMP. В этом манифесте они указывают путь, по которому эти файлы должны быть доступны. Я попытался снова выполнить команду с одним из этих путей, предоставленных файлом манифеста:
ascp -l 100M -QT user@aspera.hmpdacc.org:/files/5a950f27980b5d93e4c16da124000378 /path/to/local/directory
Я снова получаю ту же ошибку "Нет такого файла или каталога".
Полный URL-адрес, предоставленный файлом манифеста, выглядит следующим образом:
http://downloads.hmpdacc.org/data2/hhs/genome/microbiome/wgs/analysis/hmwgsqc/v2/SRS013951.tar.bz2
Я попытался поместить разные куски этого адреса в команду ascp, но ничего не работает. Я думаю, что есть кое-что, чего я не понимаю, о том, как получить доступ к серверу через aspera и что ожидается на этом пути. Когда я копирую, вставляю этот URL в Google, это напрямую загружает файл, который я хочу. Так что я близок, но мне нужно сделать это через командную строку, так как мне нужно скачать сотни этих файлов, и они огромные (6-10 ГБ каждый).
Спасибо, Камилла.