Инструмент для скачивания файлов (включая файлы без прямой ссылки) с сайта?
Я пытался найти решение для загрузки файлов с URL, таких как: https: //.com//. Я узнал о wget и перепробовал довольно много вариантов, но понял, что он не загружает файлы, которые не имеют прямой ссылки в индексном файле или какой-либо другой.
Например, я хотел бы скачать все с https://somesites.com/myfolder/myfiles/.
Допустим, в каталоге "myfiles" есть index.html, а также множество html-файлов и парных каталогов, на которые есть ссылки и ссылки в индексе, а также пара других html-файлов, таких как sample123.html и sample456.html.
Команда wget успешно загружает все файлы, кроме sample123.html и sample456.html с большинством наиболее распространенных и хорошо известных опций.
Существуют ли какие-либо другие инструменты, которые будут захватывать ВСЕ файлы, расположенные по https://somesites.com/myfolder/myfiles/ независимо от наличия или отсутствия прямой ссылки?
Я также пробовал использовать lftp для http URL, но в результате загрузки оказалось гораздо меньше файлов, чем wget.
Я просмотрел переполнение стека для этого, но рекомендуются те команды, которые загружают только файлы с прямой ссылкой (от wget).
1 ответ
То, что вы хотите сделать, не возможно и может быть проблемой безопасности. Представьте, что у кого-то есть, например, файл с некоторыми конфиденциальными данными внутри папки, и этот файл нигде не указан. Вы запрашиваете инструмент, который также загрузит этот файл.
Как уже говорилось, это невозможно, поэтому всегда рекомендуется отключить список каталогов на HTTP-серверах в качестве опции безопасности, чтобы предотвратить именно то, что вы хотите сделать.