Утилизация с помощью python: перебор структуры сайта и список возвращаемых файлов
Вот в чем дело: мне нужно просмотреть все страницы веб-сайта, чтобы собрать некоторые данные... но я не знаю структуры имен папок / файлов на веб-сайте.
Есть ли способ сделать запрос веб-сайта и вернуть список имен папок веб-сайта и имен файлов? Тогда я бы использовал это, чтобы пройти через это и так далее...
Я гуглил и искал какие-то указания, как это сделать... Я нахожу много результатов, но ни один из них не близок к тому, что мне нужно.
Буду признателен за любую информацию по этому вопросу... где мне искать эту информацию?
TXS много.