Как создать инструмент, такой как BuiltWith?
Я работал с инструктором в моем университете и пытался создать инструмент, похожий на BuiltWith на Python, для определения технологий, используемых сайтом, и создания отчетов (для просмотра полных отчетов на BuiltWith у вас должна быть платная учетная запись). Я написал сканер и могу получить HTML для веб-сайта, но я могу определить очень мало полезной информации из HTML, например, какой сервер использует сайт и какой тип кодировки использует сайт (например, UTF8), И все мои поиски в Интернете указывают мне на такие инструменты, как BuiltWith. В конце концов, он не должен быть таким подробным, как BuiltWith, но мне нужно иметь возможность определить, по крайней мере, некоторые из основных технологий, такие как: какие платформы, аналитика и отслеживание, реклама, электронная коммерция и т. Д. Любая помощь будет очень цениться.
1 ответ
Это не тривиальная задача. Вам необходимо создать собственную "базу данных об отпечатках пальцев", которая будет включать в себя отпечатки пальцев для каждой инфраструктуры / службы / того, что вы хотите обнаружить. Отпечатки пальцев должны содержать информацию о таких факторах, как HTTP-заголовки, SSL-сертификаты, открытые порты, http-контент, dns-записи, mx-записи и так далее. Используя эти отпечатки пальцев, вы можете определить используемые технологии на сайте.
Kali Linux имеет несколько инструментов сканирования, которые имеют эту функцию (обнаружение с использованием технологий), найти их в разделе "Инструменты сбора".
Один из инструментов вызова Дмитрия. Вот оно: https://tools.kali.org/information-gathering/dmitry