Проверьте сайт на наличие файлов моего сайта
Существует ли программа, которая сканирует указанный веб-сайт и будет выплевывать, если есть ссылка на другой веб-сайт? У меня есть изображения, видео файлы, PDF и т. Д. что мне нужно дать другому разработчику, чтобы завершить перенос на новый сервер.
Я только что передал старый сайт другому человеку, и они все еще используют мои файлы. Я не знаю, были ли все файлы на 100%, и я хочу быть уверенным, какие файлы мне нужно дать им. Было бы неплохо иметь что-то вроде linkchecker, который может сканировать, и если есть ссылка на корень сайта (например, sub.domain.com), то он будет выдавать информацию об этом (какая страница, какой URL).
Я не хочу блокировать сайт на данный момент от использования файлов, так что нет.
Я на Mac, так что любая терминальная программа будет в порядке.
2 ответа
Вы можете попробовать Sitesucker, который можно использовать для загрузки всех файлов, используемых на сайте (и любых, на которые он ссылается в зависимости от настроек). Это OSX (и iPhone) для пожертвований, так что это может быть именно то, что вы ищете. Я полагаю, что он создает файл журнала файлов, которые он загружает, так что вы можете отправить его, если вы просто хотите отправить URL своему коллеге вместо реальных файлов.
Вы можете проверить wget, Может рекурсивно (-r вариант) скачать сайт и сохранить его содержимое на свой жесткий диск. Обычно (то есть, если не указано иное) загружает все в каталоги, названные как хост.
Но будьте осторожны, чтобы не загружать весь интернет рекурсивно;) Так что не забудьте указать правильный --domains или же --exclude-domains опции.