проверка ссылки получает статус плохой результат
У нас есть некоторые ресурсы, которые содержат ссылки на внешние сайты. Однако мы хотим избежать неработающих ссылок и реализовали процедуру ping, написанную на c# .net6.
Мы перебираем все ссылки и делаем запросы HEAD и GET с помощью HttpClient. Большинство сайтов возвращают OK200, но некоторые возвращают неправильный запрос, запрещенный и т.д. Но если мы проверим ссылку в браузере, сайт/ссылка работает должным образом.
Если мы получаем 404, мы помечаем ссылку как мертвую, и кто-то должен сделать что-то вручную и обновить ссылку. Мы добавили пользовательский агент в httpclient.
Как мы можем избежать плохих запросов, возвращаемых httpclient?