Bingbot вызывает 404 ошибки
Недавно мы наблюдали большое количество 404 ошибок, создаваемых веб-сканером Bing. Я проверил, что IP на самом деле является машиной Bing, но просто не знаю, почему они пытаются использовать URL-адреса, которые они пытаются. Я не хочу использовать файл robots.txt, чтобы просто сказать им вообще не сканировать мой сайт, но в то же время я не хочу, чтобы они продолжали запрашивать страницы, которые не существуют. Есть ли способ сказать, откуда Bing получает конкретный URL? Я пытался найти в Google, используя [link:www.mywebsite.com/pagename/] и ничего не найдено, что наводит меня на мысль, что бот делает что-то, что не должно, а не мой сайт с плохим URL.