Как остановить поисковые системы, такие как Bing/Google, сканировать устаревшее веб-содержимое, которого больше не существует?
Я здесь новичок. Полгода назад я переделал платформу электронной коммерции с Prestashop на WooCommerce. Bing продолжает сканировать и отправлять запросы на устаревшее содержимое на моем веб-сайте 24/7, это серьезно привело к ненужной нагрузке на сервер. На самом деле Googles тоже много сканирует, но не так много, как Bing. Мой веб-сайт занимает высокие позиции по релевантным ключевым словам в Google, но я даже не могу найти свой веб-сайт на первых нескольких страницах в результатах поиска Bing даже с самого начала. Итак, почему Bing продолжает поиск содержимого 404, на которое система уже ответила 404 на Bing?
Изображение отчета 404, спасибо, ребята
Это была полная реконструкция от серверной инфраструктуры к системе. Даже названия продуктов и постоянные ссылки разные. Конечно, новые карты сайта были созданы новыми плагинами и отправлены на консоли веб-мастеров Bing и Google.
В настоящее время Google на самом деле не ищет устаревшее содержимое, по крайней мере, из моих отчетов 404 я не вижу, чтобы бот Google запускал событие 404.
Я знаю, что Bing плохо справляется с поиском, но все же некоторые люди все еще используют Bing, поэтому я действительно не хочу портить Bing (который уже работает прямо сейчас).
Могу ли я сделать что-то на своем сервере или в консоли веб-мастера (я все еще разрешаю Bing на robots.txt)?
Веб-сайт https://www.addify3d.com fyi, если вам нужно это проверить ..
Надеюсь, кто-нибудь сможет мне помочь! Заранее спасибо!