Magento - запретить просмотр без переписывания

У меня проблема с кем-то (использующим много IP-адресов), просматривающим мой магазин с помощью:

example.com/catalog/category/view/id/$i

У меня включена перезапись URL, поэтому обычный просмотр человеком выглядит "дружелюбно":

example.com/category_name.html

Поэтому возникает вопрос - как предотвратить просмотр магазина с использованием "старых" (не переписанных) URL-адресов, оставляя только "дружественные" URL-адреса?

Это очень важно, так как он использует сотни потоков, что заставляет магазин работать очень медленно.

3 ответа

Если паук ползет по всем URL данного шаблона:

example.com/catalog/category/view/id/$i

тогда вы можете просто убить эти URL в .htaccess, Перезапись производится изнутри category.html -> /catalog/category/view/id/$i Итак, вы блокируете только ботов.

Поскольку существует много случайных IP-адресов, очевидно, что вы не можете просто заблокировать доступ для одной или небольшой группы адресов. Возможно, вам потребуется реализовать некоторые записи, которые каким-то образом идентифицируют этот сканер (может быть, агентом браузера или, возможно, при некотором умном использовании библиотеки javascript Modernizr).

Как только вы сможете различить некоторые уникальные идентификаторы этого сканера, вы, вероятно, сможете использовать правило в .htaccess (если это пользовательский агент) перенаправить или иным образом запретить им использовать ваш сервер.

Этот вопрос SO содержит подробную информацию о правилах для пользовательских агентов.

Заблокируйте все боты / сканеры / пауки для специального каталога с помощью htaccess

После того, как переписывает там... Они там. Они хранятся в базе данных Mage по многим причинам. Один - это сканеры, подобные тому, который сканирует ваш сайт. Другой - это пользователи, которые могут добавить старую страницу в закладки. Есть ряд методов, которые люди придумали, чтобы пройти и очистить ваши перенаправления (Google)... Но в настоящее время в Magento, когда они там есть, им не так просто управлять с помощью Magento.

Я мог бы предложить создать новый site map и отправить его сканеру, влияющему на ваш сайт. Мало того, что этот сканер будет сканировать тонны страниц, в которых он не нуждается, он также увидит дублирующийся контент (плохая история).

Другие вопросы по тегам