Если карта сайта имеет * каждый * URL
У меня есть сайт с огромным количеством (ну, тысячи или десятки тысяч) динамических URL, плюс несколько статических URL.
Теоретически, из-за некоторых хитрых SEO-ссылок на домашней странице, любой паук должен иметь возможность сканировать сайт и обнаруживать все динамические URL-адреса с помощью поиска, удобного для паука.
Учитывая это, мне действительно нужно беспокоиться о затратах на создание динамического индекса карты сайта, который включает все эти URL, или я должен просто убедиться, что все основные статические URL есть?
То, каким образом я это произвожу, не является проблемой - я просто подвергаю сомнению необходимость сделать это на самом деле.
Действительно, часто задаваемые вопросы Google (и да, я знаю, что они не единственная поисковая система!) Об этом рекомендует включать URL-адреса в карту сайта, которые могут быть не обнаружены при сканировании; Исходя из этого, то, если каждый URL на вашем сайте доступен с другого, то, безусловно, единственный URL, который вам действительно нужен в качестве базового в вашей карте сайта для хорошо разработанного сайта, - это ваша домашняя страница?
2 ответа
Если есть несколько способов попасть на страницу, вы должны выбрать основной URL для каждой страницы, которая содержит фактическое содержимое, и поместить эти URL в карту сайта. Т.е. карта сайта должна содержать ссылки на реальный контент, а не на каждый возможный URL, чтобы попасть на тот же контент.
Также рассмотрите возможность размещения канонических метатегов на страницах с этим основным URL-адресом, чтобы пауки могли распознать страницу, даже если она достижима через различные динамические URL-адреса.
Пауки тратят ограниченное время на поиск каждого сайта, поэтому вы должны как можно быстрее найти актуальный контент. Карта сайта может быть очень полезна, так как вы можете использовать ее, чтобы указывать непосредственно на фактический контент, чтобы паук не мог ее искать.
Мы получили довольно хорошие результаты, используя эти методы, и теперь Google индексирует 80-90% нашего динамического контента.:)
В подкасте SO они рассказали об ограничениях на количество ссылок, которые вы могли бы включить / отправить в карту сайта (около 500 на страницу с ограничением страницы на основе pagerank?) И как вам нужно разбить их на несколько страниц.
Учитывая это, мне действительно нужно беспокоиться о затратах на создание динамического индекса карты сайта, который включает все эти URL, или я должен просто убедиться, что все основные статические URL есть?
У меня сложилось впечатление, что карта сайта не обязательно связана с отключенными страницами, а скорее связана с увеличением сканирования существующих страниц. По моему опыту, когда сайт содержит карту сайта, второстепенные страницы, даже если на них явно есть ссылки, с большей вероятностью будут появляться в результатах Google. В зависимости от PageRank / входящих ссылок и т. Д. Вашего сайта, это может быть меньше проблем.