Желательно ли включать в карту сайта ссылки на каждую страницу сайта или только те, которые в ней нуждаются?
Я нахожусь в процессе создания карты сайта для моего сайта. Я делаю это, потому что у меня есть большое количество страниц, которые обычно доступны пользователям только через форму поиска.
Я создал автоматизированный метод для извлечения ссылок из базы данных и их компиляции в карту сайта. Однако для всех страниц, которые регулярно доступны и не хранятся в базе данных, мне нужно было бы вручную просмотреть их и добавить их в карту сайта.
Мне кажется, что обычные страницы все равно обнаруживаются обычными страницами, поэтому добавление этих страниц вручную затруднительно, а затем необходимо следить за тем, чтобы карта сайта постоянно обновлялась при любых изменениях в них.
Разве плохо просто оставлять их, если они уже проиндексированы, и моя карта сайта содержит только мои динамические страницы?
2 ответа
Google будет сканировать любые обнаруженные URL-адреса (как разрешено robots.txt), даже если их нет в карте сайта. До тех пор, пока все ваши статические страницы доступны с других страниц в вашей карте сайта, их можно исключить. Однако существуют и другие функции XML-карты сайта, которые могут стимулировать вас к включению статических URL-адресов в карту сайта (например, даты и приоритеты модификации).
Если вы хотите написать скрипт для автоматической генерации карты сайта для записей в базе данных, сделайте еще один шаг вперед и сделайте так, чтобы ваш скрипт также генерировал записи для статических страниц. Это может быть так же просто, как поиск через webroot и поиск файлов *.html. Или, если вы используете фреймворк, переберите статические маршруты вашей фреймворк
Да, я думаю, что это нехорошо оставлять их. Я думаю, что было бы также целесообразно найти способ, которым ваши поисковые страницы могут быть найдены сканером без карты сайта. Например, вы можете добавить какую-то страницу расширенного поиска, где пользователь может выбрать в форме поисковый запрос. Сканеры также могут заполнять эти формы.