Googlebot и Bingbot сканируют сайт DNN
У меня есть сайт DNN с более чем 20000 страниц. Роботы Google и Bingbot постоянно сканируют мой сайт.
Когда я просматриваю свой журнал, я вижу, что Google и Bing сканируют мой сайт через Pageid (например, www.url.com/Default.aspx?TabID=5000).
Боты заходят на мой сайт каждую минуту. Когда я добавляю новую страницу, я ожидаю, что боты будут сканировать новую добавленную страницу, вместо этого я вижу, что боты повторно сканируют очень старые страницы, и пройдет несколько часов, прежде чем он распознает вновь добавленную страницу.
У меня есть файл robot.txt с более чем 10000 записей, которые имеют следующие определения:
Disallow: /Default.aspx табетический = 5000
Disallow: /Default.aspx табетический = 5001
Disallow: /Default.aspx табетический =5002
и так далее.
Итак, я заметил пару вопросов:
1 - Googlebot и Bingbot игнорируют мои запреты и перезапускают страницы, которые я определил в robots.txt - как бот узнает, что нужно возвращаться и пересматривать старые страницы, используя TabID?
2 - Я все еще замечаю, что когда я добавляю новую страницу, оба бота заняты сканированием старого контента и не сразу читают мой новый контент, есть ли способ заставить ботов Google и Bing всегда сначала читать новые страницы?
заранее благодарю за любые предложения.
1 ответ
Если вы зайдете на http://url.com/sitemap.aspx, проверьте, какие страницы там перечислены.
Я настоятельно рекомендую перейти на DNN 7, так как вы можете контролировать, какие страницы будут отображаться в карте сайта, что может помочь вам решить проблемы с индексацией.
ОБНОВЛЕНИЕ: В меню администратора, если вы найдете страницу карты сайта поисковой системы, вы можете установить минимальный приоритет страницы, который будет включен в карту сайта. Затем для страниц, которые вы не хотите показывать, вы можете изменить их приоритет в настройках страницы.