SEO, Инструменты Google для веб-мастеров. Как получить отчет об ошибке сканирования 404 для неверных URL-адресов, содержащихся в карте сайта?

Question

У меня есть автоматически сгенерированная карта сайта для большого веб-сайта, которая содержит несколько URL-адресов, которые вызывают 404 ошибки, которые мне нужно удалить. Мне нужно создать отчет, основываясь только на URL-адресах, содержащихся в карте сайта, а не на ошибках сканирования, вызванных плохими ссылками на сайте. Я не вижу способа фильтрации отчетов об ошибках сканирования, чтобы включить только эти URL-адреса. Кто-нибудь знает, как мне этого добиться?

Спасибо

Answer 1

Я не уверен, что вы можете сделать это легко с помощью инструментов для веб-мастеров, но проверить их все тривиально. Вот Perl-программа, которая примет файл карты сайта и проверит каждую строку, печатая каждый URL вместе с его статусом.

#!/usr/bin/perl
use strict;
require LWP::UserAgent;
my $ua = LWP::UserAgent->new;
while (my $line = <>){
    if ($line =~ /\<loc\>(.*?)\<\/loc\>/){
        my $url = $1;
        my $response = $ua->get($url);
        my $status = $response->status_line;
        $status =~ s/ .*//g;
        print "$status $url\n";
    }
}

Я сохраняю его как checkitemapstatus.pl и использую его так:

$ /tmp/checksitemap.pl /tmp/sitemap.xml 
200 http://example.com/
404 http://example.com/notfound.html

Answer 2

Вы также можете импортировать sitemap.xml в A1 Website Analyzer и позволить ему сканировать их. Смотрите: http://www.microsystools.com/products/website-analyzer/help/crawl-website-pages-list/

После этого вы можете отфильтровать результаты сканирования по e., G. 404 код ответа и экспортируйте его в CSV, если это необходимо. (Включая, если так хотел, откуда они связаны.)

Answer 3

Ничего изначально в рамках WMT. Вы хотите сделать несколько Excel.

1. Скачать список заблокированных ссылок
2. Получите ваш список ссылок на карту сайта.
3. Положите их рядом.
4. Используйте VLOOKUP для сопоставления столбцов ( http://www.techonthenet.com/excel/formulas/vlookup.php)
5. В качестве бонуса используйте условное форматирование, чтобы было легче увидеть, совпадают ли они. Затем сортируйте по цвету.