Google не сканирует мой сайт

Question

Я новичок здесь, пожалуйста, предложите мне, в чем проблема, если Google не сканировать мой сайт.

В соответствии с веб-мастером Google я нахожу проблему, которой нет robot.txt файл существует.
Поэтому я вручную добавил этот файл в корневой каталог, но все равно не вижу, как Google сканирует сайт.
в чем тут проблема? Также это может быть проблемой html + wp theme (если какой-либо файл требуется, который отсутствует в папке темы) или что-то еще?

Спасибо

Answer 1

Ваш robots.txt неверен.

http://www.spisehusetfaaborg.dk/robots.txt говорит

User-agent: *
Allow: http://www.spisehusetfaaborg.dk/
Disallow: /wp-admin/

Принимая во внимание, что делать то, что вы хотите, вы, вероятно, думаете об этом:

User-agent: *
Disallow: /wp-admin/

По умолчанию все разрешено, поэтому вам не нужно указывать строку "Allow:". Фактически ваш текущий файл говорит, что он может индексировать только " http://www.spisehusetfaaborg.dk/http://www.spisehusetfaaborg.dk/"

Также имейте в виду, что Google может занять некоторое время для индексации вашего сайта. В прошлый раз я попробовал это, это заняло около суток.