ОШИБКА: не удалось получить страницу, поскольку она запрещена файлом robots.txt
Мои данные файла robots.txt:
User-agent: Twitterbot
Disallow:
User-agent: *
Disallow: /
Как это решить?
Мои данные файла robots.txt:
User-agent: Twitterbot
Disallow:
User-agent: *
Disallow: /
Как это решить?