Описание тега googlebot
Googlebot - это робот Google для сканирования веб-страниц, который обнаруживает новые и обновленные страницы / документы в Интернете для создания индекса с возможностью поиска для поисковой системы Google.
1
ответ
Robots.txt: РАЗРЕШИТЬ Google Шрифты
Я тестировал свой веб-сайт с помощью Инструментов Google для веб-мастеров, и когда я попытался "загрузить его как Googlebot", я получил статус "Частичный" и заметил, что три ВНЕШНИХ файла CSS, а именно 3 шрифта Google, по какой-то причине были забло…
17 сен '14 в 08:00
1
ответ
Googlebot и FAMUOS $_SERVER['HTTP_ACCEPT_LANGUAGE']
Я сделал $_SERVER['HTTP_ACCEPT_LANGUAGE'] на моем сайте, где есть два языка PL и EN. Я действительно не подозревал, что Google реиндексирует мой сайт (то есть TITLE и DESC) с PL на EN таким образом. Разве он не должен использовать PL, поскольку он с…
04 апр '11 в 21:49
0
ответов
SEO дружественные URL с mod_rewrite показывает файл, пытающийся быть SEO дружественным в результатах
Возникли проблемы с настройкой моего мода для Google Seo. www.example.com/p/press Перейти на внутренний./pages/press.html Но Google должен отображать ссылку как www.example.com/p/press Это возможно? или Google покажет URL как www.example.com/pages/p…
30 ноя '11 в 14:04
1
ответ
ViewExpiredException при доступе к сайту через googlebot
На моей странице JSF (Primefaces) googlebot вызывает ViewExpiredException при доступе к сайту. Это происходит только при запросах POST (недействительно javax.faces.ViewState?). Я работаю на Wildfly 9.0.1.Final, Primefaces 5.3 Мой web.xml <?xml ve…
26 июл '16 в 19:59
2
ответа
Magento: робот Google пытается получить доступ к недействительным URL-адресам из-за добавления косой черты
По какой-то причине, когда googlebot spiders мой магазин Magento регулярно генерирует отчеты об отладках из-за ошибочно добавленной косой черты в URL, содержащие аргументы, такие как: http://www.sinfulthrills.co.uk/lingerie-clothing-1/sexy-lingerie?…
22 авг '12 в 20:48
1
ответ
Типы запросов Googlebot
Отправляет ли бот Google запросы HEAD и GET? Мне интересно об этом, потому что я запускаю приложение Tornado, которое не поддерживает запрос HEAD, и у меня много 404 ошибок в консоли поиска Google. Чтобы убедиться, что приложение Tornado не принимае…
10 мар '16 в 08:54
2
ответа
Разрешить роботу Googlebot сканировать динамически созданные страницы продукта
Я читал о том, как робот Googlebot сканирует веб-страницы, сгенерированные javascript, но все еще немного запутался в этом. Скажем, у меня есть веб-страница для компании XYZ Inc, которая имеет 5 основных продуктов, таких как банные полотенца и каран…
17 окт '16 в 21:10
1
ответ
Как заблокировать поиск перенаправления в роботах в WordPress
На моем WordPress сайте я перенаправил поиск с domain.com/?s=search_term в domain.com/search/search_term В robots.text я должен измениться? Disallow: /*? в Disallow: /search/ Как я могу проверить, что работает правильно?
23 май '14 в 10:12
4
ответа
AngularJS / AJAX сканеры приложений и поисковых систем
У меня есть веб-приложение, в котором интенсивно используется AngularJS / AJAX, и я бы хотел, чтобы его могли просматривать Google и другие поисковые системы. Насколько я понимаю, мне нужно сделать что-то особенное, чтобы это работало, как описано з…
23 фев '13 в 01:54
2
ответа
Почему робот Google запрашивает HTML с URL-адресов, предназначенных только для JSON?
На такой странице: https://medstro.com/groups/nejm-group-open-forum/discussions/61 У меня есть такой код: $.getJSON("/newsfeeds/61?order=activity&amp;type=discussion", function(response) { $(".discussion-post-stream").replaceWith($(response.news…
03 янв '15 в 00:18
0
ответов
Социальные сети и боты не могут сканировать мой сайт
Я начал испытывать странное поведение в своем блоге ( https://geoglimpsetravel.com/), плагин addthis не может получить метаданные моего блога, отладчик facebook также не может это сделать. Здесь https://developers.facebook.com/tools/debug/og/object/…
20 фев '18 в 08:07
1
ответ
Нужна помощь по AngularJS и SEO оптимизации
Мы строим приложение поверх angularjs. Мы почти готовы к завершению проекта. Но SEO приложения еще нужно сделать. Я получил несколько предложений, как prerender и все. Нужно помочь в достижении SEO нашего приложения. Что было бы лучшим способом опти…
19 янв '15 в 07:26
1
ответ
AJAX-сканирование (преобразование hashbang)
Я работаю на веб- сайте AJAX-crawlable ( Google AJAX-crawling), но некоторые вещи мне неясны. В конце приложения я отфильтровываю _escaped_fragment_ параметр и вернуть снимок HTML, как и ожидалось. При вызове URL вручную, как показано ниже, проблем …
18 фев '15 в 16:52
4
ответа
Нужно ли добавлять в ссылки атрибут nofollow rel, если страница href содержит метатег robots, содержащий noindex и nofollow?
Если у меня есть страница ("dontFollowMe.html") с метатегом: < meta name = "robots" content = "noindex, nofollow" / > ... и я ссылаюсь на эту страницу... Нужно ли включать атрибут rel из nofollow в элемент a?: <a href="dontFollowMe.html" re…
06 фев '15 в 17:36
2
ответа
Как понять, является ли посетитель роботом Google или нет? ASP.net
Как понять, является ли посетитель роботом Google или нет? ASP.net 4.0 & C# Я имею в виду, я хочу понять это, если посетитель Googlebot или нет.
01 фев '11 в 16:29
1
ответ
Googlebot Crawl Error 500 и PHP Error report (со странным решением)
Так что Google не будет сканировать что-либо на моем живом сайте, кроме простых первых страниц - вместо этого я просто выдаю 500 ошибок. Выборка Google в инструментах для веб-мастеров показала, что она вернет полный вывод html с заголовком "HTTP/1.0…
09 май '12 в 17:39
1
ответ
Странная атака бота Google (например, /123456-12345678-123abc)
Заброшенный устаревший сайт WordPress, о котором я думал, что Интернет не знал о том, был взломан. Насколько я знаю, атака была решена быстро и не принесла реального ущерба. Но это дает возможность изучить использованную атаку. Одна вещь, которая пр…
03 окт '18 в 17:03
1
ответ
Googlebot CSS / JS / Изображения, но не проиндексированы
Как и некоторые из вас, мы получили письма от инструментов веб-мастеров Google о файлах CSS и JS, которые были "заблокированы" для их сканера, поэтому нам пришлось разрешить их в robots.txt. Здесь нет проблем. Но теперь GoogleBot нужен доступ к изоб…
29 июл '15 в 20:38
0
ответов
Googlebot загружает модули просмотра
В нашем веб-приложении мы используем zxcvbn для проверки надежности пароля. Поскольку он довольно тяжелый, он загружается только тогда, когда отображается форма регистрации. Это происходит путем динамической вставки <script> тег на нашем сайте…
19 июн '18 в 14:31
1
ответ
Как скрыть сайт Drupal от Google?
У меня есть веб-сайт, и я использую Drupal для CMS. т.е. я пишу статьи в mysite.com/drupal/ но я показываю их в mysite.com/show_article.php?article_id=x&article_name=y (на самом деле mysite.com/article/x/y с.htaccess RewriteRule) путем загрузки …
15 июн '13 в 08:37