Описание тега search-engine-bots

Вопросы с тегом
2 ответа

robots.txt в codeigniter - разрешить просмотр / функцию

Я прочитал немного о robots.txt и прочитал, что я должен запретить все папки в моем веб-приложении, но я бы хотел, чтобы боты могли читать основную страницу и одно представление (например, URL-адрес: www.mywebapp / searchresults - это codeigniter ro…
21 авг '15 в 22:43
1 ответ

Как создавать запросы в поисковых системах, похожие на людей?

Я взаимодействую с поисковой системой программно, и мне нужно заставить ее думать, что я человек, делающий запросы, а не робот. Это включает в себя создание запросов, по которым кажется правдоподобным, что любой обычный пользователь будет искать, на…
08 сен '13 в 02:26
2 ответа

Нужна ли мне страница для "Веб-дизайн [название города]" и "Дизайн веб-сайта [название города]", или я могу получить рейтинг для обеих страниц, используя "Дизайн сайта [название города]"?

Если планировщик ключевых слов Google показывает мне ключевое слово "Веб-дизайн [city-name]" получает ~880 запросов, а "Веб-дизайн [city-name]" получает поиск ~620 раз, могу ли я получить рейтинг по обоим ключевым словам с помощью "Веб-дизайн" [назв…
23 авг '16 в 15:21
2 ответа

Как скрыть Robots.txt в результатах поиска?

Я не хочу видеть Robots.txt в списке результатов поиска. Я работаю над проектом asp.net. Я нашел несколько неудачных решений, одно из которых показано ниже: Использование "X-Robots-Tag" в заголовке. Но я хочу скрыть текстовый файл, чтобы в нем не бы…
13 фев '14 в 15:11
2 ответа

Как обрабатывать несколько значений в мета-роботах?

О meta-robotsсколько значений я могу поставить? <meta name="robots" content="noindex, follow, nocache, nosnippet, noodp, noydir"> Это действительно? Или несколько метаэлементов? <meta name="robots" content="noindex, follow"> <meta nam…
26 авг '14 в 07:51
2 ответа

Могут ли поисковые роботы или спам-боты эмулировать / запускать события JavaScript?

Могут ли поисковые роботы или спам-боты эмулировать / запускать события JavaScript во время чтения страницы?
30 мар '12 в 05:09
1 ответ

IIS настроил ботов, которые влияют на результаты поиска

Это сложно объяснить. Я считаю, что бот Google запутывается из-за способа настройки iis / сайтов. Фактическая проблема заключается в том, что при поиске в Google, и в результате www.someSiteURL.com описание ниже: Описание этого результата недоступно…
27 мар '15 в 00:26
4 ответа

Сканер Google находит файл robots.txt, но не может его загрузить

Может кто-нибудь сказать мне, что не так с этим robots.txt? http://bizup.cloudapp.net/robots.txt Вот ошибка, которую я получаю в Инструментах Google для веб-мастеров: Sitemap errors and warnings Line Status Details Errors - Network unreachable: robo…
19 авг '10 в 16:40
2 ответа

Веб-сканирование и Pagerank

Я студент информатики, и я немного неопытен, когда дело доходит до веб-сканирования и создания поисковых систем. В настоящее время я использую последнюю версию Open Search Server и сканирую несколько тысяч доменов. При использовании встроенного инст…
17 фев '15 в 19:20
1 ответ

Если я отвечу на запросы о файле robots.txt с HTTP-кодом 418 АКА "Я чайник", это заставит меня не любить поисковые системы?

У меня есть очень простое веб-приложение, которое работает в Canvas HTML5 и не имеет общедоступных файлов, которые должны индексироваться поисковыми системами (кроме HTML-файла на первой странице, который включает в себя обращения ко всем необходимы…
16 ноя '11 в 06:15
1 ответ

Прокси Ajaxsnapshot, взаимодействующий с прокси CloudFlare

Мы используем сервис CloudFlare для CDN, Security и других сервисов. И мы используем Ajaxsnapshot для создания снимков для поисковых ботов. Проблема в том, что мы получаем ошибку 1000 - DNS указывает на неверный IP. Когда мы отключаем настройки CLou…
07 авг '15 в 23:22
1 ответ

Поисковые боты, создающие проблему в вызове веб-сервиса через curl

Я реализовал код скручивания для извлечения актуальных ресурсов из веб-службы поставщика, когда любой пользователь открывает страницу сведений о продукте. Но поисковые роботы обращаются к странице, и это приводит к 1000-кратному обращению к веб-серв…
17 дек '15 в 06:46
3 ответа

Как исправить проиндексированные страницы, которые не должны сканироваться роботом GoogleBot и другими поисковыми системами?

На существующем сайте.Net MVC3 мы реализовали пейджинг, где URL выглядит примерно так: www.mysite.com/someterm/anotherterm/_p/89/10где 89 - номер страницы, а 10 - количество результатов на странице. К сожалению rel="nofollow" отсутствовал в ссылках …
04 авг '12 в 00:44
1 ответ

Идентификация ботов для поисковых роботов и поисковых систем, таких как Google, Yahoo и т. Д. С использованием основных функций PHP

Как определить, является ли посетитель бот поисковой системы, например, бот Google или нет?
03 ноя '10 в 17:53
1 ответ

Удалить индексирование Google с нашего сервера изображений

Мы много занимаемся почтовым маркетингом, и иногда разработчики выкладывают html-файл на сервер изображений (я знаю, что простой ответ - не делать этого), но эти html-файлы в конечном итоге индексируются Google и в итоге получают высокий рейтинг в р…
22 окт '14 в 19:34
1 ответ

Блокировать определенные адреса от сканирования Robots.txt

Меня попросили (для улучшения результатов SEO) удалить определенный веб-адрес из Robots.txt. Я изо всех сил (SEO не моя сильная сторона), чтобы выяснить, как заблокировать определенный домен, хотя оба адреса указывают на один и тот же сайт. Например…
03 ноя '15 в 11:51
2 ответа

Поиск роботов нажатием моей кнопки...? Могу ли я предотвратить это?

У меня есть сайт с контентом, который можно "понравиться". Для этого не используется API, это настраиваемая кнопка "Мне нравится", просто увеличивающая статистику "Нравится" для мира контента. Теперь у меня есть счетчик просмотров на каждой странице…
12 июн '14 в 10:53
1 ответ

Я хочу перенаправить 15000 страниц моего сайта

У меня есть веб-сайт социальной сети, и я хочу перенаправить около 15000 предыдущих веб-страниц. Другие эксперты предложили мне использовать редирект 301. Все, что я хочу знать, это то, что, как перенаправление не повлияет на рейтинг в поисковых сис…
30 апр '15 в 05:29
3 ответа

Сообщите поисковым системам, что страница не существует

Я проверил логи и обнаружил, что поисковые системы посещают множество поддельных URL на моем сайте. Скорее всего, они были сделаны до того, как многие ссылки были изменены, и хотя я сделал 301 переадресацию, некоторые ссылки были изменены очень стра…
18 ноя '12 в 16:39
2 ответа

ASP.Net, как разрешить поисковым роботам (Google) пропускать страницу отказа от ответственности

Я создаю сайт ASP.NET, который заставляет пользователей принять отказ от ответственности. Когда они принимают отказ от ответственности, устанавливается cookie и сессия. На каждом запросе страницы запускается проверка, чтобы увидеть, присутствует ли …
15 июн '11 в 09:37