Описание тега bingbot
Bingbot - это робот для сканирования веб-страниц, развернутый Microsoft для поддержки Bing. Он собирает документы из Интернета для создания индекса с возможностью поиска.
0
ответов
BIngbot в моей сети IP
Я искал свои журналы Apache, и я узнаю это. Строка журнала: 192.168.1.2 - - [30 / Nov / 2016: 15: 46: 52 +0100] "GET http://www.mywebsite/.... HTTP/1.1" 200 5539 "-" "Mozilla/5.0 (совместимый; bingbot / 2.0; + http://www.bing.com/bingbot.htm) " Это …
28 фев '17 в 12:19
1
ответ
Googlebot и Bingbot сканируют сайт DNN
У меня есть сайт DNN с более чем 20000 страниц. Роботы Google и Bingbot постоянно сканируют мой сайт. Когда я просматриваю свой журнал, я вижу, что Google и Bing сканируют мой сайт через Pageid (например, www.url.com/Default.aspx?TabID=5000). Боты з…
14 июн '13 в 02:53
1
ответ
Я хочу, чтобы только мой веб-сайт показывался на googlebot, yandex или bing. Как я могу установить?
Если я установил только Google Bot; Я могу эту настройку с этим кодом: if(!strstr(strtolower($_SERVER['HTTP_USER_AGENT']), "googlebot")) { if($_SERVER["HTTP_CF_IPCOUNTRY"] =! 'USA') { echo "empty"; die(); } } Но я хочу добавить yandexbot и bingbot..…
07 окт '15 в 17:51
0
ответов
Как включить robots.txt в IIS 6, чтобы Bing не сканировал мою страницу?
У меня есть приложение ASP.NET, используя Framework 2.0. Это уже опубликовано в интернете. Он развернут в IIS 6 на Windows 2003 Server. Как я могу исключить браузер Bing сканировать мою страницу? Я использую конфиденциальные данные пользователей и н…
21 мар '17 в 12:37
2
ответа
Bingbot игнорирует robots.txt и пытается получить трафик на основе spsitemap.xml
У меня есть приложение, содержание которого не должно быть публично проиндексировано. Поэтому я запретил доступ всем сканерам. robots.txt: # Robots shouldn't index a private app. User-agent: * Disallow: / Тем не менее, Бинг игнорирует это и ежедневн…
03 апр '13 в 19:16
1
ответ
Как бороться с Bingbot/2.0
Я устал от Bingbot, как бороться с этим роботом. это тоже создает сессию. Я делаю это в ht access: мнение? #bingbot create too session RewriteCond %{HTTP_USER_AGENT} ^bingbot/.* [OR,NC] RewriteCond %{HTTP_USER_AGENT} bingbot [NC] RewriteRule ^(.*)$ …
23 мар '15 в 14:28
0
ответов
Как исправить высокую нагрузку на сервер, вызванную индексацией ботов
Мой сайт всегда недоступен из-за чрезмерного количества запросов ботов поисковых систем. Я получил эту информацию из храма СМИ. И на основе логов я вижу много запросов ботов. Как ограничить запрос? Пожалуйста, порекомендуйте. ИНФОРМАЦИЯ О РЕСУРСЕ: П…
19 фев '19 в 02:04
1
ответ
Запретить поисковым системам индексировать результаты локального поиска, но не страницу поиска
Bingbot продолжает индексировать страницы результатов поисковой системы, поэтому я хочу: Разрешить поисковым системам доступ ко всему в целом. Разрешить поисковым системам индексировать search/ URL-адрес. Запретить только поисковые запросы (search /…
19 янв '18 в 05:47
0
ответов
Bingbot вызывает 404 ошибки
Недавно мы наблюдали большое количество 404 ошибок, создаваемых веб-сканером Bing. Я проверил, что IP на самом деле является машиной Bing, но просто не знаю, почему они пытаются использовать URL-адреса, которые они пытаются. Я не хочу использовать ф…
03 дек '12 в 16:13
1
ответ
Httpd Access Log показывает странный бингбот
У меня есть сервер в облаке (ec2), на котором размещены все мои сайты WordPress. сегодня я заметил, что сайт был взломан взломом.. 109.87.118.222 - - [16 / Oct / 2013: 13: 10: 31 -0400] "POST /wp-login.php HTTP / 1.0" 200 3954 " http://smartmoneystr…
16 окт '13 в 17:17
3
ответа
Как я могу предотвратить нерегулярное засорение Bing моего сайта трафиком?
Bingbot будет каждый день по несколько часов попадать на мой сайт, а остальное будет очень легким. Я бы хотел сгладить сканирование, уменьшить ограничение скорости или полностью заблокировать его. Это действительно не посылает через реальных посетит…
08 фев '11 в 01:09
1
ответ
ОШИБКА ТИПА: System.IO.PathTooLongException ОТ IP-АДРЕСА: 157.55.39.175 АКА Microsoft Bingbot
Подробности уведомления об ошибке ниже. Мой вопрос заключается в том, как я могу сократить подавляющее количество исключений, генерируемых Bingbots? Что я могу потерять, если что-нибудь, делая это? System.IO.PathTooLongException IP-адрес: 157.55.39.…
22 авг '14 в 15:15
0
ответов
Почему Bingbot и Google Bot ищут папку Robots.txt?
Наш файл robots.txt содержит только это: User-Agent: * Disallow: / Тем не менее, мы часто получаем следующие ошибки. Не уверен, почему и Bingbot, и Googlebot ищут папку Robots.txt IP: 207.46.13.42 HTTP status code: 404 URL: http://www.website.net/ro…
13 ноя '15 в 15:58
1
ответ
Странное поведение nginx для запросов bingbot
Мы нашли что-то странное в логах nginx. Некоторые запросы только от bingbot направляются непосредственно в бэкэнд, но если мы запускаем эти запросы из curl, они обрабатываются как обычно. Пожалуйста, посмотрите конфигурацию. У меня есть два сервера,…
04 май '16 в 12:52
1
ответ
Исключение ActionController::InvalidCrossOriginRequest из-за бинботов
У меня есть приложения rails, где я загружаю комментарии, используя Ajax после загрузки страницы. class CommentsController < ApplicationController respond_to :js def index @comments = Comments.all respond_with @comments end end Это работает, как …
18 авг '14 в 10:28
2
ответа
Как перенаправить несуществующие страницы на страницу ошибки 404 с помощью.htaccess?
Видимо Бингбот попал в бесконечный цикл на моем сайте. Он загружает страницы, такие как http://www.htmlcodetutorial.com/quicklist.html/applets/applets/applets/applets/applets/applets/applets/applets/applets/applets/applets/applets/applets/applets/so…
26 ноя '13 в 08:15
0
ответов
Bingbot продолжает пытаться получить доступ к файлу роботов в неправильном каталоге
Я продолжаю получать BingBot, пытаясь получить доступ к файлу ниже. В этом месте нет файла robots.txt (http://test.com/8329/test/documents). Как я могу остановить это? C:\Test\Website\8329\test\documentsrobots.txt исключение System.Web.HttpException…
18 окт '13 в 17:37
1
ответ
Сканеры Yahoo и Bing интерпретируют JavaScript так, как это делает Google?
У меня есть угловое одностраничное приложение. Google начал отображать JavaScript при сканировании страниц в середине 2014 года, но могут ли Yahoo и Bing интерпретировать JavaScript при сканировании страниц? Нужно ли включать их в мою конфигурацию P…
21 янв '15 в 19:39
1
ответ
Мой сайт не посещается роботами Google?
Я пытаюсь понять, почему мой сайт не посещается моими роботами Google. http://www.nateiss.com/ Я использовал Site-Analyzer для анализа своего сайта - вы можете увидеть отчет сайта. http://www.site-analyzer.com/en/audit/http://www.nateiss.com#report-…
23 мар '15 в 16:32
1
ответ
TYPO3: Bingbot создает ошибку ext_form, которая кэшируется
У нас проблема с одной из наших установок TYPO3. Bingbot, который посещает сайт, вызывает контроллер старого расширения ext_form без параметров и создает ошибку. 207.46.13.XXX - - [16/Oct/2018:00:18:48 +0200] "GET example.html?tx_form_form%5Baction%…
16 окт '18 в 09:50