Описание тега google-crawlers

Вопросы с тегом
"Сканер" - это общий термин для любой программы (например, робота или паука), используемой для автоматического обнаружения и сканирования веб-сайтов путем перехода по ссылкам с одной веб-страницы на другую. Главный сканер Google называется Googlebot.
2 ответа

Любая возможность сканировать открытые данные веб-браузера с помощью апертуры

Я знаю о сайте сканирования с помощью Aperture. если я открою http://demo.crawljax.com/ в веб-браузере mozila. Как можно сканировать открытый контент браузера с помощью Aperture. Шаги: 1. Откройте http://demo.crawljax.com/ на своем браузере Mozila. …
22 янв '15 в 09:30
1 ответ

Может ли опубликованный Google Лист, на который ссылается только PHP, наткнуться или проиндексировать Google?

Я читал об этом, но вижу противоречивые взгляды, поэтому обратитесь за помощью здесь. У меня есть опубликованный Google Sheet, содержащий некоторые конфиденциальные данные. Я использую PHP для доступа к контенту, а затем представляю конкретные разде…
06 окт '15 в 23:06
1 ответ

Как получить большие картинки в картинке Google

Я хочу собирать фотографии из поиска картинок Google. Однако меня постоянно уведомляют с ошибкой. Например, URL https://www.google.com/search?q=banana&hl=en&gws_rd=ssl&tbm=isch нормально в моем браузере, но в веб-сборке он сообщает, …
19 сен '14 в 03:25
1 ответ

Типы запросов Googlebot

Отправляет ли бот Google запросы HEAD и GET? Мне интересно об этом, потому что я запускаю приложение Tornado, которое не поддерживает запрос HEAD, и у меня много 404 ошибок в консоли поиска Google. Чтобы убедиться, что приложение Tornado не принимае…
10 мар '16 в 08:54
0 ответов

Wordpress сайт Получает 404 ошибка сканирования и добавляет /sitename в конце URL

Мой файл.htaccess, содержащий <IfModule mod_rewrite.c> RewriteEngine On RewriteBase / RewriteRule ^index\.php$ - [L] RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteRule . /index.php [L] </IfModule> Всякий …
09 май '18 в 07:39
0 ответов

Angularjs HTML5 режиме Google Crawler

У меня есть проект angularjs с маршрутами в режиме html5, теперь я протестировал в инструментах Google для веб-мастеров (просмотреть как Google), но он не работает, он возвращает <title>{{content}}</title> вместо <title>my title&lt…
22 дек '15 в 10:06
1 ответ

Нужна помощь по AngularJS и SEO оптимизации

Мы строим приложение поверх angularjs. Мы почти готовы к завершению проекта. Но SEO приложения еще нужно сделать. Я получил несколько предложений, как prerender и все. Нужно помочь в достижении SEO нашего приложения. Что было бы лучшим способом опти…
19 янв '15 в 07:26
0 ответов

Как изменить вызов JavaScript, чтобы индексировать мои страницы естественным образом

У меня серьезная проблема с индексацией некоторых страниц моих сайтов, даже когда они попадают на карту сайта. Я спросил кого-то на форумах Google, и он сказал мне, что, посмотрев на исходный код одной из моих страниц, например страницу бренда ( htt…
04 июл '16 в 16:04
0 ответов

Сайт не сканируется Google, soft 404

Некоторые страницы на моем веб-сайте возвращают "Soft 404", когда Google пытается их сканировать. На этих страницах мало написанного контента, но в них есть плагины, встраивающие информацию. Насколько я вижу, это реальные страницы (я нажимаю на ссыл…
28 дек '17 в 11:57
0 ответов

Как определить карту сайта для приложения AngularJS

Теперь, когда Google может сканировать сайты AngularJS успешно, как правильно определить местоположение URL-ссылок в вашей карте сайта, то есть с помощью фрагмента URL-адреса или шаблона URL-адреса? Например, если у меня есть следующая запись как ча…
13 янв '16 в 12:37
0 ответов

Использование Google API, чтобы узнать, есть ли у компании веб-сайт

Я ищу решение, которое бы сообщало мне, есть ли у конкретной компании веб-сайт. Я представляю себе его использование следующим образом: я отправляю запрос на основе фраз в API (например, "Salesforce Limited"), и он возвращает веб-сайт, если он есть …
24 апр '16 в 14:06
0 ответов

Может ли WebCrawler индексировать изображения в папке без ссылок?

У меня есть каталог на моем веб-сервере, содержащий изображения с URL-адресом, как этот.. www.example.com/images Сервер настроен на запрет индексирования каталогов. Если у меня нет ссылок на эти изображения, может ли сканер их проиндексировать? Или …
13 фев '18 в 22:30
2 ответа

Как динамически извлекать данные из выпадающих списков или нескольких текстовых полей, используя import.io

Я делаю API, в котором я хочу динамически получать данные с сайта http://transportformumbai.com/mumbai_local_train.php В зависимости от начальной и конечной станции и времени я хочу получить список всех доступных поездов вместе с таблицей, указанной…
21 фев '16 в 16:42
1 ответ

После отправки новой карты сайта Google все еще ищет старые файлы карты сайта.

Мы недавно (около 4 месяцев назад) сделали несколько изменений на нашем сайте. Основным изменением было перенести весь сайт с HTTP на HTTPS. Мы также реструктурируем файлы нашего сайта. Ранее у нас были такие файлы, как: sitemap-1.xml, sitemap-2.xml…
07 апр '15 в 04:26
1 ответ

Google не сканирует мой сайт

Я новичок здесь, пожалуйста, предложите мне, в чем проблема, если Google не сканировать мой сайт. В соответствии с веб-мастером Google я нахожу проблему, которой нет robot.txt файл существует.Поэтому я вручную добавил этот файл в корневой каталог, н…
10 июн '15 в 07:26
1 ответ

Отключить сканирование поддомен Google Crawler

Я хотел бы знать, как я могу запретить Google сканирование моих поддоменов? я сделал снимок моей папки веб-пространства. папка awesom media - это папка, в которой находится основной сайт www.awesom-media.de. папки другие когда-то являются поддоменам…
08 сен '14 в 20:22
2 ответа

Почему мой сайт ASP не сканируется Google?

При тестировании используются следующие инструменты. 1.webconfs.com/search-engine-spider-simulator.php 2.feedthebot.com/tools/ Это показывает, что паук не видит текст на моем сайте http://wwww.vamartinc.com/. Я запускаю тест после вставки текста чут…
03 дек '14 в 06:59
1 ответ

Нам не удалось получить доступ к файлу robots.txt вашего сайта

Я подтвердил свой сайт с помощью веб-мастера Google. Я сделал свой сайт в Wordpress, и я также добавил robots.txt. Теперь Google показывает зеленую галочку на DNS и подключении к серверу, а желтую - на robots.txt fetch. Мой файл robots.txt выглядит …
21 сен '16 в 08:54
0 ответов

Google не сканирует подстраницы

После исправления проблемы "noindex" на моем веб-сайте, когда Google не смог отсканировать все мои подстраницы, я использовал Google Webmaster для переиндексации веб-сайта (без ожидания). Но это сработало только для домашней страницы, хотя я также п…
16 сен '16 в 15:47
1 ответ

Tomcat7 & Struts1 - обработка множества посещений Google Bot

Более половины обращений на одном из моих серверов происходит от бота Google, который постоянно сканирует наши миллионы страниц. Причина, по которой у нас так много страниц, в том, что компания является магазином автозапчастей, с уникальными URL-адр…
06 май '11 в 15:35