IBM Watson Natural Language Understanding error "попытка загрузки не удалась:: закрыто

Question

Я пытаюсь протестировать сайт с помощью службы IBM Watson Natural Language Understanding. Я делаю это, используя этот инструмент ( https://natural-language-understanding-demo.mybluemix.net/) и вводя URL с нашего сайта для тестирования.

Используя наши производственные серверы ( https://www.knox.edu/), я получаю следующую ошибку для каждой страницы сайта.

{code: 400, error: "attempt to fetch failed: :closed"}

Используя тестовый сервер того же сайта ( https://cmstest.knox.edu/test), все работает нормально.

Что будет причиной ошибок с нашего производственного сервера?

Спасибо!

Answer 1

Эта ошибка обычно вызвана тем, что сайт robots.txt не позволяет службе NLU Watson очищать URL-адрес.

Проверьте файл robots.txt, чтобы убедиться, что он блокирует пользовательские агенты (возможно, глобально).

Ниже приведена дополнительная информация из обсуждения этой ошибки с использованием Python SDK: https://github.com/watson-developer-cloud/python-sdk/issues/199

Answer 2

Похоже, что NLU обновил свой механизм сканирования, упомянутый вами веб-сайт теперь можно сканировать из NLU, когда я запускаю вызов категорий, я получаю следующий вывод

{
    "categories": [{
    "score": 0.999469,
    "label": "/education/graduate school/college"},{
    "score": 0.497251,
    "label": "/law, govt and politics/legal issues/legislation/tax laws},{
    "score": 0.466882,
    "label": "/travel/tourist destinations/africa"}]
}