Googlebot загружает модули просмотра
В нашем веб-приложении мы используем zxcvbn для проверки надежности пароля. Поскольку он довольно тяжелый, он загружается только тогда, когда отображается форма регистрации. Это происходит путем динамической вставки <script> тег на нашем сайте <head>,
Все это работает хорошо, но есть Googlebot.
В нашей поисковой консоли мы видим такие запросы, как /link/to/page/frequency_lists или же /another/link/to/another/page/adjacency_graphs, В этих примерах /link/to/page а также /another/link/to/another/page действительные URL, но суффикс (frequency_lists или же adjacency_graphs) неизвестно, поэтому гуглбот получает 404 от нашего веб-сервера.
Сейчас, frequency_lists а также adjacency_graphs (так же как scoring, feedback, matching а также time_estimates) являются модулями библиотеки zxcvbn, которые require г внутри библиотеки.
Это не должно быть проблемой, потому что zxcvbn построен с browserify, который предшествует "прелюдии", гарантируя, что require определена функция, которая загружает модули из связанного файла. Опять же, это прекрасно работает в браузере.
Очевидно, googlebot делает что-то другое, что вызывает выполнение запроса GET. Но я не могу понять, что это может быть - какие-либо идеи?
Я предполагаю, что та же проблема может возникнуть с другими библиотеками, которые используют browserify, но не имеют примеров для этого.