Запретить подкаталог в robots.txt с языковым кодом

Question

У нас есть веб-сайт, переведенный примерно на 15 языков, и более регулярно поступают от наших редакторов.

Наш URL построен следующим образом:

SiteName.Company.com/{LCID}/Folder1/Folder2/

Наша компания хочет скрыть подпапку / страницу от поисковых систем.

LCID может быть любым от EN-US до ZH-HANS. И я ищу решение, в котором нам не нужно обновлять файл роботов каждый раз, когда добавляется новый язык.

Могу ли я сделать подстановочный знак или отфильтровать одно имя, независимо от его пути?

IE: companyinfo.nokia.com/en-us/aboutus/darknews/ Я хочу, чтобы Google сканировал все, кроме darknews и down (поэтому /darknews/ELOPSellsOut или /darknews/3210revival)

Это возможно?

Answer 1

Вы можете сделать это с подстановочными знаками:

User-agent: *
Disallow: /*/darknews/

Просто знайте, что не все роботы поддерживают символы подстановки. Это будет работать для Googlebot и Bingbot, но не будет работать для многих других.