К сервисам
Расширенный генератор robots.txt
Расширенный генератор robots.txt
Создавайте корректный robots.txt с правилами allow/disallow и ссылкой на sitemap.
User-agent: * Disallow: /admin/ Disallow: /private/ Allow: / User-agent: Googlebot Disallow: /admin/ Disallow: /private/ Allow: / Sitemap: https://08techgroup.com/sitemap.xml