Загрузка...
Создайте файл robots.txt для вашего сайта — бесплатно и без регистрации.
Файл robots.txt размещается в корне сайта и содержит правила обхода URL роботами. Директивы User-agent и Disallow определяют рекомендации по сканированию для указанных роботов.
Сформируйте правила, просмотрите содержимое и разместите файл по адресу /robots.txt.
Запрет обхода не гарантирует исключение URL из поиска и не защищает закрытые файлы. Для запрета индексирования используют другие механизмы, когда робот может их прочитать.
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml