User-agent: * #указываем, для каких роботов установлены директивы
Disallow: /admin/ # запрещает ссылки из панели администратора
Disallow: / # запрещает ссылки из панели администратора