/ TOKEN WIKI
robots.txt
entenda em uma frase
Por que
robots.txt é um arquivo de regras de rastreamento colocado no caminho raiz do site, que é usado para expressar preferências de acesso aos rastreadores que cumprem as regras. Protocolo rastreador
é relevante para os negócios?
Não é um mecanismo de controle de acesso; os dados privados devem ser protegidos por autenticação e não podem confiar apenas no Disallow.
?
permite a divulgação de caminhos corporais, exclui áreas não públicas, como contas e backends, e garante que as regras não entrem em conflito com as restrições de acesso à plataforma. O robots.txt
Perguntas frequentes
pode proteger o back-end de gerenciamento?
Não, o back-end de gerenciamento deve ter autenticação no servidor e verificação de permissão. Regras de rastreamento
