Robots Exclusion Checker - Uma extensão de SEO para o Google Chrome
Esta é uma extensão SEO para o Google Chrome que é útil para qualquer desenvolvedor de site testar se seu site está sendo bloqueado por robôs. txt ou meta robôs.
Alternativa mais recomendada
Robôs Verificador de exclusão é um recurso muito popular que é amplamente usado por webmasters para controlar a pesquisa motor robôs e rastreadores da web que navegam em sites. Robôs são usados por mecanismos de pesquisa para indexar e catalogar as páginas da web em um site. Eles não podem ler o HTML ou outro código que está em um site. Robôs são usados para determinar se um site foi bloqueado por um arquivo robôs.txt.
Além disso, há um agente do usuário característica. Você pode escolher o agente do usuário para os mecanismos de pesquisa para testar os sites. Ao usar isso, você poderá determinar a que tipo de robô os mecanismos de pesquisa têm acesso. Isso é útil para qualquer desenvolvedor que precise saber se o site está sendo bloqueado por robôs.
