robots explorer

Cássio B. Pereiracassio@cassiobp.com.br

cassiobp.com.br

blog.cassiobp.com.br

@cassiov1ru5

Robots.txt – Que informações eles escondem?

Apresentando o:

Robots Explorer

O que é o robots.txt?

• É um arquivo .txt;

• Deve estar na raiz do site; (http://www.dominio.com.br/robots.txt)

• Deve ter o nome robots.txt exatamente;

• É como um filtro para os robôs dos sites de busca;

• Permite o controle de permissões de acesso a páginas e ou diretórios do site;

• Controla qual informação deve ou não deve ser indexada pelos buscadores;

Sintaxe

User-agent: *

Allow: /

Disallow: /admin

# Comentário

Sitemap: http://www.dominio.com.br/sitemap.xml

Exemplo

# Este é meu robots.txt ;)

User-agent: *

Disallow: /admin

Disallow: /http-docs

Disallow: /meuSistema

Allow: /

Sitemap: http://www.dominio.com.br/sitemap.xml

O problema \o/

Disallow: /admin

Disallow: /http-docs

Disallow: /meuSistema

Mas e se......

http://www.dominio.com.br/admin

http://www.dominio.com.br/http-docs

http://www.dominio.com.br/meuSistema

O problema \o/

Top 10 2013-A5-Security Misconfiguration

Directory Listing

Robots Explorer

• Ler o arquivo Robots.txt de um domínio.

• Listar os diretórios que o administrador não quer que os mecanismos de busca indexem.

• “Exploitar” os diretórios em busca de um HTTP Status Code 200, o que afirma que o diretório está "aberto", no caso o server não foi configurado contra Directory Listing.

github.com/

cassiodeveloper/

robotsexplorer

Robots Explorer – Próximos passosVersão 0.0.2

• Finalizar o help -h ou --help;• Incluir Art ASCII;• Permitir mudar o user-agent do request;

Versão 0.0.3

• Parametrizar a quantidade de request e o time entre cada request;• Saída scriptavel para outras ferramentas como o wp-scan, etc;

Versão 0.0.4

• Criar uma interface Web;• Criar um BD para histórico e relatórios;

Versão 0.1.0

• Migrar o console para Python;

Referências

http://cwe.mitre.org/data/definitions/548.html

https://www.owasp.org/index.php/OWASP_Periodic_Table_of_Vulnerabilities_-_Directory_Indexing

https://www.owasp.org/index.php/Top_10_2013-A5-Security_Misconfiguration

https://www.owasp.org/index.php/Top_10_2013-Top_10

Obrigado!