Mister_Magoo, testa no Google Search Console (antigo Webmaster Tools) se não tens elementos importantes a ser bloqueados do Google. Por exemplo, o Google agora requer acesso aos ficheiros de CSS e JS que tens no site:
Disallowing crawling of Javascript or CSS files in your site’s robots.txt directly harms how well our algorithms render and index your content and can result in suboptimal rankings.
http://googlewebmastercentral.blogspot.pt/2014/10/updating-our-technical-webmaster.html
Uma forma de testar isto é:
- Entra no Search Console
- Clica em Índice do Google
- Clica em Recursos bloqueados e verifica se não estás a bloquear nada importante.
Outra forma:
- Entra no Search Console
- Clica em Rastrear
- Clica em Obter como Google
- Introduz o endereço de uma página qualquer do teu site e clica em Obter e Renderizar
- Se a página aparecer tal e qual aparece aos visitantes, está tudo bem, se aparecer diferente (sem estilos por exemplo), tens de corrigir isso.
É mais importante esta parte do que tudo o resto no robots.txt. Há até quem o use de forma mínima, olha este exemplo da Yoast (uma autoridade em SEO):
http://yoast.com/robots.txt
