O robots.txt já está configurado para as zonas que não deve aceder, já tinha tido em conta esse ponto.
provavelmente tens por toda as páginas, faça login para fazer um licitação, ou algo similar.
E em cada um desses lins difere o parametro de retorno a pagina antes do login. exemplo: login.php?returnpage=xpto.html
Para o google ou outro crawler cada link desses é único.
Solução:
- Canonical na pagina de login e usar um rel="nofollow" nesses links
Usares um robots.txt neste caso so te vai prejudicar, porque a existirem tantos links por todo o site a passar PR para uma página que depois o bot não pode aceder só te vai estragar o PR global.
Tens toda a razão, para licitar obviamente é necessário estar registado e redirecciona.
De certeza que é isso que está a causar a situação.
Estive a ver e o google está a indexar pesquisas no meu site, ou seja está a usar o motor de pesquisa do site e a indexar cada pesquisa que faz.
Isso está a provocar 4200 indexações actuais num site que quase não tem ainda conteúdo.
Verifiquei também outra coisa, neste momento tenho 3 bots diferentes da google no site, em ocasiões ficam lá mais de 1 minuto, será que algo está a relentizar o acesso ou é normal?