Na minha opinião colocar no robots.txt uma url como Disallow equivale a colocar a meta tag robots desta forma:
<meta name="ROBOTS" content="NOINDEX, NOFOLLOW">
Ou seja, de uma página estiver Disallow no robots.txt não é indexada nem os links são seguidos.
Concordam?
PS.: acho que era interessante poder indicar no robots.txt que uma página não é para indexar, mas os links devem ser seguidos ("NOINDEX, FOLLOW").
