Sim, aliás tu nem precisas de ter o "allow", porque por defeito é o padrão.
Tens duas coisas importantes que precisas e saber sobre o robots.txt, que são:
- "User-agent:" - Indica a que robot se destinam as regras, por exemplo podes usar "*" se se aplicam a todos os robots, ou especificar a qual se aplicam indicando o user-agent do robot (googlebot, bing, etc etc).
- "Disallow:" - Indica que não autorizas que deteminada pasta ou ficheiro seja acedido (e consequentemente indexado) pelo robot.
Exemplo de ficheiros: teusite.com/emprego (repara que nao tem barra final, logo é considerado um ficheiro), teusite.com/emprego.php.
Exemplo de pastas: teusite.com/emprego/ (repara que tem uma barra no fim, logo é uma pasta).
Para bloqueares o acesso a qualquer um deles basta usares:
Disallow: /ficheiro - Nega o acesso a um simples ficheiro
Disallow: /pasta/ - Nega o acesso a uma pasta e todo o seu conteudo
Disallow: /pasta1/pasta2/ficheiro - Nega o acesso ao ficheiro dentro da pasta 2
Disallow: /pasta1/pasta2/ - Nega a acesso a toda a pasta 2
Espero ter ajudado.