Boas,
Explicando de forma simples, o robots.txt é um ficheiro de texto que te permite criar regras para os robots dos motores de busca, ou seja imagina que não queres indexar o link "example.com/page/" o teu robots seria:
User-agent: *
Disallow: /page/Possivelmente as páginas que tens indexadas e a dar "Not Found 404" no teu website foi porque trocaste os links das mesmas, neste caso recomendo vivamente a criares regras no teu .htaccess para redirecionares uma pagina para a correta, é uma forma inteligente de dizer ao google "Hey amigo a correta é esta aqui" e de os teus utilizadores não se depararem com 404.
Se não sabes o que é o htaccess podes
ler aqui uma introdução ou até mesmo pedires à empresa de alojamento para de fazer essa configuração.
Cheers!
