Tenho visto muitas recomendações para bloquear o Internet Archiver Wayback Machine através do robots.txt.
Actualmente estou a bloqueá-lo em todos os meus dominios, gostaria de saber alguem recomenda o bloqueio ou se pelo contrário deveria deixar livre o acesso.
Sobre o Wayback Machine - www.archive.orgThe Internet Archive is a 501(c)(3) non-profit that was founded to build an Internet library. Its purposes include offering permanent access for researchers, historians, scholars, people with disabilities, and the general public to historical collections that exist in digital format.