← Conversa Geral

Dúvidas robots.txt

Lida 1937 vezes

Offline

Mister_Magoo 
Membro
Mensagens 594 Gostos 38
Troféus totais: 29
Trófeus: (Ver todos)
Nineth year Anniversary Eighth year Anniversary Quick Poster Signature Level 5 Search Windows User Super Combination Combination Topic Starter

Sempre tive dúvidas sobre o robots.txt e já li diversos tutoriais e cada um indica de uma forma.

O meu robots.txt esta dessa forma abaixo. Esta correto?

User-agent: *

Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /comments/feed/
Disallow: /xmlrpc.php
Disallow: *?replytocom
Disallow: /wp-content/plugins/
Disallow: /tag/
Disallow: /tags/
Disallow: /author/
Disallow: /wget/
Disallow: /uncategorized/
Disallow: /trackback/
Disallow: /*?*

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

#User-agent: ia_archiver-web.archive.org
#Disallow: /

Sitemap: http://xxxxxx/sitemap.xml
Offline

overcloud 
Membro
Mensagens 15 Gostos 2
Troféus totais: 15
Trófeus: (Ver todos)
Super Combination Combination Topic Starter Poll Voter Level 3 Level 2 Level 1 10 Posts First Post Signature

sim, falta só colocar um barra no *?replytocom, ficando /*?replytocom
Offline

Luís Salvador 
Membro
Mensagens 2068 Gostos 37
Feedback +4

Troféus totais: 28
Trófeus: (Ver todos)
Apple User Super Combination Combination Topic Starter Poll Voter Level 5 Level 4 Level 3 Level 2 Level 1

Acho que é mesmo só Disallow: *?replytocom
Offline

Mister_Magoo 
Membro
Mensagens 594 Gostos 38
Troféus totais: 29
Trófeus: (Ver todos)
Nineth year Anniversary Eighth year Anniversary Quick Poster Signature Level 5 Search Windows User Super Combination Combination Topic Starter

Ainda com dúvida.....

Quem mais poder ajudar agradeço.
Offline

Carlos Gandra 
Administrador
Mensagens 3082 Gostos 97
Feedback +1

Troféus totais: 34
Trófeus: (Ver todos)
Level 6 Super Combination Combination Topic Starter 50 Poll Votes 10 Poll Votes Poll Voter Poll Starter Level 5 Level 4

Mister_Magoo, testa no Google Search Console (antigo Webmaster Tools) se não tens elementos importantes a ser bloqueados do Google. Por exemplo, o Google agora requer acesso aos ficheiros de CSS e JS que tens no site:

Citar
Disallowing crawling of Javascript or CSS files in your site’s robots.txt directly harms how well our algorithms render and index your content and can result in suboptimal rankings.

http://googlewebmastercentral.blogspot.pt/2014/10/updating-our-technical-webmaster.html

Uma forma de testar isto é:
 - Entra no Search Console
 - Clica em Índice do Google
 - Clica em Recursos bloqueados e verifica se não estás a bloquear nada importante.

Outra forma:
 - Entra no Search Console
 - Clica em Rastrear
 - Clica em Obter como Google
 - Introduz o endereço de uma página qualquer do teu site e clica em Obter e Renderizar
 - Se a página aparecer tal e qual aparece aos visitantes, está tudo bem, se aparecer diferente (sem estilos por exemplo), tens de corrigir isso.

É mais importante esta parte do que tudo o resto no robots.txt. Há até quem o use de forma mínima, olha este exemplo da Yoast (uma autoridade em SEO): http://yoast.com/robots.txt
Offline

Mister_Magoo 
Membro
Mensagens 594 Gostos 38
Troféus totais: 29
Trófeus: (Ver todos)
Nineth year Anniversary Eighth year Anniversary Quick Poster Signature Level 5 Search Windows User Super Combination Combination Topic Starter

Caramba não lembrei de olhar nessa opção obrigado.

Olhei agora e tive uma grande surpresa 151 Páginas com recursos bloqueados tudo /wp-content/ e apaguei agora essa linha do meu robots.txt e fui logo na opção testar robots.txt e tirei também /wp-content/.

Tem ideia de quanto tempo o Google leva para acertar o erro de rastreamento após atualizado o robots.txt?



Offline

Carlos Gandra 
Administrador
Mensagens 3082 Gostos 97
Feedback +1

Troféus totais: 34
Trófeus: (Ver todos)
Level 6 Super Combination Combination Topic Starter 50 Poll Votes 10 Poll Votes Poll Voter Poll Starter Level 5 Level 4

Tem ideia de quanto tempo o Google leva para acertar o erro de rastreamento após atualizado o robots.txt?

Isso já não te sei dizer, mas dentro de alguns dias volta a verificar no Search Console, em principio os erros já terão desaparecido e estará tudo ok :)
Offline

Mister_Magoo 
Membro
Mensagens 594 Gostos 38
Troféus totais: 29
Trófeus: (Ver todos)
Nineth year Anniversary Eighth year Anniversary Quick Poster Signature Level 5 Search Windows User Super Combination Combination Topic Starter

Isso já não te sei dizer, mas dentro de alguns dias volta a verificar no Search Console, em principio os erros já terão desaparecido e estará tudo ok :)

Obrigado pela ajuda.

Aproveitar o tópico se ainda poder ajudar.

Olhando o GWT em melhorias de html Tag title - Títulos ausentes consta 302, porém todos tem títulos nenhum esta ausente.

Saberia informar o que pode ser ou como resolver?