← SEO

Questão SEO robots.txt

Lida 6037 vezes

Offline

johndays 
Membro
Mensagens 387 Gostos 1
Feedback +3

Troféus totais: 24
Trófeus: (Ver todos)
Super Combination Combination Topic Starter 10 Poll Votes Poll Voter Level 4 Level 3 Level 2 Level 1 100 Posts

Malta entendida em seo, tenho uma dúvida. Imaginem que tenho o site abc com um portal e fórum. Sendo que o portal está na root e o fórum em /forum. Tenho que fazer 2 robots.txt, ou seja, um para o forum e outro para o portal ou existe forma de restringir ao spiderbot acessos a determinadas páginas só com o robots.txt na root?

Obrigado desde já!
Offline

bonsempregos 
Membro
Mensagens 2008 Gostos 7
Feedback +3

Troféus totais: 29
Trófeus: (Ver todos)
Super Combination Combination Topic Starter 10 Poll Votes Poll Voter Poll Starter Level 5 Level 4 Level 3 Level 2

podes e deves colocar o todas os folders/documentos que não queres ver indexados na root do site...
Offline

johndays 
Membro
Mensagens 387 Gostos 1
Feedback +3

Troféus totais: 24
Trófeus: (Ver todos)
Super Combination Combination Topic Starter 10 Poll Votes Poll Voter Level 4 Level 3 Level 2 Level 1 100 Posts

Certo, mas o que eu queria saber é se para cada site só existe um robots.txt ou se podem existir vários. Reparem que o maistrafego tem um para o forum e outro para o portal.
Offline

bonsempregos 
Membro
Mensagens 2008 Gostos 7
Feedback +3

Troféus totais: 29
Trófeus: (Ver todos)
Super Combination Combination Topic Starter 10 Poll Votes Poll Voter Poll Starter Level 5 Level 4 Level 3 Level 2

Embora possas responder a essa questão com uma pesquisa no google e não tenha nada a ver com SEO. fica aqui a resposta:

O robots.txt deve ser apenas colocado na root do site.

Se tiveres um subdominio, colocas tambem da root do subdominio, já que o mesmo é considerado um "outro site"

No teu caso, tens o /forum como directoria, logo o robots que prevalece é o que está no teu dominio.com
Offline

johndays 
Membro
Mensagens 387 Gostos 1
Feedback +3

Troféus totais: 24
Trófeus: (Ver todos)
Super Combination Combination Topic Starter 10 Poll Votes Poll Voter Level 4 Level 3 Level 2 Level 1 100 Posts

Embora possas responder a essa questão com uma pesquisa no google e não tenha nada a ver com SEO. fica aqui a resposta:

O robots.txt deve ser apenas colocado na root do site.

Se tiveres um subdominio, colocas tambem da root do subdominio, já que o mesmo é considerado um "outro site"

No teu caso, tens o /forum como directoria, logo o robots que prevalece é o que está no teu dominio.com

Que fique claro que antes de abrir o tópico pesquisei no google e andei a ver vários robots.txt de vários sites, mas mesmo assim não fiquei muito bem esclarecido. Se isto é um fórum, não sei qual é o problema de ter perguntado, queria simplesmente que alguém me esclarecesse rapidamente e eficazmente. Conseguiste-o agora ... uma outra coisa, se não tem a ver nada com seo, tem a ver com? Assim edito o nome do tópico para futuras pessoas com a mesma dúvida.

Já agora, como é que adaptava ao meu /forum no robots.txt, imaginando que queria pôr exactamente igual ao do forum.maistrafego.pt

Citar
http://forum.maistrafego.pt/robots.txt

User-agent: *
Disallow: *action=admin*
Disallow: *action=help*
Disallow: *action=login*
Disallow: *action=mlist*
Disallow: *action=post*
Disallow: *action=register*
Disallow: *action=search*
Disallow: *action=who*
Disallow: /Themes/

passaria para

Citar
http://forum.maistrafego.pt/robots.txt

User-agent: *
Disallow: /forum/*action=admin*
Disallow: /forum/*action=help*
Disallow: /forum/*action=login*
Disallow: /forum/*action=mlist*
Disallow: /forum/*action=post*
Disallow: /forum/*action=register*
Disallow: /forum/*action=search*
Disallow: /forum/*action=who*
Disallow: /forum//Themes/

?

Obrigado e mais uma vez, sei que talvez fosse capaz de esclarecer a minha dúvida com uma pesquisa mais aprofundada, mas isto é um fórum certo? Qual é objectivo de um fórum?

Offline

bonsempregos 
Membro
Mensagens 2008 Gostos 7
Feedback +3

Troféus totais: 29
Trófeus: (Ver todos)
Super Combination Combination Topic Starter 10 Poll Votes Poll Voter Poll Starter Level 5 Level 4 Level 3 Level 2

Offline

johndays 
Membro
Mensagens 387 Gostos 1
Feedback +3

Troféus totais: 24
Trófeus: (Ver todos)
Super Combination Combination Topic Starter 10 Poll Votes Poll Voter Level 4 Level 3 Level 2 Level 1 100 Posts

Diz-me só se está syntax está correcta :

User-agent: *
Disallow: /forum/*action=admin*
Offline

bonsempregos 
Membro
Mensagens 2008 Gostos 7
Feedback +3

Troféus totais: 29
Trófeus: (Ver todos)
Super Combination Combination Topic Starter 10 Poll Votes Poll Voter Poll Starter Level 5 Level 4 Level 3 Level 2

Eu se fosse a ti não me fiava no robots.txt do + trafego... está completamente errado..

Qualquer endereço tem de ter um / inicial...
Offline

johndays 
Membro
Mensagens 387 Gostos 1
Feedback +3

Troféus totais: 24
Trófeus: (Ver todos)
Super Combination Combination Topic Starter 10 Poll Votes Poll Voter Level 4 Level 3 Level 2 Level 1 100 Posts

E no que meti em cima não tem?

http://www.murraysworld.com/robots.txt

Parece-me que a syntax que eu coloquei está correcta segundo esse link.

Obrigado.
Offline

bonsempregos 
Membro
Mensagens 2008 Gostos 7
Feedback +3

Troféus totais: 29
Trófeus: (Ver todos)
Super Combination Combination Topic Starter 10 Poll Votes Poll Voter Poll Starter Level 5 Level 4 Level 3 Level 2

Embora possas usar o wildcard (*), na minha opinião, é preferivel que não o fazeres. No entanto funciona.

Resumindo a tua syntax está correcta, ao contrário da do mais tráfego.
Offline

johndays 
Membro
Mensagens 387 Gostos 1
Feedback +3

Troféus totais: 24
Trófeus: (Ver todos)
Super Combination Combination Topic Starter 10 Poll Votes Poll Voter Level 4 Level 3 Level 2 Level 1 100 Posts

Qual é o problema de usar o *? Tens má experiência?

Obrigado. Era só isto.
Offline

Nuno 
Administrador
Mensagens 7780 Gostos 216
Feedback +2

Troféus totais: 42
Trófeus: (Ver todos)
100 Poll Votes Level 7 Search Mobile User Level 6 Super Combination Combination Topic Starter 50 Poll Votes 10 Poll Votes

De facto o robots.txt do +t deveria usar a barra inicial. Não quer dizer que não funcione, mas seria o procedimento correcto.
Offline

bonsempregos 
Membro
Mensagens 2008 Gostos 7
Feedback +3

Troféus totais: 29
Trófeus: (Ver todos)
Super Combination Combination Topic Starter 10 Poll Votes Poll Voter Poll Starter Level 5 Level 4 Level 3 Level 2

olha que não funciona Nuno, não os tens no google porque o google ao fim de um tempo os ignora, mas no bing estão indexados:

Exemplo: http://www.bing.com/search?q=site%3Aforum.maistrafego.pt+*action%3Dlogin*&go=&form=QBLH&filt=all
Offline

Nuno 
Administrador
Mensagens 7780 Gostos 216
Feedback +2

Troféus totais: 42
Trófeus: (Ver todos)
100 Poll Votes Level 7 Search Mobile User Level 6 Super Combination Combination Topic Starter 50 Poll Votes 10 Poll Votes

No webmaster tools, indica-me que essas URLs estão restringidas pelo robots. Vou ver o Bing...

Mas lá está, estamos com outras questões nesta altura em termos de plataforma. Essa configuração do robots já deve ter quase 4 anos. Não que seja desculpa para estar errada, mas não olhem para essas questões no +t, nunca tivemos preocupações de SEO por aqui, ou se tivemos foram poucas.
Offline

bonsempregos 
Membro
Mensagens 2008 Gostos 7
Feedback +3

Troféus totais: 29
Trófeus: (Ver todos)
Super Combination Combination Topic Starter 10 Poll Votes Poll Voter Poll Starter Level 5 Level 4 Level 3 Level 2

Ninguem está a criticar, é normal qualquer site ter 1 erro ou outro, apenas calhou em conversa, porque o op deu o exemplo do robots daqui.