El infame archivo robots.txt

Hace tiempo que la discusión se torna acalorada en el medio SEO sobre la importancia o no de mantener un actualizado y sano un archivo robots.txt, pero la pregunta que sacude a todos es acaso Google en verdad respeta la sanidad de un archivo robot.txt.

Todo esto porque desde hace un tiempo se han escuchado voces en el medio blogueril que hablan sobre que a la gran G al parecer el momento de indexar un sitio, no le importa mucho el hecho de que tu archivo robots.txt este bien tenido y según dicen se pasa por encima este y registra todo lo que hay en el sitio, sea contenido duplicado o enlaces pagados que comentaste como “no follow”.

Si esto es cierto y la acusación resulta verdadera entonces la postura de miles de bloggers de no mantener un archivo robots.txt sano es la correcta, todo esto respecto de que una página bien escrita puede ser partida en al menos 10 segmentos usados por diferentes métodos en otros blogs, (imágenes, texto, tags, categorías, etc) y con ello lograr un mayor y mejor efecto “long tail”.

Claro, al final es verdad que una página bien escrita y documentada siempre será mejor calificada para google que otra en la que sea notorio a la larga que el contenido fue digamos “tomado prestado” de otro sitio, pero mientras eso sucede los benficiarios seran otros tantos.

Te puede interesar

Escribe un comentario