El infame robot.txt

Te preguntas porque tú nunca apareces en los resultados de Google, es más ni siquiera si pones tu URL en el buscador y ya estas mucho tiempo moviendo tu sitio web, pero la verdad es que pareces invisible para el buscador. Bueno si eses es el caos entonces quizá es hora de revisar al infame archivo robot.txt, pero antes definamos un poco como funciona Google y otros buscadores.

Por lo general los buscadores siempre se valen de pequeñas piezas de código que se los llama “Spiders” estas arañas se mueven por toda la red buscando el contenido de tu sitio web, pero claro no es que sean intrusivas ni nada por el estilo, una vez que las arañas llegan a un sitio web, antes de empezar a trastear sobre el contenido de este primero revisan un archivo llamado Robots.txt que es algo así como las reglas de la casa.

Y claro imagina que tu un día llegas a la puerta de una casa y quieres hacer una inspección porque de tu trabajo te han enviado, el proceso es el mismo, presentas tus credenciales, y te dicen siga o de plano te prohíben el acceso, si eso sucede sigues con la casa de a lado y así todo el día toda la vida.

Entonces volviendo al caso de los Robots.TXT de tu sitio, si piensas que hay un problema con ellos, revisa ese archivo y si tiene la siguiente sentencia:

User-agent: *
Disallow: /

Entonces ya sabemos porque no apareces en ningún buscador, si ese es el caso, lo que debes ahcer es reemplazar esas líneas por:

User-agent: *
Disallow:

Y con eso bastará, la siguiente ocasión que las arañas pasen por tu casa seguro se llevaran una parte de tu contenido a la base del buscador.

Autor: Juan Fernando Pacheco

Mi nombre es Juan Fernando Pacheco, vivo en Quito, Ecuador y soy diseñador web pero trabajo parra una empresa como Arquitecto TI, sin emabrgo mi pasión son los bogs desde el 2000 más o menos cuando los conocí, a modo personal mantengo mis blogs www.juanfernandopacheco.com y www.saturnattacks.com, pero para la red escribo en www.dinero20.com compartiendo algo del conocimiento adquirido en todo este tiempo de andar metido en est mundillo.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *