Alojamiento desde 3,8€ mes
Consigue alojamiento con xzblogs y Dreamhost a partir de 3,8€ al mes con dominio .com propio, 500 GB de espacio y 5 Terabytes de Transferencia Mensual. (más información)
robots.txt
A veces cuando eres novato en el tema del posicionamiento, piensas que lo mejor es tener cuantas más páginas indexadas en google mejor.
Esta afirmación es cierta a medias, es evidente que cuantas más páginas tengas indexadas en los buscadores, más visitas recibirás de estas. Pero hay que tener en cuenta que es mejor una página indexada y bien posicionada que 20 páginas indexadas y mal posicionadas.
Google se centra cada vez más en penalizar contenidos duplicados, y muchas veces si no nos damos cuenta estamos dejando que google indexe páginas dentro de nuestra web que tienen contenidos duplicados, por ejemplo en un blog funcionando con Wordpress como éste, si no lo impedimos google indexará todos los artículos y las páginas de los tags como por ejemplo el tag de posicionamiento de este blog y por lo tanto indexará varias veces el texto del artículo: una vez al indexar el propio artículo y más veces al indexar la página de las etiquetas que contenga.
Este hecho hará que google posicione peor el artículo en cuestión y que pierda relevancia.
La solución es evitar que google indexe todas aquellas páginas y feeds que dupliquen los contenidos, al final tan solo dejaremos que google indexe la página principal, los artículos y las páginas de wordpress.
Lo que haremos será incluir un archivo robots.txt en el directorio principal de nuestra web.
La forma de configurarlo es sencilla, lo único que tienes que hacer es especificar con User-Agent a que robot afectarán las restricciones y con Disallow especificar que páginas deseas bloquear.
Por ejemplo:
# Aplicaremos las restricciones al robot de Google
User-agent: Googlebot
# bloquearemos las páginas que empiecen por /wp- dentro de nuestra web
Disallow: /wp-
# bloquearemos las direcciones de las búsquedas para evitar contenidos duplicados
Disallow: /search
Disallow: /?s=
# bloqueamos el feed de los comentarios
Disallow: /comments/feed
# bloqueamos las páginas del índice para navegar por los artículos
Disallow: /2007/0*
Disallow: /2007/1*
# bloqueamos las páginas de las etiquetas
Disallow: /tag/
Para ver el ejemplo podeis consultar el archivo robots.txt de esta página.
Antes de poner en marcha el archivo robots.txt deberíamos comprobar que funciona correctamente y que tan solo bloquea las páginas que no nos interesa que google indexe, para ello puedes utilizar la utilidad que google incluye en sus Herramientas para Webmasters
Una vez que lo hayamos subido tambien es recomendable analizar el archivo robots.txt para analizar posibles errores que puedan hacer que los robots de los buscadores se confundan al visitar nuestra web, para ello podemos utilizar el Analizador de sintaxis de robots.txt.
Como curiosidad puedes investigar en los archivos robots.txt de las webs que visitas a menudo, incluso en archivo robots.txt de google.
Hace poco leí via ProWeblogs que en Showmoney habían llegado a incrementar las visitas procedentes de google hasta en un 1400%. Realmente me parece un poco exagerado, pero yo creo que si en tu página tienes artículos de calidad, evitando que aparezcan duplicados innecesarios en google conseguirás un incremento de visitas importante.
Artículo recuperado, escrito originalmente el 12 de marzo de 2007
Compártelo
Si te ha gustado este artículo, envíalo a Meneame, Fresqui o Seoclon
Artículos Relacionados en xzBlogs
Dejanos tu Comentario
Comentarios hasta el momento »
Comentarios RSS · TrackBack URI
Blogs que han enlazado este artículo»
-
Usar las categorías como keywords » xzBlogs
-
» xzBlogs
-
Cinco Trucos para mejorar tu posicionamiento » xzBlogs
-
Seo Profesional » Posiciona tu blog 5 - Tu blog de Posicionamiento Web, Diseño Web, Hosting y Dominios
-
Guía de Posicionamiento de Blogs » xzBlogs
-
Truco Experto » Blog Archive » Como posicionar un blog
J.F. dijo
22 de June del 2007 a las 5:21 pm
Buen artículo. Ahora mismo se lo añado a mi Wordpress.
Gracias y saludos.
jmerodio dijo
22 de June del 2007 a las 5:46 pm
Interesante artículo, pero si tu creas contenidos originales para tu web y otras páginas te lo plagian, ¿afectará eso negativamente a tu posicionamiento por contenido duplicado?
saludos
David Villarreal dijo
23 de June del 2007 a las 12:04 pm
En teoría los contenidos duplicados pueden perjudicar al posicionamiento, pero solo si los contenidos son exactamente iguales
Si tan solo han cogido un extracto de tu página no creo que perjudique demasiado
SpamLoco dijo
23 de June del 2007 a las 9:57 pm
¿Como sería el caso de subir el robots.txt en Blogger?.
Se sube como un archivo cualquiera con nombre ”robots.txt” y ya queda en el directorio principal?.
Saludos.
Javier dijo
3 de July del 2007 a las 11:12 pm
Hola me parece exelente este articulo pero me cuesta un poco entenderlo, mira quisiera meter ese robot a mi pagina de blogspot.com
pero no se como, me podrias ayudar, estoy dispuesto a pagarte via paypal si me dices como hacer un robot.txt para blogger
Marketing Digital dijo
3 de December del 2008 a las 12:56 am
Gracias buen aporte ¡¡
Lo del contenido duplicado, me habia comentado uno de nuestros asociados en seo, que ya no estaba siendo penalizado ???
kaztro dijo
16 de December del 2008 a las 4:26 pm
Hola, esta muy bueno el post, pero te hago una pregunta en los blogs como subis el txt?
si mal no entendi, tenes que generar un txt y subirlo a tu directorio para que el robot de google te encuentre, pero en un blog como lo haces?
Gracias!
Marcos dijo
25 de November del 2009 a las 11:07 pm
Buenas!!! parece realmente interesante … yo me baje el plugin de “all in one seo pack” tiene opciones como no indexar categorias no indexar tags y archives. puede que le sirva a alguien que no se da maña con robots.txt.
me gustaria pedirte un favor.cuando tengas un tiempo puedes ver mi web y decirme que opinas … yo estoy leyendo mucho y bueno trato de mejorar dia a dia… pero bueno me seria de mucha utilidad la opinion de un SEO profecional.
muchas gracias y suerte a todos
Marcos
barcelona easy dijo
15 de January del 2010 a las 3:01 pm
Me he encontrado con este articulo por casualidad dias antes de empezar a crear un blog que creo que va hacer importante en su categoria y sin esta informacion no hubiera tenido tanta relevancia en la red. Gracias