Todos aman los «hacks».

No soy la excepción––Me encanta hallar maneras de hacer mi vida mejor y más fácil.

Es por esto que la técnica que te contaré hoy es una de mis favoritas. Es un hack de SEO que puedes empezar a emplear de forma inmediata.

Es una manera de incrementar tu posicionamiento web al aprovechar una parte natural de cada sitio web que muy raramente se menciona. Tampoco es difícil implementarla.

Es el fichero robots.txt (también llamado protocolo o bien estándar para la exclusión de los robots).

Este pequeño fichero de texto es parte de cada sitio web en la red de redes, pero la mayoría de las personas no lo conocen.

Está diseñado para marchar con los motores de búsqueda, mas sorprendentemente, es una fuente poder posicionamiento en buscadores que está aguardando a ser descubierta.

He visto a muchos clientes hacer de todo para mejorar el posicionamiento web en buscadores de su sitio. Cuando les digo que pueden editar un pequeño fichero de texto, casi no me creen.

Sin embargo, hay muchos métodos para prosperar tu posicionamiento en buscadores que no son difíciles ni te quitan mucho tiempo, y éste es uno de ellos.

No precisas tener ninguna experiencia técnica para aprovechar el poder de los robots.txt. Si puedes encontrar el código fuente para tu sitio web, puedes usar esto.

Cuando estés listo, sígueme y te explicaré la manera en la que puedes cambiar tu fichero de robots.txt para que a los motores de búsqueda les guste.

Descubre cómo aproveché el posicionamiento web en buscadores para.

Por qué el archivo robots.txt es importante

Primero, echemos un vistazo al porqué es importante el archivo robots.txt.

El archivo robots.txt, también conocido como el protocolo o bien estándar de exclusión de robots, es un fichero de texto que les afirma a los robots web (motores de búsqueda) qué páginas de tu sitio deben rastrear.

También les dice a los robots web qué páginas
no debenrastrear.

Supongamos que un motor de búsqueda está a puntito de visitar un sitio. Antes de que visite la página objetivo, comprobará el archivo de robots.txt para recibir instrucciones.

Existen distintos géneros de archivos robots.txt, así que echemos una ojeada a los diferentes tipos de apariencia que tienen.

Digamos que el motor de búsqueda encuentra:

Esta es la columna vertebral del archivo robots.txt.

El asterisco después de «user-agent» significa que el fichero robots.txt está abierto a todos y cada uno de los robots que visiten el sitio.

La diagonal después de «Disallow» le afirma al robot que no visite ninguna página en el sitio.

Quizá te estés preguntando por qué alguien querría eludir que los robots web visitaran su sitio.

Después de todo, uno de los principales objetivos del posicionamiento web en buscadores es lograr que los motores de búsqueda rastreen tu sitio de una forma más fácil para incrementar tus rankings.

Aquí es donde se encuentra el secreto de este hack de posicionamiento en buscadores.

Probablemente tengas muchas páginas en tu sitio, ¿verdad? Aun si consideras que no es así, revísalo. Quizá te sorprendas.

Si un motor de búsqueda rastrea tu sitio, éste rastreará cada una de tus páginas.

Y si tienes muchas páginas, le llevará mas tiempo rastrearlas al bot del motor de búsquedas, lo que tendrá efectos negativos en tu ranking.

Esto es debido a que el Googlebot (el bot del motor de búsqueda de Google) tiene un «presupuesto de rastreo.»

Esto se divide en dos partes. El primero es una tasa límite de rastreo.:

La segunda parte es una demanda de rastreo:

Básicamente, el presupuesto de rastreo es «el número de URLs que el Googlebot puede y desea rastrear».

Necesitas asistir al Googlebot a invertir su presupuesto de rastreo para tu sitio web de la mejor forma posible. En otras palabras, debería emplear el tiempo en rastrear tus páginas más valiosas.

Existen determinados factores que, de acuerdo con Google, «afectarán de manera negativa el rastreo y la indexación de un sitio.»

Estos son esos factores:

Volvamos al fichero robots.txt.

Si creas la página adecuada de robots.txt, puedes decirle a los bots de los motores de búsqueda (y singularmente al Googlebot) que eviten ciertas páginas.

Piensa en lo que esto implica. Si le afirmas a los bots de los motores de búsqueda que únicamente rastreen tu contenido más útil, los bots rastrearán y también indexarán tu sitio con el foco en ese contenido solamente.

:

«No quieres que tu servidor se sienta abrumado por el rastreador de Google o bien desaprovechar presupuesto de rastreo al rastrear páginas no importantes en tu sitio.»

Al emplear tu robots.txt de la forma correcta, puedes decirle a los bots de los motores de búsqueda que inviertan su presupuesto de rastreo inteligentemente. Y eso es lo que hace que el fichero robots.txt sea tan útil en un contexto de SEO.

¿Te sientes intrigado por el poder de los robots.txt?

¡Pues deberías! Hablemos sobre cómo encontrarlo y usarlo.

 

Encuentra tu archivo robots.txt

Si sólo deseas echar un rápido vistazo a tu fichero robots.txt, existe una manera súper fácil.

De hecho,
este método funcionará con cualquier sitio.Por lo que puedes echar una ojeada a los ficheros de otros sitios y ver lo que están haciendo.

Lo único que debes hacer es teclear la URL básica del sitio en la barra de búsquedas de tu navegador (ejemplo: neilpatel.com, quicksprout.com, etc). Y después agregar /robots.txt al final.

Te encontrarás con una de estas tres situaciones:

1) Encontrarás un fichero robots.txt.

2) Encontrarás un archivo vacío.

Por ejemplo, semeja queno tiene un archivo robots.txt:

3) Obtendrás un error cuatrocientos cuatro.

muestra un error cuatrocientos cuatro con archivos robots.txt:

Echa un segundo vistazo a tu archivo de robots.txt.

Si hallas un fichero vacío o bien un fallo cuatrocientos cuatro, necesitarás solucionarlo.

Si encuentras un archivo válido, seguramente tiene la configuración predeterminada que fue creada cuando hiciste tu sitio.

Me agrada este método singularmente para ver los ficheros robots.txt de otros sitios. Cuando aprendas cómo marchan los ficheros robots.txt, este método puede ser un valioso ejercicio.

Ahora veamos cómo mudar tu fichero robots.txt.

Encuentra tu archivo robots.txt

Tus siguientes pasos dependerán de si tienes un fichero robots.txt. (Examina si lo tienes al emplear el método que describí previamente).

Si no tienes un archivo robots.txt, necesitarás crear uno desde cero. Abre un editor de texto como el Bloc de Notas (en Windows) o TextEdit (Mac).

Solamente usa un
editor de texto planopara esto. Si utilizas programas como Microsoft Word, el programa podría introducir código adicional al texto.

Editpad.org es una excelente opción gratis, y es lo que me verás utilizando en este artículo.

Volvamos a los robots.txt. Si tienes un archivo robots.txt, necesitarás ubicarlo en el directorio root de tu sitio.

Si no estás acostumbrado a adentrarte en el código fuente, podría ser un poco difícil ubicar la versión editable de tu fichero robots.txt.

Normalmente, puedes encontrar tu directorio root al ir al sitio de tu proveedor de alojamiento web, entrar, e ir a la sección de administración de archivos o bien FTP de tu sitio web.

Deberías ver algo así:

Encuentra tu archivo robots.txt y ábrelo para editarlo. Borra todo el texto, pero mantén el fichero.

Nota: Si estás usando WordPress, quizá veas un fichero robots.txt cuando vayas a tusitio.com/robots.txt, pero no podrás localizarlo en tus archivos.

Esto se debe a quesi no hay robots.txt en el directorio root.

Si esto te sucede, necesitarás crear un nuevo archivo robots.txt.

Crea un fichero robots.txt

Puedes crear un nuevo archivo robots.txt al emplear el editor de texto plano que escojas. (Recuerda, emplea únicamente un editor de texto plano).

Si ya tienes un archivo robots.txt, asegúrate de que has borrado el texto (mas no el archivo).

Primero, necesitarás familiarizarte con algo de la sintaxis utilizada en un fichero robots.txt.

de ciertos elementos básicos de robots.txt:

Te voy a enseñar cómo configurar un archivo robots.txt fácil, y después echaremos una ojeada a cómo personalizarlo para tu posicionamiento web en buscadores.

Comienza fijando el término user-agent. Vamos a configurarlo de manera que esté abierto a todos los robots web.

Puedes conseguir esto al utilizar un asterisco después del término usuario-agent, así:

Después, teclea «Disallow:» pero no teclees nada después de eso.

Debido a que no hay nada después de disallow, los robots web se dirigirán a rastrear todo tu sitio web. En este momento, todos los elementos de tu sitio serán vulnerables.

Hasta este instante, tu archivo robots.txt debería verse así:

Sé que se ve súper fácil, pero estas dos líneas están haciendo mucho por tu sitio.

También puedes crear un link a, pero no es preciso. Si deseas, esto es lo que puedes escribir:

Aunque no lo creas, así debería verse un archivo robots.txt básico.

Ahora llevemos esto al siguiente nivel y transformemos este pequeño archivo en un potenciador SEO.

Optimiza los robots.txt para SEO

El cómo optimes tus robots.txt depende del contenido que tengas en tu sitio. Existen 3 géneros de formas en las que puedes emplear los robots.txt a favor tuyo.

Voy a ver contigo algunas de las formas más comunes de emplearlo.

(Ten presente que

nodeberías utilizar robots.txt para bloquear páginas de los motores de búsqueda.Eso sería un gran no-no).

Uno de los mejores usos del archivo robots.txt es maximizar los presupuestos de rastreo de los motores de búsqueda al decirles que no rastreen las unas partes de tu sitio que no se muestran públicamente.

Por ejemplo, si visitas el fichero robots.txt de este sitio (neilpatel.com), verás que tiene bloqueada la página de login (wp-admin).

Debido a que esta página se usa para entrar a la parte privada del sitio, no tendría mucho sentido para los bots de los motores de búsqueda desperdiciar su tiempo rastreándola.

(Si tienes WordPress, puedes usar exactamente la misma línea disallow).

Puedes usar una indicación similar (o comando) para evitar que los bots rastreen páginas específicas. Después del disallow, introduce la una parte de la URL que viene después del .com. Pone eso entre las dos diagonales.

Si quieres decirle a un bot que no rastree tu página, puedes teclear esto:

Quizá te estés preguntando qué géneros de páginas deberías excluir de indexación. Aquí hay un par de escenarios comunes en donde esto puede suceder:

Contenido intencionalmente duplicado. Aunque el contenido duplicado es en una gran parte algo malo, existen unos cuantos casos en los que es necesario y admisible.

Por ejemplo, si tienes una versión imprimible de tu página, técnicamente tienes contenido copiado. En un caso así, podrías decirle a los bots que no rastreen una de esas versiones (por norma general, la versión imprimible).

Esto es muy útil si estás haciendo split testing con páginas que tienen exactamente el mismo contenido mas diseños distintos.

Páginas de gracias.La página de GRACIAS es una de las páginas preferidas de los marketers pues significa un nuevo lead.

¿Verdad?

Al parecer,
algunas páginas de gracias son accesibles a través de Google.Esto significa quesin pasar por el proceso de captura de leads, y esto no es bueno.

Al bloquear tus páginas de
gracias, puedes cerciorarte de que únicamente los leads posicionamiento de una página web én viéndolas.

Pongamos que tu página de gracias se halla en. En tu fichero robots.txt, bloquear esa página se vería así:

Debido a que no hay reglas universales para saber qué páginas desacreditar, tu fichero robots.txt será único en tu sitio web. Utiliza tu propio criterio aquí.

Existen otros 2 géneros de comandos que deberías conocer:
noindex y nofollow.

¿Sabes qué comando disallow hemos estado usando? En realidad no evita que esa página sea indexada.

En teoría, podrías desautorizar una página, mas aun así, podría terminar en el índice.

presupuesto diseño web soria , no te resulta interesante eso.

Es por eso que necesitas el comando noindex, que marcha con el comando disallow para asegurar que no los bots no visiten o bien indexen ciertas páginas.

Si tienes algunas páginas que no deseas que se indexen (como las páginas de gracias), puedes utilizar los dos comandos, disallow y noindex:

Ahora sí, esa página no se mostrará en las Search Engines Ranking Positions.

Finalmente, tenemos el comando nofollow. De hecho, es la mismo que el. Resumiendo, le afirma a los robots web que no rastreen los enlaces en una página.

Pero el comando nofollow vamos empresas de creacion de paginas web barcelona de una manera un tanto distinta, pues realmente no forma parte del fichero robots.txt.

Sin embargo, el comando nofollow sigue dando indicaciones a los robots web, por lo que es exactamente el mismo concepto. La única diferencia se encuentra en dónde se incorpora.

Encuentra el código fuente de la página que desees mudar, y
asegúrate de que esté entre las etiquetas <head>.

Después, pega esta línea:

<meta name=»robots» content=»nofollow»>

De manera que se vea así:

Asegúrate de no estar poniendo esto entre alguna otra etiqueta––sólo las etiquetas <head>.

Esta es otra excelente opción para tus páginas de
gracias, dado a que los robots web no rastrearán links a ningún imán de leads o bien otro contenido exclusivo.

Si deseas añadir los dos comandos: noindex y nofollow, utiliza esta línea de código:

<meta name=»robots» content=»noindex,nofollow»>

Esto le dará a los robots web ambos comandos al mismo tiempo.

Haz pruebas con todo

Finalmente, haz pruebas con tu fichero robots.txt para estar seguro de que todo es válido y funciona de la forma correcta.

Google pone a tu disposición un ecosistema de pruebas para robots.txt como parte de sus herramientas para Webmasters.

Primero, entra enal hacer clic en «Acceder» en el rincón superior derecha de tu pantalla.

Selecciona tu propiedad (ejemplo: sitio web) y haz click en «Rastrear» al lado izquierdo de tu pantalla.

Verás el
testerde «robots.txt.» Haz clic ahí.

Si ya hay algún código en esa sección, bórralo y reemplázalo con tu nuevo archivo robots.txt.

Haz click en «Probar» en el rincón inferior derecha de la pantalla.

Si el texto de «Probar» cambia a «Permitido,» eso significa que tu archivo robots.txt es válido.

sobre la herramienta para que puedas aprender qué significa todo con más detalle.

Finalmente, sube tu fichero robots.txt a tu directorio root (o guárdalo ahí si ya tenías uno). Ahora tendrás como arma un poderoso fichero, y deberías ver un incremento en tu visibilidad de búsqueda.

Conclusión

Siempre me gusta compartir pequeños «hacks» de posicionamiento en buscadores que te pueden dar una ventaja real de muchas formas.

Al configurar tu archivo robots.txt correctamente, no sólo estás mejorando tu posicionamiento web en buscadores. También estás ayudando a tus usuarios.

Si los bots de los motores de búsqueda pueden utilizar sus presupuestos de rastreo inteligentemente, organizarán y mostrarán tu contenido en las Search Engines Ranking Positions de una mejor forma, lo que significa que tendrás mayor visibilidad.

Tampoco lleva mucho esmero para configurar tu archivo robots.txt. Podríamos decir que es una configuración que se hace una sola vez, y puedes hacer tantos pequeños cambios como necesites por el camino.

Ya sea con tu primer sitio web o bien con el quinto, emplear robots.txt puede suponer una diferencia significativa. Te recomiendo darle una vuelta si no lo has hecho ya antes.

¿Cuál es tu experiencia al crear ficheros robots.txt?