costo por manejo de redes sociales p>

Todos aman los «hacks».

No soy la excepción––Me encanta encontrar formas de hacer mi vida mejor y más fácil.

Es por esto que la técnica que te contaré hoy es una de mis preferidas. Es un hack de posicionamiento SEO que puedes empezar a utilizar de forma inmediata.

Es una forma de acrecentar tu posicionamiento web al aprovechar una parte natural de cada sitio web que muy extrañamente se mienta. Tampoco es difícil incorporarla.

Es el archivo robots.txt (también llamado protocolo o bien estándar para la exclusión de los robots).

Este pequeño fichero de texto es parte de cada sitio web en la red de redes, pero la mayoría de las personas no lo conocen.

Está diseñado para funcionar con los motores de búsqueda, pero sorprendentemente, es una fuente poder diseño web en vitoria á esperando a ser descubierta.

He visto a muchos clientes del servicio hacer de todo para prosperar el posicionamiento SEO de su sitio web. Cuando les digo que pueden editar un pequeño fichero de texto, casi no me creen.

Sin embargo, existen muchos métodos para progresar tu posicionamiento web en buscadores que no son difíciles ni te quitan un buen tiempo, y éste es uno de ellos.

No necesitas tener ninguna experiencia técnica para aprovechar el poder de los robots.txt. Si puedes encontrar el código fuente para tu sitio web, puedes usar esto.

Cuando estés listo, sígueme y te explicaré la manera en la que puedes cambiar tu fichero de robots.txt para que a los motores de búsqueda les guste.

Descubre cómo aproveché el posicionamiento SEO para.

Por qué el archivo robots.txt es importante

Primero, echemos una ojeada al porqué es importante el archivo robots.txt.

El archivo robots.txt, también conocido como el protocolo o bien estándar de exclusión de robots, es un fichero de texto que les dice a los robots web (motores de búsqueda) qué páginas de tu sitio deben rastrear.

También les afirma a los robots web qué páginas
no debenrastrear.

Supongamos que un motor de búsqueda está a punto de visitar un sitio web. Antes que visite la página objetivo, comprobará el fichero de robots.txt para percibir instrucciones.

Existen distintos géneros de ficheros robots.txt, así que echemos una ojeada a los diferentes tipos de apariencia que tienen.

Digamos que el motor de búsqueda encuentra:

Esta es la columna vertebral del archivo robots.txt.

El asterisco después de «user-agent» quiere decir que el fichero robots.txt está abierto a todos y cada uno de los robots que visiten el sitio web.

La diagonal después de «Disallow» le afirma al robot que no visite ninguna página en el sitio web.

Quizá te estés preguntando por qué alguien querría eludir que los robots web visitaran su sitio web.

Después de todo, uno de los objetivos principales del SEO es lograr que los motores de búsqueda rastreen tu sitio de una forma más fácil para acrecentar tus rankings.

Aquí es donde se encuentra el secreto de este hack de posicionamiento SEO.

Probablemente tengas muchas páginas en tu sitio, ¿verdad? Incluso si estimas que no es así, revísalo. Quizá te sorprendas.

Si un motor de búsqueda rastrea tu sitio, éste rastreará cada una de tus páginas.

Y si tienes muchas páginas, le llevará pero tiempo rastrearlas al bot del motor de búsquedas, lo que tendrá efectos negativos en tu ranking.

Esto es debido a que el Googlebot (el bot del motor de búsqueda de Google) tiene un «presupuesto de rastreo.»

Esto se divide en 2 partes. El primero es una tasa límite de rastreo.:

La segunda parte es una demanda de rastreo:

Básicamente, el presupuesto de rastreo es «el número de URLs que el Googlebot puede y quiere rastrear».

Necesitas ayudar al Googlebot a invertir su presupuesto de rastreo para tu sitio de la mejor forma posible. En otras palabras, debería emplear el tiempo en rastrear tus páginas más valiosas.

Existen algunos factores que, de acuerdo con Google, «afectarán negativamente el rastreo y la indexación de un sitio.»

Estos son esos factores:

Volvamos al fichero robots.txt.

Si creas la página adecuada de robots.txt, puedes decirle a los bots de los motores de búsqueda (y en especial al Googlebot) que eviten ciertas páginas.

Piensa en lo que esto implica. Si le afirmas a los bots de los motores de búsqueda que solamente rastreen tu contenido más útil, los bots rastrearán y también indexarán tu lugar con el foco en ese contenido únicamente.

:

«No deseas que tu servidor se sienta abrumado por el rastreador de Google o bien desperdiciar presupuesto de rastreo al rastrear páginas no esenciales en tu sitio web.»

Al emplear tu robots.txt de la forma adecuada, puedes decirle a los bots de los motores de búsqueda que inviertan su presupuesto de rastreo inteligentemente. Y eso es lo que hace que el archivo robots.txt sea tan útil en un contexto de posicionamiento en buscadores.

¿Te sientes intrigado por el poder de los robots.txt?

¡Pues deberías! Charlemos sobre cómo hallarlo y emplearlo.

 

Encuentra tu fichero robots.txt

Si sólo quieres echar un rápido vistazo a tu archivo robots.txt, hay una forma súper fácil.

De hecho,
este método funcionará con cualquier sitio.Por lo que puedes echar una ojeada a los archivos de otros sitios y ver lo que están haciendo.

Lo único que tienes que hacer es teclear la URL básica del sitio web en la barra de búsquedas de tu navegador (ejemplo: neilpatel.com, quicksprout.com, etc). Y después agregar /robots.txt al final.

Te encontrarás con una de estas 3 situaciones:

1) Encontrarás un fichero robots.txt.

2) Encontrarás un fichero vacío.

Por ejemplo, parece queno tiene un fichero robots.txt:

3) Obtendrás un error cuatrocientos cuatro.

muestra un fallo cuatrocientos cuatro con archivos robots.txt:

Echa un segundo vistazo a tu fichero de robots.txt.

Si encuentras un archivo vacío o un fallo cuatrocientos cuatro, necesitarás solucionarlo.

Si hallas un fichero válido, probablemente tiene la configuración predeterminada que fue creada cuando hiciste tu sitio.

Me gusta este método singularmente para ver los archivos robots.txt de otros sitios web. Cuando aprendas cómo marchan los archivos robots.txt, este método puede ser un valioso ejercicio.

Ahora veamos cómo cambiar tu archivo robots.txt.

Encuentra tu fichero robots.txt

Tus siguientes pasos van a depender de si tienes un archivo robots.txt. (Revisa si lo tienes al utilizar el método que describí previamente).

Si no tienes un fichero robots.txt, necesitarás crear uno desde cero. Abre un editor de texto como el Bloc de Notas (en Windows) o bien TextEdit (Mac).

Solamente emplea un
editor de texto planopara esto. Si empleas programas como Microsoft Word, el programa podría insertar código adicional al texto.

Editpad.org es una excelente opción gratis, y es lo que me verás usando en este artículo.

Volvamos a los robots.txt. Si tienes un archivo robots.txt, necesitarás ubicarlo en el directorio root de tu sitio web.

Si no estás habituado a adentrarte en el código fuente, podría ser un tanto difícil situar la versión editable de tu fichero robots.txt.

Normalmente, puedes encontrar tu directorio root al ir al sitio de tu proveedor de hosting, entrar, e ir a la sección de administración de archivos o FTP de tu sitio.

Deberías ver algo así:

Encuentra tu archivo robots.txt y ábrelo para editarlo. Borra todo el texto, pero mantén el archivo.

Nota: Si estás utilizando WordPress, quizá veas un fichero robots.txt cuando vayas a tusitio.com/robots.txt, pero no podrás localizarlo en tus archivos.

Esto se debe a quesi marketing online marca blanca en el directorio root.

Si esto te sucede, necesitarás crear un nuevo fichero robots.txt.

Crea un archivo robots.txt

Puedes crear un nuevo fichero robots.txt al utilizar el editor de texto plano que elijas. (Recuerda, emplea solamente un editor de texto plano).

Si ya tienes un archivo robots.txt, asegúrate de que has borrado el texto (pero no el fichero).

Primero, necesitarás familiarizarte con algo de la sintaxis usada en un archivo robots.txt.

de algunos de los elementos básicos de robots.txt:

Te voy a enseñar cómo configurar un archivo robots.txt sencillo, y después vamos a echar un vistazo a cómo personalizarlo para tu posicionamiento web en buscadores.

Comienza fijando el término user-agent. Vamos a configurarlo de forma que esté abierto a todos y cada uno de los robots web.

Puedes lograr esto al usar un asterisco después del término usuario-agent, así:

Después, teclea «Disallow:» pero no teclees nada después de eso.

Debido a que no hay nada después de disallow, los robots web se dirigirán a rastrear todo tu sitio web. En este momento, todos los elementos de tu sitio serán vulnerables.

Hasta este momento, tu archivo robots.txt debería verse así:

Sé que se ve súper sencillo, mas estas 2 líneas están haciendo mucho por tu sitio web.

También puedes crear un enlace a, pero no es necesario. Si deseas, esto es lo que puedes escribir:

Aunque no lo creas, así debería verse un fichero robots.txt básico.

Ahora llevemos esto al siguiente nivel y transformemos este pequeño fichero en un potenciador posicionamiento en buscadores.

Optimiza los robots.txt para SEO

El cómo optimes tus robots.txt depende del contenido que tengas en tu lugar. Existen 3 géneros de formas en las que puedes usar los robots.txt a tu favor.

Voy a ver contigo ciertas formas más comunes de usarlo.

(Ten presente que

nodeberías usar robots.txt para bloquear páginas de los motores de búsqueda.Eso sería un gran no-no).

Uno de los mejores usos del fichero robots.txt es aumentar al máximo los presupuestos de rastreo de los motores de búsqueda al decirles que no rastreen las unas partes de tu sitio que no se muestran públicamente.

Por ejemplo, si visitas el archivo robots.txt de este lugar (neilpatel.com), verás que tiene bloqueada la página de login (wp-admin).

Debido a que esta página se usa para entrar a la parte privada del sitio web, no tendría mucho sentido para los bots de los motores de búsqueda desaprovechar su tiempo rastreándola.

(Si tienes WordPress, puedes utilizar exactamente la misma línea disallow).

Puedes emplear una indicación similar (o comando) para eludir que los bots rastreen páginas específicas. Después del disallow, introduce la parte de la URL que viene después del .com. Coloca eso entre las 2 diagonales.

Si deseas decirle a un bot que no rastree tu página, puedes teclear esto:

Quizá te estés preguntando qué tipos de páginas deberías excluir de indexación. Aquí hay un par de escenarios comunes en donde esto puede suceder:

Contenido intencionalmente duplicado. Aunque el contenido copiado es en una gran parte algo malo, existen unos cuantos casos en los que es necesario y aceptable.

Por ejemplo, si tienes una versión imprimible de tu página, técnicamente tienes contenido duplicado. En este caso, podrías decirle a los bots que no rastreen una de esas versiones (por norma general, la versión imprimible).

Esto es muy útil si estás haciendo split testing con páginas que tienen exactamente el mismo contenido mas diseños distintos.

Páginas de gracias.La página de GRACIAS es una de las páginas preferidas de los marketers pues significa un nuevo lead.

¿Verdad?

Al parecer,
algunas páginas de gracias son alcanzables a través de Google.Esto significa quesin pasar por el proceso de captura de leads, y esto no es bueno.

Al bloquear tus páginas de
gracias, puedes cerciorarte de que únicamente los leads cualificados estén viéndolas.

Pongamos que tu página de gracias se encuentra en. En tu fichero robots.txt, bloquear esa página se vería así:

Debido a que no hay reglas universales para saber qué páginas desacreditar, tu fichero robots.txt será único en tu sitio web. Usa tu criterio aquí.

Existen otros 2 géneros de comandos que deberías conocer:
noindex y nofollow.

¿Sabes qué comando disallow hemos estado usando? Realmente no evita que esa página sea indizada.

En teoría, podrías desacreditar una página, pero aun así, podría finalizar en el índice.

Generalmente, no te interesa eso.

Es por eso que necesitas el comando noindex, que marcha con el comando disallow para asegurar que no los bots no visiten o bien indexen ciertas páginas.

Si tienes ciertas páginas que no deseas que se indexen (como las páginas de gracias), puedes emplear los dos comandos, disallow y noindex:

Ahora sí, esa página no se mostrará en las Search Engines Ranking Positions.

Finalmente, tenemos el comando nofollow. De hecho, es la mismo que el. Resumiendo, le afirma a los robots web que no rastreen los enlaces en una página.

Pero el comando nofollow vamos a implementarlo de una forma un poco diferente, por el hecho de que realmente no es parte del archivo robots.txt.

Sin embargo, el comando nofollow sigue dando indicaciones a los robots web, con lo que es exactamente el mismo término. La única diferencia se encuentra en dónde se implementa.

Encuentra el código fuente de la página que desees mudar, y
asegúrate de que esté entre las etiquetas <head>.

Después, pega esta línea:

<meta name=»robots» content=»nofollow»>

De forma que se vea así:

Asegúrate de no estar poniendo esto entre alguna otra etiqueta––sólo las etiquetas <head>.

Esta es otra excelente opción para tus páginas de
gracias, debido a que los robots web no rastrearán enlaces a ningún imán de leads o bien otro contenido exclusivo.

Si deseas agregar los dos comandos: noindex y nofollow, utiliza esta línea de código:

<meta name=»robots» content=»noindex,nofollow»>

Esto le dará a los robots web los dos comandos al mismo tiempo.

Haz pruebas con todo

Finalmente, haz pruebas con tu fichero robots.txt para estar seguro de que todo es válido y marcha de la manera correcta.

Google pone a tu disposición un ecosistema de pruebas para robots.txt como parte de sus herramientas para Administradores web.

Primero, entra enal hacer click en «Acceder» en la esquina superior derecha de tu pantalla.

Selecciona tu propiedad (ejemplo: sitio) y haz click en «Rastrear» al lado izquierdo de tu pantalla.

Verás el
testerde «robots.txt.» Haz click ahí.

Si ya hay algún código en esa sección, bórralo y reemplázalo con tu nuevo fichero robots.txt.

Haz click en «Probar» en el rincón inferior derecha de la pantalla.

Si el texto de «Probar» cambia a «Permitido,» eso quiere decir que tu archivo robots.txt es válido.

sobre la herramienta a fin de que puedas aprender qué significa todo con más detalle.

Finalmente, sube tu archivo robots.txt a tu directorio root (o guárdalo ahí si ya tenías uno). Ahora tendrás como arma un poderoso fichero, y deberías ver un aumento en tu visibilidad de búsqueda.

Conclusión

Siempre me agrada compartir pequeños «hacks» de posicionamiento en buscadores que te pueden dar una ventaja real de muchas formas.

Al configurar tu fichero robots.txt correctamente, no sólo estás mejorando tu SEO. También estás ayudando a tus usuarios.

Si los bots de los motores de búsqueda pueden utilizar sus presupuestos de rastreo inteligentemente, organizarán y mostrarán tu contenido en las SERPs de una mejor manera, lo que significa que tendrás mayor visibilidad.

Tampoco lleva mucho esfuerzo para configurar tu archivo robots.txt. Podríamos decir que es una configuración que se hace una sola vez, y puedes hacer tantos pequeños cambios como precises por el camino.

Ya sea con tu primer sitio web o bien con el quinto, usar robots.txt puede suponer una diferencia significativa. Te invito a darle una vuelta si no lo has hecho ya antes.

¿Cuál es tu experiencia al crear archivos robots.txt?