Robots.txt y SEO: todo lo que precisas saber |
Robots.txt es uno de los archivos más simples de un sitio web mas también uno de los más fáciles de arruinar. Sólo un error de tipeo puede causar estragos en tu posicionamiento SEO y evitar que los motores de búsqueda accedan al contenido esencial en tu sitio.
Esta es la razón por la que los fallos de configuración de robots.txt son extremadamente comunes, aun entre los profesionales SEO con experiencia.
En esta guía aprenderás:
Un fichero robots.txt le afirma a los motores de búsqueda por dónde pueden y por donde no pueden ir en tu lugar.
En primer sitio, cuenta todo el contenido que quieres bloquear de los motores de búsqueda como Google. También le puedes señalar a ciertos motores de búsqueda (no a Google)
cómopueden rastrear el contenido accesible.
La mayoría de los motores de búsqueda son obedientes. No tienen el hábito de ignorar una restricción. Dicho esto, algunos no son tímidos a la hora de obviar dichas restricciones.
Google no es uno de esos motores de búsqueda, obedece las instrucciones de un fichero robots.txt.
Sólo debes saber que ciertos motores de búsqueda lo ignoran por completo.
Este es el formato básico de un archivo robots.txt:
Si jamás has visto uno de estos ficheros ya antes puede parecer desmoralizador. Sin embargo, la sintaxis es bastante simple. En resumen, tienes que asignar reglas a los robots indicando su
user-agentseguido de las
directivas.
Exploremos estos 2 componentes con más detalle.
Cada motor de búsqueda se identifica con un usuario-agent diferente. webs en drupal instrucciones adaptadas para cada uno de ellos en el fichero robots.txt. Hay, pero aquí hay algunos útiles en relación al SEO:
Todos los user-agents distinguen entre mayúsculas y minúsculas en robots.txt.
También puedes utilizar el asterisco (*) para asignar directivas a todos y cada uno de los usuario-agents.
Por ejemplo, imaginemos que quieres bloquear todos los bots excepto Googlebot para que no rastree tu lugar. Así es como lo harías:
Tienes que saber que tu fichero robots.txt puede incluir directivas para tantos user-agents como desees. Dicho esto, cada vez que declares un nuevo usuario-agent, éste ignorará las directivas declaradas anteriormente para otros user-agents. En otras palabras, si añades directivas para múltiples user-agents, las directivas declaradas para el primer user-agent no se aplicarán al segundo, o bien al tercero, o bien al cuarto, y así sucesivamente.
La excepción a esta regla es cuando se declara el mismo usuario-agent más de una vez. En ese caso, se combinan y se cumplen todas las directivas pertinentes.
Los rastreadores sólo prosiguen las reglas declaradas bajo el (los) usuario-agent(s) que
se se aplican a ellos de la forma más específica posible. De ahí que que el archivo robots.txt bloquea a todos y cada uno de los bots excepto a Googlebot (y a otros robots de Google) para que no puedan rastrear el sitio, Googlebot ignora la declaración de usuario-agent menos específica.
Las directivas son las reglas que quieres que los user-agents declarados sigan.
Aquí están las directivas que Google acepta actualmente, junto con sus usos.
Utiliza esta directiva para indicar a los motores de búsqueda que no accedan a archivos y páginas que se encuentren bajo una senda específica. Por ejemplo, si quieres bloquear el acceso de todos y cada uno de los motores de búsqueda a tu weblog y a todos sus mensajes, el fichero robots.txt puede verse así:
Si no defines una senda después de la directiva disallow, los motores de búsqueda la ignorarán.
Utiliza esta directiva para permitir a los motores de búsqueda rastrear un subdirectorio o una página, incluso en un directorio que de otro modo no estaría tolerado. Por servirnos de un ejemplo, si deseas eludir que los motores de búsqueda accedan a todas y cada una de las entradas de tu blog excepto a una, el archivo robots.txt puede tener este aspecto:
En este ejemplo, los motores de búsqueda pueden acceder a:
/blog/post-permitido. Pero no pueden acceder a:
/blog/otro-post
/blog/y-otro-post
/blog/descarga.pdf
Tanto Google como Bing aceptan esta directiva.
Al igual que con la directiva disallow, si no defines una ruta después de la directiva allow, los motores de búsqueda la ignorarán.
nota sobre reglas conflictivas
A menos que seas cuidadoso, las directivas allow y disallow pueden fácilmente entrar en conflicto entre sí. En el siguiente ejemplo no se le permite el acceso a
/blog/y se deja el acceso a
/blog.
En este caso, la URL
/blog/post-title/parece tener ambas directivas. Entonces ¿cuál gana?
Para Google y Bing, la regla es que gana la directiva con más caracteres. Esa es la directiva disallow.
Disallow: /blog/
(seis caracteres)
Allow: /blog
(cinco caracteres)
Si las directivas allow y disallow tienen la misma longitud, entonces gana la directiva menos restrictiva. En un caso así, esa sería la directiva allow.
Aquí,
/blog(sin la barra) sigue siendo alcanzable y rastreable.
Es esencial mencionar que
esto sólo aplica para el caso de Google y Bing. Otros motores de búsqueda obedecen a la primera directiva coincidente. En este caso sería disallow.
Utiliza esta directiva para concretar la ubicación de tu(s) sitemap(s) en los motores de búsqueda. Si no estás familiarizado con los sitemaps, en general incluyen las páginas que quieres que los motores de búsqueda rastreen e indexen.
A continuación se muestra un ejemplo de un fichero robots.txt que emplea la directiva sitemap:
¿Qué relevancia tiene incluir tu(s) sitemap(s) en tu archivo robots.txt? Si ya lo has enviado a través de Search Console entonces es algo redundante para Google. Sin embargo, le dicen a otros motores de búsqueda como Bing dónde hallar tu sitemap, con lo que sigue siendo una buena práctica.
Ten en cuenta que no es necesario repetir la directiva sitemap múltiples veces para cada usuario-agent, éste aplica para todos. Por tanto, lo mejor es incluir las directivas del sitemap al principio o al final del fichero robots.txt. Por ejemplo:
Googlela directiva sitemap, así como Ask, Bing, y Yahoo.
Puedes incluir tantos sitemaps como desees en tu archivo robots.txt.
Estas son las directivas que—algunas de las que nunca lo fueron, técnicamente.
Anteriormente podías usar esta directiva para concretar un retardo del rastreo en segundos. Por poner un ejemplo, si quisieras que Googlebot espere 5 segundos después de cada acción de rastreo, debías establecer el difiero de rastreo en 5:
Google ya no admite esta directiva peroysí.
Dicho esto, ten cuidado al establecer esta directiva, en especial si tienes un sitio grande. Si estableces un retardo de rastreo de 5 segundos, entonces estarás limitando a los bots a rastrear un máximo de diecisiete y doscientos ochenta URLs al día. Eso no es muy útil si tienes millones de páginas, pero podría ahorrar ancho de banda si tienes un sitio web pequeño.
Esta directiva jamás fue apoyada oficialmente por Google. No obstante, hasta hace poco, se creía que Google tenía algún “código que maneja reglas no admitidas y no publicadas (como el noindex)”. Así que si deseas eludir que Google indexe todas las entradas de tu blog, puedes emplear la siguiente directiva:
Sin embargo, el 1 de septiembre de dos mil diecinueve, Google dejó claro que
esta directiva no está admitida. Si deseas excluir una página o un fichero de los motores de búsqueda, usa en su sitio la etiqueta meta robots o bien el encabezado HTTP x‑robots.
Esta es otra directiva que Google nunca apoyó oficialmente y fue utilizada para indicar a los motores de búsqueda que no prosiguieran enlaces en páginas y archivos bajo una ruta específica. Por servirnos de un ejemplo, si quieres evitar que Google siga todos y cada uno de los links de tu weblog, puedes utilizar la siguiente directiva:
Google anunció que esta directiva no tiene soporte oficial desde el 1 de septiembre de 2019. Si quieres no seguir todos y cada uno de los links de una página ahora, debes utilizar la meta tag robots o bien el encabezado x‑robots. Si deseas apuntar a Google que no siga enlaces específicos de una página, utiliza el atributo de link rel=“nofollow”.
Tener un archivo robots.txt no es vital para muchos sitios web, en especial para los más pequeños.
Dicho esto, no existe ninguna buena razón para no tener uno. Te dará más control sobre dónde los motores de búsqueda pueden y no pueden entrar en tu sitio web, y esto podría asistirte con cosas como:
Ten en cuenta que si bien Google no acostumbra a indexar las páginas web que están bloqueadas por robots.txt,
no hay forma de asegurar la exclusión en los resultados de búsqueda mediante el fichero robots.txt.
Como, si el contenido está enlazado desde otros lugares en la web, puede llegar a aparecer en los resultados de búsqueda de Google.
Si ya tienes un fichero robots.txt en tu sitio, podrás acceder a él a través de dominio.com/robots.txt. Navega hasta la URL de tu navegador. Si ves algo como esto, entonces tienes un archivo robots.txt:
Si aún no tienes un archivo robots.txt, crear uno es fácil. Simplemente abre un documento .txt en blanco y empieza a redactar directivas. Por servirnos de un ejemplo, si quieres impedir que todos los motores de búsqueda rastreen tu directorio
/admin/se debería ver algo así:
Continúa redactando las directivas hasta que estés satisfecho con lo que tienes. Guarda tu fichero como “robots.txt”.
Alternativamente, también puedes utilizar un generador robots.txt como.
La ventaja de emplear una herramienta como esta es que minimiza los fallos de sintaxis. Esto es bueno pues un fallo podría resultar en una catástrofe SEO para tu sitio, con lo que vale la pena ir por el lado de la precaución.
La desventaja es que son algo limitados en términos de personalización.
Ubica el fichero robots.txt en el directorio raíz del subdominio al que se aplique. Por ejemplo, para controlar el comportamiento de rastreo en un
dominio.com, el fichero robots.txt ha de estar alcanzable en
dominio.com/robots.txt.
Si quieres supervisar la rastreabilidad en un subdominio como
blog.dominio.com, el archivo robots.txt debe estar alcanzable en
blog.dominio.com/robots.txt.
Tenlos en cuenta para evitar fallos comunes.
Cada directiva debería ir en una nueva línea. De lo contrario confundirá a los motores de búsqueda.
Incorrecto:
Correcto:
No sólo puedes usar asteriscos (*) para aplicar directivas a todos los usuario-agents sino más bien también para que coincidan con los patrones de URL al declarar directivas. Por poner un ejemplo, si quieres evitar que los motores de búsqueda accedan a las URLs de las categorías de productos parametrizadas en tu sitio, puedes enumerarlas de la siguiente manera:
Pero no es muy eficiente. Sería mejor si simplificáramos las cosas con un asterisco, de la siguiente manera:
Este ejemplo bloquea a los motores de búsqueda para que no rastreen todas las URLs bajo la subcarpeta /productos/ que contengan un signo de interrogación. En otras palabras, cualquier URL parametrizada de la categoría “producto”.
Incluye el símbolo “ dólares americanos ” para marcar el final de una URL. Por ejemplo, si quieres evitar que los motores de búsqueda accedan a todos los archivos .pdf de tu sitio, el archivo robots.txt debería verse así:
En este ejemplo, los motores de búsqueda no pueden acceder a ninguna URL que finalice en.pdf. Esto significa que no pueden acceder a /archivo.pdf, mas pueden acceder a /archivo.pdf?id= por el hecho de que no acaba con “.pdf”.
A Google no le importa si especificas el mismo usuario-agent varias veces. Simplemente combinará todas y cada una de las reglas de las diferentes declaraciones en una y las seguirá todas. Por poner un ejemplo, si tienes los próximos usuario-agents y directivas en tu archivo robots.txt.…
… Googlebot
no dejaría de rastrearninguna de las 2 subcarpetas.
Dicho esto, tiene sentido declarar a cada usuario-agent sólo una vez porque es menos confuso. En otras palabras, es menos probable que cometas fallos críticos al mantener las cosas ordenadas y simples.
La falta de instrucciones específicas a la hora de establecer directivas puede dar sitio a fallos fáciles que pueden tener un impacto catastrófico en el posicionamiento SEO. Por poner un ejemplo, pongamos que tienes un lugar multilingüe y que estás trabajando en una versión en alemán que estará libre en el subdirectorio /de/.
Debido a que no está listo para marchar, quieres eludir que los motores de búsqueda accedan a él.
El fichero robots.txt que se muestra a continuación evitará que los motores de búsqueda accedan a esa subcarpeta y a todo lo que contiene:
Pero también evitará que los motores de búsqueda rastreen páginas o bien archivos que empiecen con
/de.
Por ejemplo:
/decoracion/
/delivery-informacion.html
/depeche-mode/camisetas/
/definitivamente-no-para-ser-visto-en-publico.pdf
En este caso, la solución es simple: añadir una barra.
Los comentarios asisten a explicar el fichero robots.txt a los desarrolladores, e incluso potencialmente a tu futuro . Para incluir un comentario, empieza la línea con un numeral (#).
# Esto le señala a Bing que no rastree nuestro lugar.
Los rastreadores ignorarán todo cuanto haya en las líneas que comiencen con un numeral.
Robots.txt sólo controla el comportamiento de rastreo en el subdominio donde esté alojado. Si deseas controlar el rastreo en un subdominio diferente, necesitarás un archivo robots.txt separado.
Por ejemplo, si tu lugar primordial se halla en dominio.com y tu blog en blog.dominio.com, necesitarás 2 archivos robots.txt. Uno debe ir en el directorio raíz del dominio principal, y el otro en el directorio raíz del blog.
A continuación se muestran algunos ejemplos de ficheros robots.txt. Estos son eminentemente para inspirarse, mas si uno de ellos se ajusta a tus necesidades, cópialo y pégalo en un documento de texto, guárdalo como “robots.txt” y cárgalo en el directorio apropiado.
Si no se declara una URL después de una directiva, ésta se vuelve redundante. En otras palabras, los motores de búsqueda lo ignoran. Es por eso que esta directiva no tiene ningún efecto en el sitio; los motores de búsqueda todavía pueden rastrear todas las páginas y archivos.
Los fallos de robots.txt se pueden deslizar por la red con bastante facilidad, con lo que vale la pena estar al loro a los problemas.
Para hacerlo, busca regularmente cuestiones relacionadas al robots.txt en el reporte de “Cobertura” de. Aquí debajo tienes algunos de los fallos que podrías ver, qué significan y cómo podrías solventarlos.
¿Necesitas buscar errores en una pá posicionamiento web cantabria ?
Pega la URL en la herramienta de inspección de URLs de Google en Search Console. Si está bloqueado por robots.txt, deberías ver algo como esto:
Esto quiere decir que por lo menos una de las URL de los sitemaps presentados está bloqueada por robots.txt.
Si túy excluiste páginas, noindexadas, y, entonces
ninguna página presentada debería ser bloqueada por robots.txt. Si es así, investiga qué páginas están perjudicadas y a continuación ajusta el fichero robots.txt en consecuencia para eliminar el bloqueo de esa página.
Puedes usar elpara ver qué directiva bloquea el contenido. Sólo ten cuidado al hacer esto, es fácil cometer fallos que afectan a otras páginas y ficheros.
Esto significa que tienes contenido bloqueado por robots.txt que no está indizado en la actualidad en Google.
Si este contenido es esencial y debe ser indexado, suprime el bloqueo de rastreo en robots.txt. Si has bloqueado contenido en robots.txt con la intención de excluirlo del índice de Google, elimina el bloqueo y usa una meta etiqueta de robots o bien un encabezado x‑robots. Esa es la única forma de garantizar la exclusión de contenido del índice de Google.
Es fundamental quitar el bloqueo de rastreo cuando se procura excluir una página de los resultados de la búsqueda. Si no lo haces, Google no verá la etiqueta noindex ni el encabezado HTTP, con lo que permanecerá indexada.
Esto significa que una parte del contenido bloqueado por robots.txt prosigue estando indexado en Google.
Una vez más, si estás procurando excluir este contenido de diseño paginas web palencia de búsqueda de Google, robots.txt no es la solución correcta. Quita el bloqueo de rastreo y en su lugar utiliza unapara prevenir la indexación.
Si has bloqueado este contenido por accidente y deseas sostenerlo en el índice de Google, suprime el bloqueo del rastreo en robots.txt. Esto puede ayudar a mejorar la visibilidad del contenido en la búsqueda de Google.
Aquí están ciertas preguntas más usuales que no encajaban de forma natural en otra parte de nuestra guía: haznos saber en los comentarios si falta algo, y actualizaremos la sección en consecuencia.
(aproximadamente).
En exactamente el mismo lugar:
dominio.com/robots.txt.
De forma manual o bien utilizandocomo Yoast que te permite editar robots.txt desde el backend de WordPress.
Google jamás verá la directiva noindex por el hecho de que no puede rastrear la página.
“¿Sabías que bloquear una página con un robots.txt disallow y un noindex en la página no tiene mucho sentido pues Googlebot no puede “ver” el noindex?”
Robots.txt es un fichero simple pero poderoso. Utilízalo de manera sabia, y puede tener un impacto positivo en el SEO. Úsalo al azar y, bueno, vivirás para arrepentirte.
¿Tienes más preguntas? Deja un comentario o.
| Êîììåíòèðîâàòü | « Ïðåä. çàïèñü — Ê äíåâíèêó — Ñëåä. çàïèñü » | Ñòðàíèöû: [1] [Íîâûå] |
