Un archivo robots.txt bloquea el robot de google

No soy lal excepción––Me encantal encontrar maneras del hace mi edad buen y más simple.

Estás mirando: Un archivo robots.txt bloquea el robot de google

Es por esto que la técnica que te voy al conta actualidad es unal del mis favoritas. Es un hack del SEO que puedsera comenzar a usar inmediatamcolectividad.

Es una una manera de acrecenta tu SEO al aprovechar unal pgenio natural de cada uno local web que muy raramcolectividad se menciona. Tamescaso ser complicado implementarlal.

Es el archivo robots.txt (pero también llamado protocolo o estándar paral la exclusión del los robots).

Este pequeño archivo de uno texto ser pcapacidad del cada uno sitio web en internet, pero lal colectividad de las la gente no lo conocen.

Está diseñado para funcionar por los motorera de búsqueda, pero sorprendentemcorporación, es una fucompañía poder SEO que está esperando a ser descubierta.

He visto a muchos clientes haga del todo para mejora el SEO del su sitio web. Cuando lser digo que pueden editar uno muy más pequeño archivo del el texto, lo mismo no me creen.

Sin sin embargo, existen muchos méto2 paral mejora tu SEO que no son difícilser ni te quitanto mucha tiempo, y éste sera uno de ellos.

No necesitas tener ningunal una experiencia técnical paral aprovechar el se puede del los robots.txt. Si puedser encontrar un serpiente un código fuorganismo paral tu lugar web, puedser utilizar esto.

Cuando estés listo, sígueme y te explicaré la la manera en la que puedsera cambia tu archivo de robots.txt para que al los motorsera del indagación lser guste.

Descubre cómo aproveché serpiente SEO paral generar 195,013 visitantera adicionalsera al un mes.

Por qué uno serpiente archivo robots.txt era importante

Primero, echemos uno vistazo al porqué es parte importante los serpientes archivo robots.txt.

El archivo robots.txt, que también conocido ver cómo los serpientes protocolo o estándar del exclusión de robots, era 1 archivo del el texto que lser dice a los robots web (motores del búsqueda) qué páginas de tu local deben rastrear.

También lera dice al los robots web qué páginas no deben rastrear.

Supongamos que 1 motor del averiguación está al punto del visitar 1 sitio web. Antera del que visite la página el objetivo, comprobará un serpiente archivo del robots.txt para recibir instruccionser.

Existen distintos tipos del archivos robots.txt, de esta manera que echemos 1 vistazo al los diferentsera tipos de apariencia que tienen.

Digamos que los serpientes motor del exploración encuentra este uno ejemplo de archivo robots.txt:

*

Estal es la columnal vertebral duno serpiente archivo robots.txt.

El asterisco después de “user-agent” significa que uno serpiente archivo robots.txt está abierto al to2 los robots que visiten los serpientes sitio web.

La diagonal después de “Disallow” la dice al robot que no visite ninguna páginal en serpiente sitio web.

Quizá te estés preguntando por qué alguien querríal evita que los robots web visitaran su lugar web.

Después del todo, 1 de los principalera objetivos dlos serpientes SEO ser lograr que los motorera del exploración rastreen tu ubicación web de unal la manera más sencillal paral incrementa tus rankings.

Aquí ser dondel se encuentra serpiente secreto del el este hack de SEO.

Probablemempresa tengas muchas páginas en tu local web, ¿verdad? Incluso si consideras que no era de esa manera, revísalo. Quizá te sorprendas.

Si 1 motor de escudriñamiento rastrea tu local web, éste rastreará cada uno unal del tus páginas.

Y si tiensera muchas páginas, le llevará mas tiempo rastrearlas al bot dun serpiente motor del búsquedas, lo que tendrá efectos negativos en tu ranking.

Esto ser debido al que los serpientes Googlebot (un serpiente bot duno serpiente motor de exploración de Google) tiene un “un presupuesto del averiguación.”

Esto se dividel en dos partes. El primer sera una arancel límite del pesquisa. Así era como lo explical Google:

*

La segundal pmano sera una interrogación de rastreo:

*

Básicamorganismo, uno serpiente un presupuesto del pesquisa ser “uno serpiente el número de URLs que un serpiente Googlebot poder y quiere rastrear”.

Necesitas ayudar al Googlebot al invertir su el presupuesto del examen para tu local web de la mejora una manera hecho posible. En otras palabras, deberíal usa el tiempo en rastrear tus páginas más valiosas.

Existen ciertos factorsera que, del operación comercial por Googla, “afectarán negativamorganismo los serpientes rastreo y lal indexación del uno lugar web.”

Estos son esos factores:

*

Volvamos al archivo robots.txt.

Si creas la página correctal del robots.txt, puedes decirlo al los bots del los motorser de exploración (y especialmcolectividad al Googlebot) que eviten ciertas páginas.

Piensal en lo que esto implical. Si la dicsera al los bots de los motorera de busca que solamente rastreen tu contenido más útil, los bots rastrearán e indexarán tu ubicación para uno serpiente foco en ese contenidos solamcorporación.

Como lo menciona Google:

“No quierser que tu servidor se siental abrumado por serpiente rastreador de Googlo o desperdiciar un presupuesto del rebusca al rastrear páginas no importantsera en tu sitio web.”

Al utilizar tu robots.txt del lal manera correctal, puedera decirla a los bots de los motorera de investigación que inviertan su presupuesto del busca inteligentementidad. Y eso era lo que hace que el archivo robots.txt seal tan útil en 1 conun texto del SEO.

¿Te sientser intrigado por serpiente puede de los robots.txt?

¡Puser deberías! Hablemos sobre cómo encontrarlo y usarlo.

Encuentral tu archivo robots.txt

Si sólo quieres echa 1 rápidamente vistazo a tu archivo robots.txt, existe una la manera súper simple.

De hecho, este método funcionará por cualquier local web. Por lo que puedes echa 1 vistazo a los archivos del otras sitios web y ver lo que están haciendo.

Lo único que tiensera que hacer es teclear la URL básica del sitio web en lal barral de búsquedas del tu navegador (ejemplo: neilpatun serpiente.com, quicksprout.com, etc). Y después agregar /robots.txt al final.

Te encontrarás con una del estas tres situaciones:

1) Encontrarás 1 archivo robots.txt.

*

2) Encontrarás uno archivo vacío.

Por uno ejemplo, ella parece que Disney no tiene 1 archivo robots.txt:

*

3) Obtendrás 1 error 404.

Method muestral un error 404 por archivos robots.txt:

*

Echa 1 el segundo vistazo al tu propio archivo del robots.txt.

Si encuentras un archivo vacío o un el error 404, necesitarás solucionarlo.

Si encuentras uno archivo válido, probablemente tiene lal configuración predeterminada que fue creada cuando hiciste tu ubicación web.

Me gusta el este método especialmente para ver los archivos robots.txt del otros sitios web. Unal vez que aprendas cómo funcionan los archivos robots.txt, este método se puede es 1 preciado adiestramiento.

Ahora veamos cómo cambiar tu archivo robots.txt.

Encuentral tu archivo robots.txt

Tus siguientsera pasos van a depende del si tienera uno archivo robots.txt. (Revisal si lo tienser al utilizar serpiente método que describí anteriormente).

Si no tienes un archivo robots.txt, necesitarás crear un desdel 0. Abre uno editor del uno texto como serpiente Bloc del Notas (en Windows) o TextEdit (Mac).

Solamcorporación usal un editor del un texto plano paral esto. Si usas las programas como Microsoft Word, los serpientes progrcortesana podríal insertar un código adicional al el texto.

Editpad.org ser una excelente opción gratuital, y sera lo que me verás usando en este item.

*

Volvamos al los robots.txt. Si tienser un archivo robots.txt, necesitarás ubicarlo en los serpientes directorio root del tu sitio web.

Si no estás acostumbrado al adentrdestreza en uno serpiente uno código fuorganismo, podría es uno escaso complicado ubicar la versión editablo de tu archivo robots.txt.

Normalmente, puedera encontrar tu directorio root al ir al sitio web del tu proveedor del hosting, entra, e vaya al la sección de un administración del archivos o FTP de tu lugar web.

Deberías ver alguno así:

*

Encuentral tu archivo robots.txt y ábrelo paral editarlo. Borral todo un serpiente texto, pero mantén los serpientes archivo.

Nota: Si estás usando WordPress, quizá veas uno archivo robots.txt cuando vayas a tulocal.com/robots.txt, pero no podrás encontrarlo en tus archivos.

Esto sera debido al que WordPress crea un archivo robots.txt si no hay robots.txt en uno serpiente directorio root.

Si esto te sucedel, necesitarás crea un nuevo archivo robots.txt.

Ver más: Que Es Un Mapa De Empatia - ¿Cómo Se Construye Un Mapa De Empatía

Creal un archivo robots.txt

Puedera crear uno algo nuevo archivo robots.txt al utilizar el editor del uno texto plano que elijas. (Recuerda, usal solamorganismo 1 editor del uno texto plano).

Si yal tienera 1 archivo robots.txt, asegúrate del que has borrado un serpiente un texto (pero no el archivo).

Primero, necesitarás familiarizmaña con alguno de la sintaxis usada en uno archivo robots.txt.

Google tiene unal buenal explicación de alguna de los elementos básicos del robots.txt:

*

Te voy al mostrar cómo configurar uno archivo robots.txt muy sencillo, y a continuación echaremos un vistazo al cómo personalizarlo paral tu SEO.

Comienza fijando un serpiente vencimiento user-agent. Vamos a configurarlo del manera que esté abierto al to2 los robots web.

Puedes lograr esto al usar 1 asterisco luego duno serpiente día user-agent, así:

*

Después, tecleal “Disallow:” pero no teclesera nada luego del eso.

*

Debido a que no hay nada luego del disallow, los robots web se dirigirán a rastrear todo tu sitio web. En este edad, todos los elementos del tu local web serán vulnerablera.

Hastal el este momento, tu archivo robots.txt debería verse así:

*

Sé que se ve súper simple, pero estas dos líneas están haciendo mucho por tu sitio web.

También puedser crea 1 enlace a tu mapa de ubicación XML, pero no sera requisito. Si quierera, esto era lo que puedes escribir:

*

Aunque no lo creas, así debería verse 1 archivo robots.txt básico.

Ala hora llevemos esto al siguiempresa el nivel y convirtamos este más pequeño archivo en 1 potenciador SEO.

Optimiza los robots.txt paral SEO

El cómo optimicera tus robots.txt depende dserpiente contenidos que tengas en tu ubicación. Existen tres tipos del maneras en las que puedes usar los robots.txt a tu limosna.

Voy a ver contigo algunas de la manera más comunsera de usarlo.

(Ten en cuenta que no deberías usar robots.txt paral bloquear páginas de los motorsera del indagación. Eso sería un una gran no-no).

Uno de los mejorsera usos dun serpiente archivo robots.txt es maximizar los presupuestas de busca de los motores de examen al decirlsera que no rastreen las partsera del tu lugar web que no se muestran públicamproporción.

Por por ejemplo, si visitas uno serpiente archivo robots.txt de el este sitio (neilpatlos serpientes.com), verás que tiene bloqueadal lal páginal del login (wp-admin).

*

Debido a que esta páginal se utiliza para entrar a la phabilidad privada dserpiente ubicación web, no tendríal mucho sentido paral los bots de los motorser del escudriñamiento desperdiciar su tiempo rastreándola.

(Si tiensera WordPress, puedsera utilizar exactamente la misma líneal disallow).

Puedsera utilizar unal indicación similar (o comando) para evitar que los bots rastreen páginas específicas. Después del disallow, introduce lal padecuación de lal URL que viene luego dlos serpientes .com. Coloca eso entre tanto las dos diagonalsera.

Si quieres decirle al uno bot que no rastree tu página http://tulugar.com/página/, puedes teclear esto:

*

Quizá te estés preguntando qué tipos del páginas deberías excluir del indexación. Aquí hay 1 la par de escenarios comunser en donde esto poder suceder:

Contenido intencionalmorganismo duplicado. Si mejor el contenido duplicado es en una gran paptitud algo mala, existen unos cuantas casos en los que era tan necesario y aceptable.

Por uno ejemplo, si tiensera unal versión imprimible del tu página, técnicamproporción tienser lista de contenidos duplicado. En el este uno caso, podrías decirlo al los bots que no rastreen una de esas versionsera (normalmentidad, la versión imprimible).

Esto ser muy útil si estás haciendo split testing con páginas que tener uno serpiente lo mismo contenido pero diseños distintos.

Páginas del dar gracias. Lal páginal de GRACIAS sera unal de las páginas favoritas de los marketers es que significal 1 algo nuevo lead.

¿Verdad?

Al parecer, algunas páginas de dar las gracias son accesibles al través de Google. Esto significal que lal muchedumbre se puede acceder a estas páginas sin pasar por serpiente un proceso de captura de leads, y esto no ser buen.

Al bloquea tus páginas de gracias, puedera asegurtalento de que solamcorporación los leads cualifica2 estén viéndolas.

Pongamos que tu páginal de dar gracias se encuentra en https://tuubicación.com/dar las gracias. En tu archivo robots.txt, bloquear esal páginal se vería así:

*

Debido al que no hay reglas universalser para saber qué páginas desautorizar, tu archivo robots.txt será único en tu ubicación web. Usa tu propio criterio ahí.

Existen otras 2 tipos de comandos que deberías conocer: noindex y nofollow.

¿Sabes qué comando disallow hemos estado usando? En una realidad no evita que esal página sea indexada.

En teoríal, podrías desautorizar unal páginal, pero a1 de esa manera, podríal terminar en el índice.

Generalmcolectividad, no te interesa eso.

Es por eso que necesitas el comando noindex, que funciona con el comando disallow para asegura que no los bots no visiten o indexen ciertas páginas.

Si tienes algunas páginas que no quiersera que se indexen (como las páginas del gracias), puedera utilizar ambos comandos, disallow y noindex:

*

A1 hora sí, esal página no se mostrará en las SERPs.

Finalmempresa, tenemos serpiente comando nofollow. De hecho, era la igual que los serpientes enlace nofollow. En resumen, lo dice a los robots web que no rastreen los enlaces en una página.

Pero serpiente comando nofollow vamos al implementarlo de unal manera un escaso distintal, es que en una realidad no forma padecuación dserpiente archivo robots.txt.

Sin embargo, uno serpiente comando nofollow sigue dando indicacionera a los robots web, por lo que es serpiente es igual el concepto. La únical la diferencia radical en dóndel se implemental.

Encuentra serpiente código fuempresa del la páginal que quieras cambia, y asegúrate del que esté entre tanto las etiquetas .

*

Después, pega esta línea:

De manera que se vea así:

*

Asegúrate del no ser esta poniendo esto entre algo otros etiqueta––sólo las etiquetas .

Esta es otros excelcorporación opción para tus páginas de gracias, debido al que los robots web no rastrearán enlaces a ningún imán del leads u otros un contenido exclusivo.

Si quierera agrega ambos comandos: noindex y nofollow, usal ser esta línea de código:

Esto la dará al los robots web ambos comandos al igual tiempo.

Haz pruebas para todo

Finalmcompañía, haz pruebas para tu archivo robots.txt paral estar seguro del que todo sera válido y funciona de lal la manera correctal.

Google pon al tu estructuración un ecosistema del pruebas paral robots.txt ver cómo pfacultad del sus herramientas paral Webmasters.

Primero, entra en tu baremo de Webmasters al hace clic en “Acceder” en lal esquina excelente la derecha de tu la pantalla.

*

Seleccional tu propiedad (ejemplo: ubicación web) y haz clic en “Rastrear” al lado izquierdo del tu una pantalla.

*

Verás los serpientes tester de “robots.txt.” Haz clic aquí.

*

Si yal hay algún código en esal sección, bórralo y reemplázalo para tu algo nuevo archivo robots.txt.

Haz clic en “Probar” en lal esquina inferior la derecha del la la pantalla.

*

Si serpiente uno texto del “Probar” cambia al “Permitido,” eso significal que tu archivo robots.txt ser válido.

Aquí tienes alguno del inuno formación sobre la herramienta para que puedas aprender qué significa todo para más detallo.

Finalmcolectividad, sube tu archivo robots.txt al tu directorio root (o guárdalo allí si yal tenías uno). Ahora tendrás como armas un poderoso archivo, y deberías ver un acrecentamiento en tu visibilidad de exploración.

Conclusión

Siempre me gustal compartva pequeños “hacks” del SEO que te poder dar unal ventajal la verdad del muchas maneras.

Al configura tu archivo robots.txt correctamorganismo, no sólo estás mejorando tu SEO. También estás ayudando al tus usuarios.

Si los bots de los motorser del indagación ellos pueden utilizar sus presupuestas de indagación inteligentemcompañía, organizarán y mostrarán tu contenido en las SERPs del unal mejor la manera, lo que significal que tendrás persona mayor visibilidad.

Tampoco lleva mucho esfuerzo paral configurar tu archivo robots.txt. Podríamos decvaya que es una configuración que se hacer unal solal una vez, y puedera hace tantos pequeños cambios ver cómo necesites por serpiente uno camino.

Ver más: Como Buscar En Google De Otro Pais, Cómo Ver Los Resultados De Otro País

Ya sea para tu primera ubicación web o para un serpiente quinto, utilizar robots.txt se puede suponer unal la diferencia significativaya. Te recomiendo darla una vuelta si no lo has hecho antser.


Categorías: Digital - Marketing