robots.txt explicado
A veces, tener un blog en WordPress se siente como abrir una pequeña tienda en una calle muy transitada, pero sin saber si Google ya encontró la puerta principal.
Publicas artículos con cuidado.
Eliges palabras clave.
Subes imágenes.
Creas categorías.
Envías el sitemap a Google Search Console.
Y aun así, algunos contenidos tardan demasiado en aparecer en Google.
Entonces entras a Search Console y ves mensajes como:
“Bloqueada por robots.txt”
“Descubierta: actualmente sin indexar”
“Rastreada: actualmente sin indexar”
Ahí es cuando una simple línea de texto empieza a parecer más importante de lo que imaginabas.
Ese archivo se llama robots.txt.
Para muchos dueños de blogs, afiliados, webs de nicho y sitios hechos con WordPress, robots.txt parece algo reservado para programadores.
Pero no lo es.
robots.txt es una de esas piezas pequeñas del SEO técnico que pueden ayudarte a ordenar el rastreo de tu sitio.
También puede causarte problemas si se configura sin entender bien su función.
La clave es esta:
robots.txt sirve para controlar el rastreo, no para eliminar páginas de Google.
Cuando entiendes esa diferencia, todo se vuelve mucho más claro.
Qué es robots.txt
robots.txt es un archivo de texto que normalmente se encuentra en la raíz de un sitio web.
Por ejemplo, si tu sitio es:
https://example.com
tu archivo robots.txt suele estar en:
https://example.com/robots.txt
Los robots de los buscadores, como Googlebot o Bingbot, consultan este archivo antes de rastrear ciertas partes de una web.
El archivo les indica qué rutas pueden visitar y qué rutas deberían evitar.
Un ejemplo básico para WordPress sería este:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xml
A simple vista parece técnico, pero se puede entender fácilmente.
User-agent: * significa que la regla se aplica a todos los bots.
Disallow: /wp-admin/ indica que el área de administración de WordPress no debe rastrearse.
Allow: /wp-admin/admin-ajax.php permite una excepción importante para algunas funciones de WordPress.
Sitemap indica dónde está el mapa del sitio.
En otras palabras, robots.txt es como un cartel en la entrada de tu web.
No dice: “esta página debe desaparecer de Google”.
Más bien dice: “por aquí no hace falta que pases”.
Por qué robots.txt importa en un blog de WordPress
Cuando un blog tiene pocos artículos, robots.txt puede parecer poco importante.
Pero cuando un sitio empieza a crecer, la situación cambia.
Con 50 artículos, no se nota demasiado.
Con 500 artículos, ya empieza a importar.
Con 1.000, 5.000 o 10.000 entradas, el rastreo se vuelve parte de la estrategia SEO.
Google no rastrea todos los sitios con la misma intensidad ni con recursos infinitos.
El buscador decide cuánto y cómo rastrear en función de varios factores, como la calidad del sitio, la velocidad del servidor, la estructura de enlaces internos, la frecuencia de actualización y la cantidad de URLs útiles o inútiles.
WordPress, además, puede generar muchas URLs automáticamente.
Algunas son útiles.
Otras no tanto.
Por ejemplo:
| Tipo de URL | Ejemplo | Riesgo SEO |
|---|---|---|
| Panel de administración | /wp-admin/ | No aporta valor en Google |
| Búsqueda interna | /?s=seo | Puede crear muchas páginas débiles |
| Etiquetas | /tag/wordpress/ | Depende de la estrategia del sitio |
| Archivos de autor | /author/admin/ | Puede duplicar contenido |
| Páginas de adjuntos | Página de una imagen | Suele tener poco contenido |
| URLs con parámetros | ?replytocom=123 | Puede generar duplicados |
robots.txt ayuda a decirle a los buscadores qué zonas no necesitan rastrear.
Pero aquí viene el detalle importante:
no conviene bloquear por bloquear.
Un blog existe para ser encontrado.
Si cierras demasiadas puertas, Google puede tener más difícil entender tu sitio.
La mejor estrategia suele ser sencilla:
abrir lo importante,
bloquear lo innecesario,
y usar noindex cuando el problema sea de indexación.
Reglas básicas de robots.txt
Las reglas más comunes de robots.txt no son muchas.
| Directiva | Qué significa | Ejemplo | Nota práctica |
|---|---|---|---|
User-agent | Indica a qué bot se aplica | User-agent: * | El asterisco significa todos |
Disallow | Bloquea el rastreo de una ruta | Disallow: /wp-admin/ | No elimina la URL de Google |
Allow | Permite una excepción | Allow: /wp-admin/admin-ajax.php | Útil en WordPress |
Sitemap | Indica el sitemap | Sitemap: https://example.com/sitemap_index.xml | Muy recomendable |
Crawl-delay | Pide retrasar el rastreo | Crawl-delay: 10 | Google no lo usa como regla principal |
La directiva que más se usa es Disallow.
Por ejemplo:
User-agent: *
Disallow: /wp-admin/
Esta regla es común y normalmente correcta.
Pero esta otra puede ser peligrosa:
User-agent: *
Disallow: /
Esa barra / significa que se bloquea todo el sitio.
En un sitio en desarrollo puede tener sentido.
En un blog público, puede ser un problema enorme.
A veces ocurre por accidente: alguien crea la web, activa una opción para que los buscadores no la indexen, termina el diseño, publica el blog… y se olvida de quitar esa restricción.
El resultado puede ser frustrante: artículos buenos, sitemap enviado, enlaces internos correctos, pero Google no logra rastrear lo que debería.
robots.txt y noindex no son lo mismo
Este es el punto que más confunde a muchos usuarios de WordPress.
robots.txt y noindex están relacionados con Google, pero no hacen lo mismo.
robots.txt responde a esta pregunta:
¿Puede el bot rastrear esta URL?
noindex responde a esta otra:
¿Debe esta página aparecer en los resultados de búsqueda?
La diferencia es muy importante.
| Comparación | robots.txt | noindex |
|---|---|---|
| Función principal | Controlar el rastreo | Controlar la indexación |
| Dónde se configura | Archivo /robots.txt | Meta tag o cabecera HTTP |
| Google puede leer la página | No, si está bloqueada | Sí, debe poder leerla |
| Sirve para eliminar de Google | No de forma fiable | Sí, si Google lo procesa |
| Uso recomendado | Admin, búsquedas internas, rutas técnicas | Etiquetas, páginas débiles, duplicados |
| Error común | Usarlo como si fuera noindex | Bloquear la página antes de que Google vea el noindex |
Imagina que no quieres que tus páginas de etiquetas aparezcan en Google.
Podrías pensar en hacer esto:
User-agent: *
Disallow: /tag/
Pero si Googlebot no puede entrar en /tag/, tampoco puede leer una posible etiqueta noindex dentro de esas páginas.
Es decir, intentas decirle a Google “no indexe esto”, pero al mismo tiempo le cierras la puerta antes de que pueda leer la instrucción.
Por eso, para quitar páginas de los resultados de búsqueda, suele ser mejor usar noindex desde un plugin SEO como Rank Math, Yoast SEO o All in One SEO.
Una forma sencilla de recordarlo:
robots.txt dice: “no rastrees esto”.
noindex dice: “no muestres esto en Google”.
Configuración segura de robots.txt para WordPress
Para la mayoría de blogs en WordPress, lo mejor es mantener robots.txt simple.
Una configuración práctica sería:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://korithink.com/sitemap_index.xml
Esta estructura bloquea el área de administración, permite una excepción necesaria para WordPress y muestra la ubicación del sitemap.
Para un sitio como Kori Think, enfocado en blogging, SEO, WordPress, Search Console y operación de sitios, esta configuración suele ser suficiente como base.
Lo importante es no bloquear sin necesidad rutas como:
/wp-content/
/wp-content/uploads/
/category/
/tag/
¿Por qué?
Porque /wp-content/uploads/ suele contener las imágenes del sitio.
Si bloqueas esa carpeta, puedes perjudicar el rastreo de imágenes.
Y en muchos blogs, las imágenes también ayudan a atraer visitas, reforzar el contenido y mejorar la experiencia del lector.
También hay que tener cuidado con bloquear CSS o JavaScript.
Google no solo lee texto.
También intenta renderizar la página para entender cómo se ve, qué enlaces contiene y cómo se presenta el contenido.
Si bloqueas archivos importantes del tema o de plugins, Google podría interpretar peor tus páginas.
Caso real 1: el blog completo deja de rastrearse
Uno de los errores más graves es encontrar esto en robots.txt:
User-agent: *
Disallow: /
Esta regla bloquea el rastreo de todo el sitio.
Los síntomas pueden ser así:
| Síntoma | Posible causa | Dónde revisar |
|---|---|---|
| Los artículos nuevos no aparecen | Todo el sitio está bloqueado | tudominio.com/robots.txt |
| Search Console muestra aviso de robots.txt | URLs importantes están bloqueadas | Informe de indexación |
| El sitemap está enviado pero no avanza | Google no puede acceder bien | Inspección de URL |
| Google muestra solo la URL sin descripción | No puede leer el contenido | Resultado de búsqueda |
La primera comprobación es muy simple.
Abre el navegador y escribe:
https://tudominio.com/robots.txt
Después revisa si aparece:
Disallow: /
Si tu blog ya está publicado y quieres recibir tráfico orgánico, esa regla normalmente no debería estar ahí.
Caso real 2: las imágenes no reciben tráfico
En algunos blogs, el texto se indexa, pero las imágenes no aparecen bien en Google Imágenes.
Una causa posible es que la carpeta de subidas esté bloqueada.
En WordPress, las imágenes suelen guardarse en:
/wp-content/uploads/
Por eso, esta regla puede ser problemática:
User-agent: *
Disallow: /wp-content/uploads/
Para blogs de viajes, recetas, tecnología, tutoriales, decoración, salud visual o guías paso a paso, las imágenes pueden ser una puerta de entrada importante.
Lo recomendable suele ser:
usar nombres de archivo descriptivos,
añadir Alt Text natural,
comprimir las imágenes,
usar WebP cuando sea posible,
y evitar páginas de adjuntos débiles.
No es lo mismo bloquear una imagen que ordenar una página de adjunto.
La imagen puede ser útil.
La página vacía de adjunto, no tanto.
Caso real 3: páginas de búsqueda interna aparecen en Google
WordPress puede crear URLs de búsqueda interna como estas:
https://example.com/?s=robots
https://example.com/search/seo
Para el usuario que ya está dentro del sitio, estas páginas pueden ser útiles.
Pero para Google, normalmente no son buenas páginas de destino.
Nadie quiere buscar algo en Google y aterrizar en otra página de resultados de búsqueda.
Si estas URLs empiezan a multiplicarse, puedes considerar una regla como:
User-agent: *
Disallow: /?s=
Disallow: /search/
Aun así, conviene pensar antes de actuar.
Si la página ya está indexada y quieres quitarla de Google, puede ser mejor aplicar noindex primero.
Si el problema es que Google está gastando demasiado rastreo en esas rutas, robots.txt puede ayudar.
De nuevo, la idea es separar funciones.
Rastreo: robots.txt.
Indexación: noindex.
Descubrimiento: sitemap.
Prioridad: enlaces internos.
Reflexión intermedia de Kori
robots.txt parece un archivo pequeño, pero impone respeto.
Y es normal.
Una sola línea mal puesta puede hacer que Google deje de rastrear partes importantes de un sitio.
Pero tampoco hay que convertirlo en un monstruo técnico.
Para un blog, la lógica principal es simple:
deja abiertas las páginas que quieres posicionar,
no bloquees imágenes importantes,
no uses robots.txt como sustituto de noindex,
y evita reglas copiadas de otros sitios sin entenderlas.
A veces, el mejor SEO técnico no es hacer más.
Es tocar menos, pero tocar bien.
Consejo rápido
Después de modificar robots.txt, abre siempre tudominio.com/robots.txt en el navegador y revisa las URLs importantes con la herramienta de Inspección de URL en Google Search Console.
Checklist de robots.txt para bloggers
Antes de cambiar robots.txt, revisa esta lista.
| Punto de revisión | Pregunta clave | Recomendación |
|---|---|---|
| Bloqueo total | ¿Existe Disallow: /? | Evitarlo en sitios públicos |
| Admin de WordPress | ¿Solo se bloquea /wp-admin/? | Normalmente correcto |
| admin-ajax.php | ¿Está permitido? | Recomendado en WordPress |
| Imágenes | ¿Está bloqueado /uploads/? | Mejor dejarlo abierto |
| Sitemap | ¿La URL es correcta? | Mantenerla actualizada |
| Etiquetas | ¿Se bloquean con robots.txt? | Valorar noindex |
| Búsqueda interna | ¿Se indexan URLs ?s=? | Revisar noindex o bloqueo |
| Search Console | ¿Probaste URLs importantes? | Comprobar siempre |
Esta lista es especialmente útil si gestionas varios blogs.
Copiar el robots.txt de otro sitio puede parecer rápido, pero puede ser peligroso.
Un ecommerce, un blog personal, una web de noticias, un foro y un sitio de afiliación no siempre necesitan las mismas reglas.
Errores comunes con robots.txt
El primer error es pensar que robots.txt sirve como herramienta de seguridad.
No sirve para eso.
robots.txt es público.
Cualquiera puede entrar y verlo.
Si escribes rutas sensibles en robots.txt, podrías estar mostrando dónde están.
Archivos privados, zonas de clientes, documentos internos o datos personales deben protegerse con contraseñas, permisos, autenticación o reglas del servidor.
El segundo error es poner noindex dentro de robots.txt.
Por ejemplo:
User-agent: *
Noindex: /private/
Esta no es una estrategia fiable para Google.
Si necesitas noindex, usa una metaetiqueta robots o una cabecera HTTP.
El tercer error es bloquear recursos necesarios.
Si bloqueas CSS, JavaScript, imágenes o archivos importantes del tema, Google puede entender peor tu página.
El cuarto error es cambiar robots.txt sin probar.
Siempre que lo modifiques, revisa el archivo en el navegador y usa Search Console.
Configuración recomendada para un sitio tipo Kori Think
Para un blog de contenido sobre SEO, WordPress, blogging, Search Console y operación de sitios, lo más seguro suele ser una configuración clara:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://korithink.com/sitemap_index.xml
Luego, la indexación se puede gestionar desde el plugin SEO.
Por ejemplo:
artículos importantes: index,
categorías principales: index,
etiquetas débiles: noindex,
archivos de autor: depende de la estrategia,
páginas de adjuntos: redirección o noindex,
búsqueda interna: noindex o bloqueo según el caso.
Así cada herramienta hace su trabajo.
robots.txt organiza el rastreo.
noindex decide qué no debe aparecer en Google.
El sitemap ayuda a descubrir URLs.
Los enlaces internos indican importancia.
Search Console ayuda a diagnosticar problemas.
Cuando todo eso está ordenado, el SEO técnico deja de sentirse como una caja negra.
Cuando entiendes robots.txt, ya dominas una parte importante del SEO técnico.
Pero aparecer más arriba en Google no depende solo de un archivo robots.txt.
La investigación de palabras clave, la estructura de los títulos, los enlaces internos, el sitemap, el estado de indexación, la calidad del contenido y la velocidad de carga trabajan juntos para hacer crecer un blog de forma estable.
Como siguiente paso, también puedes leer “Guía completa de SEO: intención de búsqueda, palabras clave y SEO técnico”
En esa guía se explica no solo la parte técnica, sino también el proceso completo que un blogger necesita entender para aumentar el tráfico orgánico a largo plazo.
Pensamiento final de Kori
robots.txt no es un archivo para tener miedo.
Pero sí es un archivo que hay que respetar.
Mi forma de verlo es sencilla:
no bloquees tus artículos,
no bloquees tus imágenes principales,
no uses robots.txt como herramienta de privacidad,
no lo confundas con noindex,
mantén visible el sitemap,
y revisa Search Console después de cada cambio.
Un blog está hecho para ser descubierto.
robots.txt debe ayudar a Google a moverse mejor por el sitio, no ponerle obstáculos innecesarios.
La mejor configuración no siempre es la más larga.
Muchas veces, la mejor configuración es la más limpia.
Menos reglas.
Más claridad.
Y cada instrucción puesta con intención.
robots.txt explicado Q&A
Q1. ¿robots.txt elimina una página de Google?
No de forma fiable.
robots.txt puede impedir que Google rastree una URL, pero no garantiza que esa URL desaparezca de los resultados de búsqueda.
Si quieres que una página no aparezca en Google, normalmente debes usar noindex o una herramienta específica de eliminación, según el caso.
Q2. ¿Debo bloquear las etiquetas de WordPress con robots.txt?
En la mayoría de casos, no es lo primero que conviene hacer.
Si solo quieres que las páginas de etiquetas no aparezcan en Google, suele ser mejor aplicar noindex desde un plugin SEO.
robots.txt puede ser útil si tienes un problema grande de rastreo, pero no debería usarse automáticamente para todo.
Q3. ¿Es recomendable poner el sitemap en robots.txt?
Sí, es una buena práctica.
Aunque también envíes el sitemap desde Google Search Console, incluirlo en robots.txt ayuda a que los buscadores encuentren más fácilmente la estructura de tu sitio.
En blogs grandes, esto es todavía más importante.
robots.txt explicado Referencias
Este artículo se elaboró tomando como base la documentación oficial de Google sobre robots.txt, rastreo, indexación, uso de noindex y reportes de Google Search Console, adaptando la explicación a propietarios de blogs y sitios WordPress.
- Google Search Central, Introduction to robots.txt
- Google Search Central, How Google Interprets the robots.txt Specification
- Google Search Central, Block Search Indexing with noindex
- Google Search Console Help, Page Indexing Report
- Google Search Central, SEO Starter Guide
#robotstxt #SEOparaWordPress #SEOTecnico #GoogleSearchConsole #RastreoWeb #IndexacionGoogle #Sitemap #Noindex #BloggingSEO #WordPress
👉 Sigue leyendo
Si este artículo te resultó útil, también te recomiendo leer los siguientes contenidos.
Te ayudarán a entender el mismo tema de una forma más amplia y práctica.
Por qué Google no indexa tu página: guía SEO para WordPress y Search Console
Search Console para WordPress: guía práctica de SEO para bloggers
Principio de indexación: cómo Google descubre, rastrea y registra tus artículos de WordPress
Si tus pensamientos se sienten un poco más ligeros, ya es suficiente.
Nos vemos en la próxima pregunta — Beautiful KoriThink