Robots.txt en WordPress: Guía de Configuración

Qué es el archivo robots.txt en WordPress y por qué importa

El robots.txt en WordPress es un archivo de texto plano que vive en la raíz de tu dominio (algo como https://tudominio.com/robots.txt) y que le dice a los robots de rastreo —Googlebot, Bingbot y compañía— qué zonas de tu sitio pueden visitar y cuáles prefieres que se salten. Ojo con esto: no es una medida de seguridad, y tampoco garantiza que Google deje de indexar una página. Lo que sí hace, y bien, es ayudarte a gestionar el presupuesto de rastreo (crawl budget) para que los buscadores no malgasten visitas en páginas que no aportan nada al SEO.

En WordPress esto pesa todavía más. La plataforma genera mucha «suciedad» técnica: archivos del núcleo, resultados de búsqueda interna, feeds, páginas de adjuntos, archivos de etiquetas duplicados… Un robots.txt bien configurado ayuda a que Google concentre sus rastreos donde de verdad importa. Tu contenido.

Robots.txt por defecto en WordPress: qué contiene

Si no existe un archivo físico en el servidor, WordPress genera uno virtual. Trae muy poco:

Básicamente bloquea el directorio de administración pero deja pasar el archivo admin-ajax.php, que muchos plugins y temas necesitan para funcionar bien en el frontend. ¿Funciona? Sí. ¿Aprovecha el archivo? Muy poco.

Dónde está y cómo editar el robots.txt en WordPress

Opción 1: Crear el archivo físicamente en el servidor

Si subes un robots.txt real por FTP o desde el gestor de archivos de tu hosting, WordPress deja de generar el virtual y respeta el tuyo. La ruta suele ser public_html, y conviene darle permisos de lectura 644.

Opción 2: Usar un plugin SEO

Yoast SEO, Rank Math o All in One SEO incluyen un editor de robots.txt desde el propio panel de administración:

1. En Yoast SEO, entra en Herramientas y después en Editor de archivos.
2. En Rank Math, ve a Configuración general y elige Editar robots.txt.
3. Guarda y comprueba el resultado visitando tudominio.com/robots.txt.

Es la vía más cómoda, eso sí. Ten en cuenta que si tienes algún plugin de caché o de seguridad entrometido, los cambios pueden tardar en verse. Si te surgen dudas, en RedServicio (redservicio.net) podemos revisar y configurar tu robots.txt correctamente.

Ejemplo recomendado de robots.txt para WordPress

Para la mayoría de sitios WordPress, algo equilibrado sería esto:

Vamos bloque por bloque:

• /wp-admin/: la zona de administración. Para los buscadores, ruido puro.
• /wp-content/plugins/: evita rastrear archivos de plugins. Pero cuidado aquí: si sirves CSS o JS desde esa carpeta, bloquearla puede impedir que Google renderice bien la página.
• /search/: los resultados de búsqueda interna generan contenido duplicado y de baja calidad. Mejor fuera.
• /tag/ y /author/: solo si no te aportan valor SEO. Si tus etiquetas reciben tráfico orgánico, no las bloquees. Cada sitio es un mundo.
• Sitemap: declarar la ruta del sitemap XML ayuda a que los buscadores lo encuentren solos, sin tener que enviarlo a mano en Search Console.

Errores comunes al configurar el robots.txt en WordPress

Bloquear CSS y JavaScript

Quizá el error más grave de todos. Google necesita renderizar las páginas como lo haría un navegador; si bloqueas /wp-content/themes/ o /wp-includes/, puede malinterpretar tu diseño y perjudicar tu posicionamiento. La propia Google ha confirmado repetidamente que bloquear estos recursos daña el rastreo y la indexación.

Usar robots.txt para desindexar contenido

Bloquear una URL en robots.txt no la desindexa. Al contrario: puede impedir que Google vea la etiqueta noindex y acabe manteniendo la URL en su índice sin contenido. Si quieres desindexar, usa la meta etiqueta noindex o elimina la página directamente.

Copiar configuraciones sin analizarlas

Visto mil veces. Bloquear /tag/ o /author/ puede ser correcto en un blog corporativo y un desastre en un medio de contenido. Antes de bloquear nada, mira en Google Search Console qué páginas reciben impresiones.

Cómo verificar que tu robots.txt funciona

Una vez configurado, toca validar. Con esto basta:

• Google Search Console: en el informe de «Configuración de rastreo» y con el verificador de robots.txt puedes probar URLs concretas y ver si están permitidas o bloqueadas.
• Visita directa: abre tudominio.com/robots.txt en modo incógnito y confirma que aparece el contenido esperado, no un 404 ni una redirección.
• Google Search Console – Inspección de URLs: útil para comprobar si una página concreta está bloqueada por robots.txt.

Un apunte: los cambios pueden tardar entre 24 y 48 horas en reflejarse en la caché de Google. Paciencia.

Preguntas frecuentes sobre robots.txt en WordPress

Conclusión

Configurar bien el robots.txt en WordPress es sencillo y, aun así, tiene un impacto considerable en la eficiencia del rastreo. Quédate con lo esencial: permite el acceso a CSS y JavaScript, bloquea solo lo que de verdad no aporta valor (administración, búsquedas internas, adjuntos), añade tu sitemap XML y verifica siempre los cambios con Google Search Console. Nada de usar robots.txt como herramienta de desindexación, y nada de plantillas genéricas copiadas sin pensar: las reglas deben ajustarse a tu proyecto, no al de otro. Si tras aplicar todo esto te quedan dudas, detectas errores de rastreo o prefieres que alguien con experiencia le eche un ojo, en RedServicio (redservicio.net) encontrarás ayuda profesional especializada en WordPress y administración de servidores para que tu sitio rinda al máximo.