El archivo robots.txt es un fichero de texto que se coloca en la raíz de un sitio web para comunicarse con los bots de los motores de búsqueda. Su función principal es indicar qué áreas pueden rastrear y cuáles deben ignorar. Una configuración correcta puede proteger recursos internos, evitar la indexación de contenido duplicado y ahorrar presupuesto de rastreo. Sin embargo, un error en este archivo puede provocar la desindexación total de tu web o el bloqueo de páginas clave.
En este artículo aprenderás qué es exactamente robots.txt, cómo se estructura, cómo crearlo y editarlo en WordPress, y las mejores prácticas SEO para 2025. También veremos errores comunes y cómo solucionarlos. Recuerda que, ante cualquier duda o situación compleja, en RedServicio (redservicio.net) ofrecemos ayuda profesional para gestionar tu hosting y configuración de servidores.
Índice
Qué es el archivo robots.txt
Robots.txt es un fichero de texto plano sin extensión (no .txt obligatorio, pero se suele llamar así) que se aloja en el directorio raíz del dominio. Sigue el estándar Robots Exclusion Protocol y es leído por todos los bots respetuosos (Googlebot, Bingbot, etc.). Su sintaxis es simple: define reglas para agentes de usuario específicos o para todos (User-agent) y lista las URLs o directorios permitidos (Allow) o prohibidos (Disallow).
No es un archivo de seguridad; cualquier usuario puede verlo accediendo a tudominio.com/robots.txt. Su objetivo es guiar el rastreo, no ocultar contenido sensible. Para eso se usan contraseñas o autenticación.
Estructura básica
El formato sigue estas reglas:
- User-agent: nombre del bot (o * para todos).
- Disallow: ruta que no debe rastrearse.
- Allow: ruta que sí puede rastrearse (útil para excepciones).
- Sitemap: ubicación del archivo sitemap.xml (opcional pero recomendado).
- Crawl-delay: tiempo en segundos entre peticiones (no soportado por Google, pero sí por otros bots).
Ejemplo mínimo:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://tudominio.com/sitemap.xml
Tip SEO: No bloquees archivos CSS, JS o imágenes necesarios para renderizar la página. Google necesita esos recursos para analizar el diseño. Si los bloqueas, tu web puede verse peor en los resultados de búsqueda o incluso ser penalizada en el ranking.
Cómo configurar robots.txt para SEO
La configuración ideal depende del tipo de web. Para una instalación WordPress estándar, lo más común es bloquear directorios administrativos y de sistema, permitir scripts esenciales, y enlazar el sitemap. A continuación te mostramos una configuración probada.
Configuración recomendada para WordPress
Copia este código en tu archivo robots.txt (ajusta el nombre de dominio en la línea Sitemap):
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/cache/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Sitemap: https://tudominio.com/sitemap_index.xml
Explicación:
- /wp-admin/ es el panel de administración; no debe ser rastreado.
- /wp-includes/ y /wp-content/ (excepto uploads) contienen archivos del sistema; no aportan valor SEO.
- admin-ajax.php se permite porque muchas funcionalidades del frontend lo usan.
- /wp-content/uploads/ se permite para que imágenes y archivos subidos sean indexables si lo deseas.
- El sitemap ayuda a Google a descubrir todas tus páginas rápidamente.
Cómo bloquear páginas específicas
Si quieres evitar que una URL concreta aparezca en Google, por ejemplo una página de agradecimiento o un formulario interno, añade una línea Disallow con la ruta exacta:
Disallow: /gracias-por-contactar/
Disallow: /privado/
Recuerda que esto solo impide el rastreo, no la indexación si otros sitios enlazan a esa URL. Para evitar por completo la indexación, mejor usa la meta etiqueta noindex en el head.
Uso de Allow para excepciones
Si bloqueas un directorio entero pero quieres que una subcarpeta concreta sea rastreable, usa Allow después del Disallow:
User-agent: *
Disallow: /wp-content/
Allow: /wp-content/uploads/
Esto es útil cuando solo ciertos recursos multimedia deben aparecer en buscadores.
Errores comunes y cómo evitarlos
Un fallo en robots.txt puede ser desastroso. Estos son los errores más frecuentes:
- Bloquear todo el sitio:
Disallow: /sin Allow provoca que ningún bot rastree nada. Tu web desaparece de Google. - Bloquear archivos CSS/JS: Aunque se permite por defecto, algunos tutores antiguos recomiendan hacerlo. Actualmente Google necesita esos recursos para entender el diseño móvil y la usabilidad.
- No incluir sitemap: Ralentiza el descubrimiento de contenido nuevo.
- Errores de sintaxis: líneas mal escritas, rutas con espacios o mayúsculas inconsistentes. Usa siempre minúsculas y rutas relativas empezando con /.
- Olvidar actualizar robots.txt después de cambios estructurales: Si añades un nuevo directorio privado, debes agregarlo a Disallow.
Pregunta frecuente: ¿Puedo usar robots.txt para evitar que Google indexe mi sitio durante el desarrollo?
Respuesta: No es recomendable como única medida. Google puede ignorar robots.txt si encuentra enlaces externos apuntando a tu web. Mejor usa un plugin de mantenimiento o bloquea el acceso por IP. Para sitios en producción, robots.txt es una guía, no una orden. Si necesitas que tu web no aparezca en buscadores, añade una etiqueta noindex en el head de todas las páginas.
Cómo editar robots.txt en WordPress
Existen varias formas de modificar este archivo. La más segura es usar un plugin SEO como Yoast SEO o Rank Math, que añaden una interfaz amigable dentro del panel. También puedes editarlo mediante FTP o el administrador de archivos del cPanel. En cualquier caso, guarda siempre una copia de seguridad.
Método con plugin (recomendado para principiantes)
En Yoast SEO: ve a SEO > Herramientas > Editor de archivos. Allí verás el contenido actual de robots.txt y podrás editarlo con validación de sintaxis. Rank Math lo ofrece en Rank Math > Configuración general > Editar robots.txt.
Edición manual vía FTP o cPanel
Localiza el archivo robots.txt en la raíz de tu dominio (por ejemplo, public_html/robots.txt). Descárgalo, edítalo con un editor de texto plano (Notepad++, Sublime, etc.) y súbelo de nuevo. Asegúrate de que los permisos del archivo sean 644 para que sea legible por todos.
Prueba y validación
Después de modificar robots.txt, verifica que funciona correctamente. Puedes hacerlo:
- Navegando a tudominio.com/robots.txt y comprobando que el contenido se muestra.
- Usando la herramienta de prueba de robots.txt de Google Search Console (dentro de Rastreo > Prueba de robots.txt). Introduce una URL de tu sitio y comprueba si está permitida o bloqueada.
- Observando el informe de cobertura de Google Search Console para detectar páginas excluidas inesperadamente.
Conclusión
El archivo robots.txt es una pieza pequeña pero fundamental en la estrategia SEO de cualquier sitio web. Una configuración correcta acelera el rastreo, evita la indexación de contenido irrelevante y protege recursos que no deberían aparecer en buscadores. Pero recuerda: no es una herramienta de seguridad y debe complementarse con metadatos como noindex y directivas canónicas.
Revisa periódicamente tu robots.txt, especialmente tras actualizar plugins o cambiar la estructura del sitio. Si tienes dudas sobre cómo configurarlo para tu proyecto o necesitas ayuda con tareas más avanzadas como la optimización de servidores y el manejo de bots, en RedServicio (redservicio.net) ofrecemos soporte técnico profesional. Nuestro equipo está capacitado para resolver cualquier incidencia relacionada con hosting, WordPress y administración de servidores, para que tú te centres en tu negocio.
¿Ya revisaste tu robots.txt hoy? Si no lo has hecho, tómate diez minutos para verificarlo. Un simple error puede costarte visitas y posicionamiento. Aplica los consejos de esta guía y mantén tu web optimizada para los motores de búsqueda.
