UA-51298262-10 Skip to main content
Tips SEO

Los servidores tienen algún Crawl-Delay

By abril 17, 2018julio 30th, 2020No Comments

En este artículo que traemos hoy en Ayuda Hosting, estaremos hablando con respecto a si los servidores tienen algún Crawl-Delay.

¿Los servidores tienen algún Crawl-Delay?

¿Qué es Crawl-Delay? ¿Por qué usar una configuración adecuada?

Es como de rápido puede un bot inspeccionar tu sitio web. Es recomendable utilizar una configuración adecuada para que no tengas problemas como que el bot rastree tu sitio web y te genere demasiadas solicitudes y origine un agotamiento de tus recursos de alojamiento. Es recomendable establecer un Crawl-Delay a 1-2 segundos para que los bots rastreen tu sitio web de manera más moderada.

En los servidores de tu proveedor de hosting no se aplica ninguna directiva por defecto.

Si quieres modificar el Crawl-Delay en tu cuenta, esto se puede hacer modificando el adjunto robots.txt.

Si ponemos la siguiente linea de código se puede modificar.

crawl-delay: 1

La linea de código anterior le indica a los buscadores como (Yandex, Yahoo, Bing, etc.) el intervalo mínimo en segundos permitidos entre cada solicitud. Podrás ver en el ejemplo que se ha establecido un intervalo de 1 segundo entre cada solicitud a la página web. Si tu página web es visitada de forma agresiva esto te puede ayudar a minimizar el número de bots ya que te puede llevar a consumir recursos de forma excesiva.

Acuérdate de que Google no tiene en consideración esta directiva. En tu cuenta de Google Webmasters Tools solo podrás modificar el Crawl-Delay de tipo Googlebot.

 

Este sitio web utiliza cookies para que usted tenga la mejor experiencia de usuario. Si continúa navegando está dando su consentimiento para la aceptación de las mencionadas cookies y la aceptación de nuestra política de cookies, pinche el enlace para mayor información. ACEPTAR

Aviso de cookies