En este artículo que traemos hoy en Ayuda Hosting, estaremos hablando con respecto a si los servidores tienen algún Crawl-Delay.
Índice
¿Qué es Crawl-Delay? ¿Por qué usar una configuración adecuada?
Es como de rápido puede un bot inspeccionar tu sitio web. Es recomendable utilizar una configuración adecuada para que no tengas problemas como que el bot rastree tu sitio web y te genere demasiadas solicitudes y origine un agotamiento de tus recursos de alojamiento. Es recomendable establecer un Crawl-Delay a 1-2 segundos para que los bots rastreen tu sitio web de manera más moderada.
En los servidores de tu proveedor de hosting no se aplica ninguna directiva por defecto.
Si quieres modificar el Crawl-Delay en tu cuenta, esto se puede hacer modificando el adjunto robots.txt.
Si ponemos la siguiente linea de código se puede modificar.
crawl-delay: 1
La linea de código anterior le indica a los buscadores como (Yandex, Yahoo, Bing, etc.) el intervalo mínimo en segundos permitidos entre cada solicitud. Podrás ver en el ejemplo que se ha establecido un intervalo de 1 segundo entre cada solicitud a la página web. Si tu página web es visitada de forma agresiva esto te puede ayudar a minimizar el número de bots ya que te puede llevar a consumir recursos de forma excesiva.
Acuérdate de que Google no tiene en consideración esta directiva. En tu cuenta de Google Webmasters Tools solo podrás modificar el Crawl-Delay de tipo Googlebot.
