Cómo disminuir el intervalo crawling de bots de Bing

Los crawlers bot de MSN o Bing se introducen en tu web para indexar su contenido y presentarlos en los resultados del motor de búsqueda de Bing.

Con las directivas del Protocolo de Exclusión de Robots (REP), Bing es compatible y pueden ser añadidas en el adjunto de robots.txt.

Utilizando el adjunto robots.txt se puede controlar el intervalo de rastreo. Añadiendo esta linea se reduce el ritmo:

Estos dos crawlers tambeén son utilizados : MSNBot (recursos generales) y MSNBot-Media (imágenes y vídeo).

El user agent adecuado es:

Bing te recomienda usar el intervalo más lento posible. Algunos de los valores que se pueden utilizar.

Otra alternativa es registrar una cuenta en WebMasters de Bing y modificar los intervalos.

 

¿Te resultó útil este artículo?

Artículos relacionados