¿Sabes cómo disminuir el intervalo de crawling de bots de Bing? En este artículo que traemos hoy en Ayuda Hosting, te hablaremos de este tema.
También te puede interesar nuestra guía sobre cómo utilizar un mapa de Bing en tu WordPress.
Internet, o al menos la parte a la que accede la mayoría de los usuarios, también se conoce como World Wide Web; de hecho, de ahí proviene la parte www de la mayoría de las URL de sitios web. Era natural llamar a los robots de los motores de búsqueda arañas. Esto es porque se arrastran por toda la Web, al igual que las arañas reales se arrastran por las telarañas.
Índice
¿Qué es un crawler o robot rastreador web?
Un rastreador web, una araña o un robot (bot) de búsqueda descarga e indexa contenido de todo el Internet. El objetivo de este bot es aprender de qué se trata cada una de las página web en la web. Esto, para que la información se pueda recuperar cuando sea necesario. Se llaman rastreadores web porque rastrear es el término técnico para acceder automáticamente a un sitio web. Así pueden obtener datos a través de un programa de software.
Estos bots casi siempre son operados por motores de búsqueda. Al aplicar un algoritmo de búsqueda a los datos recopilados por los rastreadores web, los motores de búsqueda pueden proporcionar enlaces relevantes en respuesta a las consultas de búsqueda de los usuarios. Esto genera listas de páginas web que aparecen después de que un usuario escribe una búsqueda en Google o Bing.
¿Qué es la indexación de búsqueda?
La indexación de búsqueda es como crear un catálogo de tarjetas de biblioteca para Internet para que un motor de búsqueda sepa dónde recuperar en Internet la información cuando una persona la busca. También se puede comparar con el índice en la parte posterior de un libro, que enumera todos los lugares del libro donde se menciona un determinado tema o frase.
La indexación se centra principalmente en el texto que aparece en la página y en los metadatos sobre la página que los usuarios no ven. Cuando la mayoría de los motores de búsqueda indexan una página, agregan todas las palabras en el índice, a excepción de palabras como a, an y the en el caso de Google. Cuando los usuarios buscan esas palabras, el motor de búsqueda revisa su índice de todas las páginas donde aparecen esas palabras y selecciona las más relevantes.
¿Cómo funcionan los rastreadores web?
Internet cambia y se expande constantemente. Debido a que no es posible saber cuántas páginas web totales hay en Internet, los bots de los rastreadores web comienzan desde una semilla o una lista de direcciones URL conocidas. Primero rastrean las páginas web en esas URL. A medida que rastrean esas páginas web, encontrarán hipervínculos a otras URL y las agregarán a la lista de páginas para rastrearlas a continuación.
Dado el gran número de páginas web en Internet que podrían indexarse para la búsqueda, este proceso podría continuar casi indefinidamente. Sin embargo, un rastreador web seguirá ciertas políticas que lo hacen más selectivo sobre qué páginas rastrear, en qué orden rastrearlas y con qué frecuencia deben rastrearlas nuevamente. Esto, para verificar si hay actualizaciones de contenido.
Los crawlers bots de Bing
Los rastreadores o crawlers bots de Microsoft (MSN) o Bing se introducen en nuestra página web para indexar su contenido y presentarlos en los resultados del motor de búsqueda de Bing. Con las directrices del Protocolo de Exclusión de Robots o Robots Exclusion Protocol (REP), Bing es compatible y pueden ser agregadas en el archivo robots.txt.
Utilizando el adjunto robots.txt se puede controlar el espacio de rastreo. Agregando la siguiente línea se reduce el ritmo:
User-agent: bingbot Crawl-delay: 1
Los dos siguientes crawlers también son empleados: MSNBot para recursos generales y MSNBot-Media para imágenes y vídeo.
El usuario agente más adecuado es el siguiente:
msnbot msnbot-media
De acuerdo con Bing, es recomendable emplear el intervalo más lento. Algunos de los valores que se pueden utilizar.}
Sin intervalo – Normal 1 – Lento 5 – Muy lento 0 – Extremadamente Lento
Otra alternativa es conseguir una cuenta en WebMaster de Bing y modificar los intervalos.
Esto fue todo por hoy, esperamos que puedas disminuir el intervalo crawling de bots de Bing.
Esperamos que este artículo sobre cómo disminuir el intervalo crawling de bots de Bing, les haya resultado útil. Más información sobre este y otros temas en Ayuda Hosting.
