Usar robots.txt para mejorar la indexación de los bots

Lo que hace el adjunto robots.txt es decirle a los robots de búsqueda qué adjuntos son los que deberían indexarse en los buscadores y cuáles no.

Añadiendo las siguientes líneas se le pide a los robots de búsqueda que indexen de forma completa la página web.

Si quieres que las páginas web se indexen completamente utilizas esto:

Entendiendo las secciones del adjunto robots.txt tendremos unos resultados mas avanzados. Utilizando el valor “User-agent:” nos dice qué robots son aptos. Utilizando “*” afecta a todos los robots o el nombre del robot.

Los adjuntos que no quieras que sean indexados por los buscadores utilizas “Disallow:”. El código que se muestra a continuación le dice a los bots qué “privado” y “seguridad” del adjunto de public_html no serán indexados.

Por ejemplo, “Disallow:” utiliza el directorio root de la web, por lo tanto la dirección del archivo debe ser /test.txt y no /home/usuario/public_html/test.txt

 

¿Te resultó útil este artículo?

sered - actiweb

Artículos relacionados