Usar robots.txt para mejorar la indexación de los bots

En este post que traemos para ustedes el día de hoy en Ayuda Hosting, hablaremos de cómo usar robots.txt para mejorar la indexación de los bots.

Lo que hace el adjunto robots.txt es decirle a los robots de búsqueda qué adjuntos son los que deberían indexarse en los buscadores y cuáles no.

Usar robots.txt para mejorar la indexación de los bots

Pasos

Añadiendo las siguientes líneas se le pide a los robots de búsqueda que indexen de forma completa la página web.

Si quieres que las páginas web se indexen completamente utilizas esto:

Entendiendo las secciones del adjunto robots.txt tendremos unos resultados mas avanzados. Utilizando el valor “User-agent:” nos dice qué robots son aptos. Utilizando “*” afecta a todos los robots o el nombre del robot.

Los adjuntos que no quieras que sean indexados por los buscadores utilizas “Disallow:”. El código que se muestra a continuación le dice a los bots qué “privado” y “seguridad” del adjunto de public_html no serán indexados.

Por ejemplo, “Disallow:” utiliza el directorio root de la web, por lo tanto la dirección del archivo debe ser /test.txt y no /home/usuario/public_html/test.txt

 

Sending
Valoración del usuario
0 (0 votes)

¿Te resultó útil este artículo?

sered - actiweb

Artículos relacionados