En este post que traemos para ustedes el día de hoy en Ayuda Hosting, hablaremos de cómo usar robots.txt para mejorar la indexación de los bots de los motores de búsqueda de Google.
Lo que hace el adjunto robots.txt es decirle a los robots de búsqueda cuáles adjuntos son los que deberían indexarse en los buscadores y cuáles no.
Índice
Usar robots.txt para mejorar la indexación de los bots
Veamos a continuación, los pasos requeridos para mejorar la indexación de los bots
Pasos para mejorar la indexación de los bots
A continuación, añadiremos las siguientes líneas donde le pedimos a los robots de búsqueda que indexen de forma completa la página web.
User-agent: * Disallow:
Sin embargo, si quieres que las páginas web se indexen completamente utilizas esto:
User-agent: * Disallow: /
Entendiendo las secciones del adjunto robots.txt tendremos unos resultados mas avanzados. Utilizando el valor «User-agent:» nos dice qué robots son aptos. Utilizando «*» afecta a todos los robots o el nombre del robot.
Los adjuntos que no quieras que se indexen en los buscadores utilizas «Disallow:». El código que se muestra a continuación le dice a los bots qué «privado» y «seguridad» del adjunto de public_html no se indexarán.
User-agent: * Disallow: /privado Disallow: /seguridad
Por ejemplo, «Disallow:» utiliza el directorio root de la web, por lo tanto la dirección del archivo debe ser /test.txt y no /home/usuario/public_html/test.txt
Esperamos que este artículo sobre cómo usar robots.txt para mejorar la indexación de los bots, les haya resultado útil. También te puede interesar cómo indexar un nuevo sitio de WordPress.
