UA-51298262-10 Skip to main content
Tips SEO

Usar robots.txt para mejorar la indexación de los bots

By abril 20, 2018julio 22nd, 2020No Comments

En este post que traemos para ustedes el día de hoy en Ayuda Hosting, hablaremos de cómo usar robots.txt para mejorar la indexación de los bots de los motores de búsqueda de Google.

Lo que hace el adjunto robots.txt es decirle a los robots de búsqueda cuáles adjuntos son los que deberían indexarse en los buscadores y cuáles no.

Usar robots.txt para mejorar la indexación de los bots

Usar robots.txt para mejorar la indexación de los bots

Veamos a continuación, los pasos requeridos para mejorar la indexación de los bots

Pasos para mejorar la indexación de los bots

A continuación, añadiremos las siguientes líneas donde le pedimos a los robots de búsqueda que indexen de forma completa la página web.

User-agent: * 
Disallow:

Sin embargo, si quieres que las páginas web se indexen completamente utilizas esto:

User-agent: *
Disallow: /

Entendiendo las secciones del adjunto robots.txt tendremos unos resultados mas avanzados. Utilizando el valor «User-agent:» nos dice qué robots son aptos. Utilizando «*» afecta a todos los robots o el nombre del robot.

Los adjuntos que no quieras que se indexen en los buscadores utilizas «Disallow:». El código que se muestra a continuación le dice a los bots qué «privado» y «seguridad» del adjunto de public_html no se indexarán.

User-agent: * 
Disallow: /privado 
Disallow: /seguridad

Por ejemplo, «Disallow:» utiliza el directorio root de la web, por lo tanto la dirección del archivo debe ser /test.txt y no /home/usuario/public_html/test.txt

Esperamos que este artículo sobre cómo usar robots.txt para mejorar la indexación de los bots, les haya resultado útil. También te puede interesar cómo indexar un nuevo sitio de WordPress.

Este sitio web utiliza cookies para que usted tenga la mejor experiencia de usuario. Si continúa navegando está dando su consentimiento para la aceptación de las mencionadas cookies y la aceptación de nuestra política de cookies, pinche el enlace para mayor información. ACEPTAR

Aviso de cookies