El fichero robots.txt es un instrumento fundamental para controlar cómo los buscadores indexan tu portal. Ofrece a los arañas directrices sobre cuáles secciones de tu sitio pueden indexadas y cuáles deben omitidas. Una implementación del robots.txt puede mejorar tu visibilidad en los rankings y evitar problemas de rastreo no planificados . Sit