Cómo crear un archivo robots.txt en cPanel
Este pequeño archivo de texto básicamente indica a los diferentes bots o buscadores qué partes de tu sitio web o urls concretas quieres dar permiso a rastrear e indexar en su índice. Incluso deshabilitando rutas o urls en este archivo mediante un «Disallow:» puede que los buscadores consigan rastrearla e indexarla, si son capaces de … Leer más