Estructura del contenido
¿Qué es un archivo robots.txt?
El archivo robots.txt es un fichero público de notas con extensión .txt al que todo el mundo puede acceder y que puedes crear y configurar desde tu escritorio. Para verlo público, tan sólo hay que añadir al dominio del site, la extensión robots.txt, por ejemplo, https://albertoestrada.es/robots.txt
A través de este fichero podrás (entre otras cosas) permitir/bloquear a los buscadores el acceso a todo tu sitio o a partes del mismo mediante reglas específicas, etc.
Bloqueando determinados bots a nivel buscadores, evitamos que esas páginas o conjunto de ellas sean rastreadas por éstos. La fase de indexación de esas páginas dependerá de más señales, es decir, que bloqueando su rastreo no garantiza su no indexación.
A la hora de configurarlo, hay que tener en cuenta diferentes situaciones y particularidades del cms, configuración del site, etc. Aquí puedes ver un ejemplo de cómo sería un robots.txt optimizado para WordPress.
Probador de robots.txt
Una vez hayas configurado tu archivo robots.txt , a través del probador de Google Search Console puedes verificar que cualquier url que tu has habilitado/deshabilitado en el robots.txt se permite o bloquea a ratreo en los diferentes bots de Google…
Cómo subir un archivo robots.txt de forma manual en WordPress a través de cPanel
Existen muy buenas recomendaciones sobre la creación y configuración de este archivo en internet. Desde la básica de Google hasta más detallada para WordPress como la que ofrecen Ayudawp.com.
En WP, por lo general, el fichero robots.txt se encuentra en la raíz del sitio (cPanel –> Adminstrador de archivos -> public_html). Si no lo encuentras, o el que aparece por defecto quieres modificarlo, puedes configurarlo de cero desde tu PC a través del típico bloc de notas (con la extensión .txt) para después cargarlo en esa carpeta raíz del sitio (public_html) .
Una vez descacheado el robots.txt generado por defecto (ctrl+f5 para forzarlo) verás tu nuevo robots.txt cargado.
Como pasos adicionales para forzar a que tu robots.txt sea rastreado más rápido, puedes enviar la url completa al inspector de Urls de Search Console para pedir su prueba y después su indexación.
Más información básica y de configuración, por Google:
