Aunque su extensión no sea tan llamativa como  .php o .aspx el archivo robots.txt en lo que a posicionamiento SEO se refiere es nuestra puerta de entrada a los motores de búsqueda y debemos mostrarle por lo tanto la atención que se merece si pretendemos que nuestra web sea indexada de forma efeciente.

Dentro del archivo robots.txt indicaremos que zonas de nuestra web queremos que no sean indexadas por ejemplo por ser directorios de configuración de nuestro CMS.

Esto lo realizaremos con la siguiente directiva:

User-agent: * User-agent: *
Disallow: / cgi-bin / Disallow: / cgi-bin /
Disallow: / admin / Disallow: / admin /
Disallow: / stuff / Disallow: / stuff /
Disallow: / private.html Disallow: / private.html

Una de las posibles funcionalidades más olvidada dentro de archivo robots.txt es la de indicar al motor de búsqueda la localización del archivo Sitemap , del archivo Sitemap os hablare más detenidamente en otro articulo pero os dejare unas pinceladas del mismo comentando que este archivo con estructura XML nos permite mostrar al motor de búsqueda que páginas de nuestra web pueden ser indexadas por el mismo facilitando la indexación de las mismas.

La linea que os pongo a continuación es un ejemplo de como mostrar dentro de nuestro robots.txt la ruta de acceso a nuestro Sitemap

Sitemap: http://www.unprogramadormas.com/sitemap.xml

Para obtener más información acerca de la configuración del fichero robots.txt os recomiendo robotstxt.org