Générer un fichier robots.txt avec l'outil Webmaster de Google

Google continue d'étoffer son outil webmaster (dit "Webmaster Tool") avec un générateur de fichier robots.txt. Un nouvel accessoire de plus pour rendre son site "Search Engine friendly" et surtout en contrôler l'accès pour les robots des moteurs.

Pour rappel, le fichier robots.txt vous permet de contrôler l'accès de votre site aux robots des moteurs de recherche en leur interdisant ou autorisant l'accès à certains répertoires ou pages de votre site. Pratique donc si vous désirez que certaines parties restent confidentielles.

Après diverses avancées concernant les Sitelinks, les sitemap, etc... c'est au tour du fichier robots.txt d'être mis à l'honneur sur le Webmaster Tool de Google. Avec ce nouveau service lancé la semaine passée sur la plate forme de Google dédiée aux webmasters, il vous sera donc possible de générer automatiquement un fichier robots.txt, selon vos besoins.

Ce n'est certes pas le premier outil de ce genre sur le web, mais son intégration au Webmaster Tool facilitera pas mal la tâche à nombre de webmestres. En attendant, une question reste en suspend: mais que font Yahoo! et Live Search de leur outil Webmaster!? A quand des nouveautés dignes de ce nom et permettant de concurrencer ne serait-ce qu'un peu Google?

Source: Webmaster Central Blog