Le fichier robots.txt est un outil qui donne des recommandations au moteur de recherche sur la manière dont il doit indexer votre site. Concrètement, vous lui dites "tu peux indexer cette partie de mon site, mais ne parcourt pas ces répertoires car je ne désire pas qu'ils se retrouvent dans les résultats des moteurs de recherche " (oui, vous pouvez lui dire tout cela).
Un outil (en anglais) vous permet désormais de créer automatiquement votre fichier robots.txt en fonction de vos besoins. Très pratique si l'on ne connait pas la syntaxe et la façon de rédiger un fichier de ce type !
Effectivement, pour ceux qui ne maîtrisent pas sa syntaxe (assez simple malgré tout), il existe des outils permettant de vous faciliter les choses. C'est le cas de celui-ci: http://www.clickability.co.uk/robotstxt.html .
La technique est simple, puisque vous n'avez qu'à sélectionner vos besoins et les informations que vous souhaitez voire apparaître, et le texte du fichier robots.txt se créé tout seul. Il ne vous reste plus, ensuite, qu'à copier/coller le texte au sein d'un fichier robots.txt et le placer à la racine de votre serveur. Comme quoi, c'est simple, le référencement parfois... 
)
Source: Webmarketer en herbe
