preguntar acerca de robots.txt

Premier Non Je ne vous demande pas de m'apprendre le piratage, je suis juste curieux de ce fichier et de son contenu. Mon voyage quand j'ai plongé dans le nouveau Boilerplate HTML5, je suis arrivé chez les humains.txt. J'ai cherché sur google et …

j'ai un ASP.NET application web MVC 4 accessible à partir de plusieurs domaines différents. Le site est entièrement localisé sur la base du domaine dans la requête (similaire dans le concept à cette question ). je veux inclure un robo …