La balise meta :  "robots"

Syntaxe : <meta name="robots" content="valeurs">

La balise meta "robots" donne l'instruction aux robots qui visitent votre site d'indexer dans sa base votre page, de suivre les liens sur cette page ou non.....

All : Permet aux robots d'indexer vos pages et de suivre les liens hypertextes d'une page à l'autre.
None :  Dira aux robots de ne pas indexer vos pages et de ne pas suivre les liens.
Index :  Indique que vos pages peuvent être indexées par les robots.
NoIndex :  Pour que les robots ne procèdent à aucune d' indexation.
Follow :  Donne la permission aux robots de suivre les liens hypertextes des pages.
NoFollow :  Pour le contraire de follow ( pas de permission de suivre les liens ).

Cette balise n'est pas indispensable, il faut cependant penser à exclure les répertoires sensibles.

Exemple : <meta name="robots" content="Index, Follow, All">