Amelioration du robots.txt

Discussion dans 'Discussions Générales' démarrée par Pierrelouis, Mai 18, 2013.

  1. Pierrelouis

    Pierrelouis New Member

    Bonjour,

    J'ai remarqué sur de gros sites que le robots.txt bloquait de nombreux robots.
    Les deux fois ou mon compte chez PH à été fermé il y avait eu peu avant une augmentation importantes des visites, non répercuté sur google analytics, donc des robots.

    Cela peut donc avoir son utilité et augmenter la vitesse du site, j'ai donc pris le fichier robots de forumactif qui a l'air assez complet:
    http://www.forumactif.com/robots.txt

    Enfin seulement la liste des robots bloqués bien sur, pour la rajouter à mes sites.

    Je ne suis pas un spécialiste à ce propos donc n'hésitez pas à me dire ce que vous en pensez et me conseiller une liste plus complète si il y'a.
     
  2. pierre_kuhn

    pierre_kuhn New Member

  3. Sirius

    Sirius New Member

    Bonsoir,

    à ceci près que les "mauvais robots" non de toutes façon pas pour habitudes de venir consulter le /robots.txt pour savoir si ils ont le droit ou pas de scanner votre site.
    Ils le font...

    La on parle plutôt d'un blocage à l'entrée du serveur, par .htaccess avec par exemple une liste deny
     

Partager cette page