fr fr fr fr fr fr fr hbs_lat fr fr fr fr fr fr fr fr fr
est un site d'experimentations sur les très nombreux moteurs qui parcourent le réseau à la recherche de données. Qu'ils soient executés sur de puissantes machines en cluster ou lançés d'ordinateurs poussifs, programmés pour une recherche bien précise ou généralistes, respectueux des normes d'exclusions ou non, les robots de recherche, ou bots, ou crawlers, ou spiders, ont la chance de bénéficier de plusieurs facteurs qui font qu'ils ne sont pas vraiment étudiés de près, ou en tous cas considérés sérieusement par la grande majorité des webmasters. Parmi ces causes, on peut retenir :
Une assez petite partie de la population des webmasters s'intéressent à ce qui se passe dans les coulisses de leur site
Les robots sont souvent noyés dans un flux d'autres agents et il est chronophage de faire le tri
Les robots peuvent tricher en travestissant leur identité
Par défaut, et de plus en plus, au nom du sacro-saint Search Engine Optimization, tout le monde veut le plus de passages de robots sur son site
L'attrape robots site experimental va s'efforcer d'analyser avec le plus de précision et de méthode possible la venue et le cheminement de ces programmes informatiques, afin de dégager plusieurs groupes de bots, qui seront classés selon plusieurs critères.
Plusieurs cheminements bien identifiés seront proposés aux robots, chacun présentant des caractéristiques particulières, comme la typologie de fichiers employée, l'arborescence déployée, le poids des différentes pages, leurs encodages, l'analyse de leurs différents types de liens hypertextes...