 |
|


|
 |
 |
C'est quoi un robot ?
Les moteurs de recherche utilisent des logiciels pour parcourir
internet et alimenter leurs bases. Ces logiciels sont appelés
des "robots".
Ces outils "lisent" vos pages, les enregistrent et les
indexent selon différents critères propres à chacun d'eux.
Comment les connaitre ?
Ces robots, en arrivant sur votre site, laissent une empreinte sur votre serveur dans le fichier log. Leur passage est repérable par une "signature" propre à chacun.
Exemples : Altavista
a nommé entre autre " mercator " un de ses robots.
Pour Inktomi c'est " slurp ", "googlebot"
pour Google, etc.
Qui utilise des robots ?
En premier lieu, les moteurs tels que Altavista, Fast, Hotbot.
Mais nous remarquons désormais d'autres familles, telles que :
- les systèmes de veille (surveillance de pages)
- les robots universitaires en phase de tests
- des sociétés privées pour alimenter des extranet ou intranet
- des organismes publics, gouvernementaux, de surveillance
- des robots aspirateurs d'adresses mails
Visitez Indicateur.com pour la liste des principaux robots
et crawler web :
|
|