Esimerkiksi hämähäkkejä käytetään usein keräämään avainsanoja verkkosivuilta, jotka sitten lajitellaan, jotta käyttäjät voivat etsiä mainitut sivut Internet-hakukoneen kautta.
Botit, indeksointi, Internet-termit, Robotti, Robots.txt, Web-sivu, Verkkosivusto