Crawler

Auto­ma­ti­sche Pro­gram­me von Such­ma­schi­nen, die wie klei­ne Robo­ter durchs Netz wan­dern. Sie besu­chen dei­ne Web­site, lesen Inhal­te, fol­gen Links und mel­den alles an Goog­le, Bing und ande­re zurück. So lan­den dei­ne Sei­ten im Index und kön­nen in Such­ergeb­nis­sen erschei­nen. Über Ein­stel­lun­gen wie robots.txt und Site­maps kannst du steu­ern, was sie sehen sol­len.