Automatische Programme von Suchmaschinen, die wie kleine Roboter durchs Netz wandern. Sie besuchen deine Website, lesen Inhalte, folgen Links und melden alles an Google, Bing und andere zurück. So landen deine Seiten im Index und können in Suchergebnissen erscheinen. Über Einstellungen wie robots.txt und Sitemaps kannst du steuern, was sie sehen sollen.
