Robots.txt

Eine kleine Textdatei im Hauptverzeichnis deiner Website. Sie teilt Suchmaschinen Crawlern mit, welche Bereiche sie durchsuchen sollen und welche nicht. Im Grunde deine Hausordnung für automatische Besucher. Wichtig ist: Sie hält nette Bots auf dem richtigen Weg, blockiert aber keine Angreifer. Für echten Schutz brauchst du Zugangsbeschränkungen und Sicherheitseinstellungen.