Robots.txt

Eine klei­ne Text­da­tei im Haupt­ver­zeich­nis dei­ner Web­site. Sie teilt Such­ma­schi­nen Craw­lern mit, wel­che Berei­che sie durch­su­chen sol­len und wel­che nicht. Im Grun­de dei­ne Haus­ord­nung für auto­ma­ti­sche Besu­cher. Wich­tig ist: Sie hält net­te Bots auf dem rich­ti­gen Weg, blo­ckiert aber kei­ne Angrei­fer. Für ech­ten Schutz brauchst du Zugangs­be­schrän­kun­gen und Sicher­heits­ein­stel­lun­gen.