Da ich schon seit Wochen von einem ganz fiesen Bot geplagt werde, habe ich mich dazu entschlossen, diesen Kamerad von meiner Homepage zu verbannen. Dazu manipuliere ich die .htaccess-Datei indem ich einen Code einsetze, der es mir ermöglicht, einzelne IP´s und User-Agents zu sperren. Wie das funktioniert möchte ich dir gerne erklären.
Wichtig: Das Apache Modul “mod_rewrite” muss auf deinem Server aktiviert sein!
Als erstes benötigst du die .htaccess-Datei, die du auf deinem weiter lesen…
Jeder Webseiten Besitzer wird täglich von bekannten, aber auch unbekannten Crawler besucht. Crawler bzw. Webcrawler (auch Robot oder Spider genannt) sind Programme, die im Auftrag einer Suchmaschine eigenständig das Internet auf Inhalte von Webseiten durchsuchen und analysieren.