Wichtig: Das Apache Modul “mod_rewrite” muss auf deinem Server aktiviert sein!

Als erstes benötigst du die .htaccess-Datei, die du auf deinem Root-Verzeichnis finden kannst. Jetzt kopierst du diese Datei per FTP auf den PC rüber und öffnest sie mit dem Texteditor. Anschließend schreibst du in die .htaccess-Datei den Code und kopierst diese wieder zurück auf den Webserver.

Einzelne IP und Domain Sperren:

order deny,allow
deny from 62.178.217.28
deny from .chello.at

Hier wird der Zugriff auf den Homepage-Bereich für die IP-Adresse 62.178.217.28 und für jeden Host, der auf .chello.at endet, verboten.

Alle sperren und nur bestimmten IP´s den Zugriff erlauben:

order deny,allow
deny from all
allow from 89.58

In diesem Beispiel, wird der Zugriff auf den Bereich der Webseite ausschließlich nur den IP-Adressen erlaubt, die mit 89.58 anfangen. Der Rest ist ausgesperrt.

Client (User-Agent) Sperre:

Bot sperren

RewriteEngine on
# betaBot den Zugriff verweigern
RewriteCond %{HTTP_USER_AGENT} ^betaBot
RewriteRule /* http://www.chello.at/ [L,R]

In diesem Fall sperre ich den “betaBot” aus. Sollte dieser Bot auf meine Webseite zugreifen, so wird ihm das verwehrt und er wird (jetzt kommt das geilste) auf seine eigene Webseite umgeleitet.

Mit dem Befehl „RewriteRule /* http://www.chello.at/ [L,R]“ leitest du Bots, auf die diese Regel zutrifft, auf eine X-beliebige Webseite um. In diesem Fall ist das www.chello.at.

Betriebssystem sperren

RewriteEngine on
# Windows User-Agent den Zugriff verweigern
RewriteCond %{HTTP_USER_AGENT} ^Windows.*
RewriteRule ^.* - [F]

Mit dieser Client-Sperre wird der Seitenzugriff jedem untersagt, der über einen Windows-Computer die Homepage aufrufen möchte. Mit dem Befehl: „RewriteRule ^.* - [F]“ wird der Besucher nicht auf eine andere Webseite umgeleitet, sondern bekommt eine ganz normale Fehlerseite angezeigt.

Verschiedene User-Agents sperren

RewriteEngine on
# Mehrere Spambots nach User-Agent aussperren
RewriteCond %{HTTP_USER_AGENT} ^.*Bot1 [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Bot2 [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Bot3 [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Bot4
RewriteRule ^.* - [F]

Hier werden mehrere User-Agents gesperrt. 

Jetzt besucht mich seit Wochen ein unbekannter Bot, der sich auf meinem Blog anscheinend Pudelwohl fühlt und meine Webseite deshalb mehrmals am Tag für 30-45 Minuten durchsucht. Wenn das der GoogleBot wäre, würde ich mich ja freuen.  Leider durchsucht der Kamerad mit der Kennung: “chello062178217028.11.15.vie.surfer.at” alle möglichen und unmöglich Seiten meines Blogs und vor allem Seiten, die es gar nicht gibt. Er generiert zu jeder URL immer “/blank” am Ende dazu und erzeugt somit einen 404 Fehler. Beispiel: “www.joachimnadolny.de/blank“

Ich habe mir vor einiger Zeit das Plugin: JH 404-Logger installiert und sehe somit jede generierte “404 not found” Fehlerseite auf meinem Blog. Da die Liste der erzeugten Fehler langsam enorme Ausmaße annimmt, will ich nun etwas gegen diesen Bot und allen zukünftigen 404 Erzeuger unternehmen. Deshalb habe ich ein paar Fragen an die Spezialisten unter euch und hoffe, dass ihr mir diese beantworten könnt.

1. Kennt jemand diesen Bot und hat Informationen darüber, was dieser Knabe überhaupt indexiert?

2. Wie kann ich mich gegen solche Crawler schützen? Ich habe im Hinterkopf, dass ich mit der .htaccess etwas spielen kann um so bestimmten Bots den Zugriff zu verweigern. Aber wie funktioniert das eigentlich genau? (Mittlerweile habe ich herausgefunden wie man das bewerkstelligen kann. Lese dazu diesen Artikel)

3. Ist es für den Traffic ein Problem, wenn Bots 404 Fehlerseiten generieren? Bei diesem Bot könnte man meinen, er sei nur dafür Programmiert worden, 404´er Seiten zu erzeugen. Denn das macht er ziemlich gut!

24. Oktober 2009, 12:43 Uhr Nachtrag:

Anhand der IP konnte ich die Firma ausfindig machen, die evl. hinter diesem Bot steckt und mir demnach die 1. gestellte Frage selber beantworten können. Mein 2. bester Freund ist ein Österreicher! Er kommt nämlich genau von:

Hostmaster Chello Broadband
UPC Broadband
Internet Services
Erlachgasse 116
A-1100 Vienna
Austria

E-Mail: hostmaster@chello.at, oder abuse@chello.at

Die Adresse deckt sich 100% mit der Kennung des Spiders (Zur Erinnerung: chello062178217028.11.15.vie.surfer.at). Dank meiner Whois -Abfrage, konnte ich diese Firma ausfindig machen. Ich habe UPC direkt angeschrieben und sie um eine Stellungnahme gebeten. Mir wurde es heute nämlich zu Bunt, da ich gesehen habe, dass dieser Robot über Nacht wieder 207 Stück 404-Fehlerseiten generiert hat.

24. Oktober 2009, 17:22 Uhr Nachtrag:

Mittlerweile konnte ich noch mehr Informationen über diesen Bot heraus finden. Ich habe heute die kompletten Log-Files meins Webhostes ausgelesen. Dabei konnte ich interessante Details heraus finden. Und zwar nennt sich dieser Spider “betaBot“. Diesen Namen benutzt er auch als User-Agent! Ich habe den Eindruck, er mag am liebsten meine Tags durchsuchen. Jedenfalls erzeugt er bei allen meinen Tags einen “404 file not fount” Fehler.

In wie weit dieser betaBot mit der Oben angesprochenen Firma aus Österreich zusammen hängt, kann ich noch nicht sagen. Ich muss jetzt erst einmal die Antwort von einem Verantwortlichen dieser Firma abwarten. Sobald ich näheres heraus finden konnte, werde ich sofort darüber berichten.

Hier ein Auzug meiner Orginial Log-File:

31. Oktober 2009 10:43 Uhr Nachtrag:

Eine Woche ist vergangen, seit ich die E-Mail verschickt habe und wie erwartet, hat sich ­Chello ­Broadband nicht dazu geäußert. Das ist natürlich sehr ärgerlich. Mittlerweile konnte ich diesen aggressiven ­betaBot per “.­htaccess” von meiner Webseite aussperren. Jetzt gibt es noch einen 2. Bot auf meiner Website, der auch ­404ér Fehler erzeugt. Anders, wie ­betaBot, generiert dieser Heino Fehlerseiten ­á la: www.joachimnadolny.de“/\”. Zum Glück halten sich die so generierten Fehlerseiten in Grenzen (max. 10 Stück / Tag), aber nervig ist es dennoch.

du bist der erste Spammer auf meinem neuen Blogg, der gerade einmal 1 Woche und ein paar zerquetschte Tage im Netz steht. Nein, du bekommst keine 100.000 Euro als Geschenk. Wohl eher eine auf die Rübe!

Dabei hatte ich mich heute erst mit Andreas genau über dieses Thema unterhalten, bzw. darüber geschrieben. Es ging darum, dass Crazy Girl die Nase voll hat von den Spamm-Bots und den meisten Webseiten Besitzern, die ihre URL wild in Kommentare schreiben nur um einen Backlink zu bekommen. Um diesem Treiben ein Ende zu setzen,  hat sie einen saftigen Artikel geschrieben, der den meisten Spammern wohl übel Aufstoßen wird. Daraufhin hat Andreas einige Änderungen an seiner Kommentarfunktion vorgenommen, um  Spammern schon im Voraus die Lust am schreiben zu nehmen. Andreas bemängelte zudem, dass viele dieser “Backlinkfreaks” (so nenne ich diese jetzt einmal),  noch nicht einmal seine Artikel durch lesen und auch nur ein paar Wörter in den Kommentar schreiben. Hauptsache der Backlink ist gesetzt. Für mich war das Thema Spamm noch nicht interessant, da mein Blogg noch sehr jung ist und ich erst vor wenigen Tagen von Google erfasst wurde.

Wer kann schon wissen, dass es meine Webseite überhaupt gibt. Darum schmunzelte ich wohl ein wenig über die Aktion von Andreas und Crazy Girl. Das ist noch keine 14 Stunden her, da landet tatsächlich der erste Kandidat auf meinem Blogg! Alter Schwede, ich glaub ich spinne. Hätte ich euch beide nur von Anfang an Ernst genommen. Gut, die Welt geht jetzt nicht unter, wegen diesem einen Spammer, der mir einfach nur auf die Nerven gehen wollte. Wenn meine Seite in ein paar Monaten langsam bekannt geworden ist, was kann mich dann hier erwarten? Gut, bis dahin ist noch Zeit. Ich werde mir wohl oder übel einen Spamfilter installieren müssen.

Was ist denn das beste Anti-Spam Plugin für WordPress? Kennt sich jemand damit aus und kann mir Tipps geben? Ich meine, ich hätte schon einmal etwas Positives von Akismet gelesen. Taugt das was?