Was ist Baidu überhaupt?

Baidu ist die größte chinesische Suchmaschine. Was für uns Europäer Google, ist für unsere Freunde im Fernen Osten Baidu. Laut der Statistik von Alexa, gehört Baidu mittlerweile zu den zehn weltweit am häufigsten aufgerufenen Webseiten. Nicht sehr verwunderlich ist deshalb die Tatsache, das Baidu.com mittlerweile einen Pagerank von 9 besitzt!

Was indexiert Baidu?

Ich kann behaupten, dass Baidu.com alles auf meinem Blog durchsucht und interessant findet, was in Worte gefasst ist. Bisher haben sie nichts ausgelassen. Ob meine Tags, Artikel, oder meine statischen Seiten, Baidu.com kennt bereits jeden Winkel meins Blogs, den ich für die Suchmaschinen freigegeben habe. Auf anderen Webseiten wird er sich bestimmt genauso verhalten.

Wie oft kommt der Baiduspider zu Besuch?

In der Regel besucht mich der Baiduspider 4-5 Mal die Woche nur für kurze Zeit. Laut meinem Web-Log hat er in den letzten 5 Tagen 78 Mal auf meine Seiten zugegriffen. Das ist gar nicht so wenig, wen man bedenkt, wie unwichtig diese Suchmaschine für den deutschen Raum eigentlich ist. Meistens verschwindet der Robot mit dem User-Agent: “Baiduspider” wieder so schnell, wie er gekommen ist. Wie ich gestern Abend gemerkt habe, ist der Baiducrawler aber nicht immer so zurückhaltend, wie das bisher meistens der Fall war (siehe Bilder).

Wie mächtig ist Baidu.com wirklich?

Laut diversen Internetberichten soll die größte chinesische Suchmaschine im Jahr 1999 in einem Pekinger Hotelzimmer gegründet worden sein. Berichten zufolge soll Baidu.com im Jahr 2007 einen Umsatz von 1,74 Mrd. ¥  (Yuan) gemacht haben. Was dieser Umsatz umgerechnet in Euro ergibt, kann ich leider nicht ganz genau sagen.  Nach meinen Recherchen komme ich auf eine Summe von umgerechnet 106 Mio. Euro. Bereits am 5. August 2005, ging  Baidu.com an der Börse.

Laut einem Artikel von Heise Online aus dem Jahr 2006, soll sich Microsoft mit der chinesischen Suchmaschine verbündet haben. Zitat: „Der US-amerikanische Softwarekonzern Microsoft hat mit dem chinesischen Suchmaschinenanbieter Baidu eine Partnerschaft geschlossen.“

Baidu kann aber auch am Rad drehen!

Diese Erfahrung musste ich gestern Abend machen, als ich mich in mein WordPress-Dashboard eingeloggt habe. Zufällig sah ich, wie sich der Baiduspider auf meinem Blog etwas „Breit“ gemacht hat (siehe Bild). Das war übrigens das erste Mal, dass er so am Rad gedreht hat.

Soll man den Baiduspider auf seiner Webseite blockieren?

So weit ich das selber beurteilen kann, braucht man Baidu.com nicht blockieren. Zumindest verursachte der Spider bisher keinen einzigen 404-Fehler auf meinem Blog und es gibt auch kein Traffic Problem durch ihn. Auf seriösen Internetseiten konnte ich erfahren, dass es ein guter Crawler ist, der zumindest keinerlei böse Absichten hat. Des Weiteren liest und respektiert er die Robots.txt.

Ob man den Baiduspider auf seiner eigenen Webseite blockiert, oder ihm freie Hand lässt, muss jeder Webmaster letztendlich selbst entscheiden. Sollte man den Baiduspider von seinen Seiten verbannen, so bin ich mir sicher, dass einen dadurch bestimmt kein Nachteil entsteht.

Baiduspider unter die Lupe genommen:

User Agent: Baiduspider
Liest die robots.txt: Ja
Respektiert die robots.txt: Ja
Auszug aus meiner Original Log-File: [17/Nov/2009:09:28:57 +0100] “GET / HTTP/1.1″ 200 36947 “-” “Baiduspider+(+http://www.baidu.com/search/spider.htm)”

Jetzt besucht mich seit Wochen ein unbekannter Bot, der sich auf meinem Blog anscheinend Pudelwohl fühlt und meine Webseite deshalb mehrmals am Tag für 30-45 Minuten durchsucht. Wenn das der GoogleBot wäre, würde ich mich ja freuen.  Leider durchsucht der Kamerad mit der Kennung: “chello062178217028.11.15.vie.surfer.at” alle möglichen und unmöglich Seiten meines Blogs und vor allem Seiten, die es gar nicht gibt. Er generiert zu jeder URL immer “/blank” am Ende dazu und erzeugt somit einen 404 Fehler. Beispiel: “www.joachimnadolny.de/blank“

Ich habe mir vor einiger Zeit das Plugin: JH 404-Logger installiert und sehe somit jede generierte “404 not found” Fehlerseite auf meinem Blog. Da die Liste der erzeugten Fehler langsam enorme Ausmaße annimmt, will ich nun etwas gegen diesen Bot und allen zukünftigen 404 Erzeuger unternehmen. Deshalb habe ich ein paar Fragen an die Spezialisten unter euch und hoffe, dass ihr mir diese beantworten könnt.

1. Kennt jemand diesen Bot und hat Informationen darüber, was dieser Knabe überhaupt indexiert?

2. Wie kann ich mich gegen solche Crawler schützen? Ich habe im Hinterkopf, dass ich mit der .htaccess etwas spielen kann um so bestimmten Bots den Zugriff zu verweigern. Aber wie funktioniert das eigentlich genau? (Mittlerweile habe ich herausgefunden wie man das bewerkstelligen kann. Lese dazu diesen Artikel)

3. Ist es für den Traffic ein Problem, wenn Bots 404 Fehlerseiten generieren? Bei diesem Bot könnte man meinen, er sei nur dafür Programmiert worden, 404´er Seiten zu erzeugen. Denn das macht er ziemlich gut!

24. Oktober 2009, 12:43 Uhr Nachtrag:

Anhand der IP konnte ich die Firma ausfindig machen, die evl. hinter diesem Bot steckt und mir demnach die 1. gestellte Frage selber beantworten können. Mein 2. bester Freund ist ein Österreicher! Er kommt nämlich genau von:

Hostmaster Chello Broadband
UPC Broadband
Internet Services
Erlachgasse 116
A-1100 Vienna
Austria

E-Mail: hostmaster@chello.at, oder abuse@chello.at

Die Adresse deckt sich 100% mit der Kennung des Spiders (Zur Erinnerung: chello062178217028.11.15.vie.surfer.at). Dank meiner Whois -Abfrage, konnte ich diese Firma ausfindig machen. Ich habe UPC direkt angeschrieben und sie um eine Stellungnahme gebeten. Mir wurde es heute nämlich zu Bunt, da ich gesehen habe, dass dieser Robot über Nacht wieder 207 Stück 404-Fehlerseiten generiert hat.

24. Oktober 2009, 17:22 Uhr Nachtrag:

Mittlerweile konnte ich noch mehr Informationen über diesen Bot heraus finden. Ich habe heute die kompletten Log-Files meins Webhostes ausgelesen. Dabei konnte ich interessante Details heraus finden. Und zwar nennt sich dieser Spider “betaBot“. Diesen Namen benutzt er auch als User-Agent! Ich habe den Eindruck, er mag am liebsten meine Tags durchsuchen. Jedenfalls erzeugt er bei allen meinen Tags einen “404 file not fount” Fehler.

In wie weit dieser betaBot mit der Oben angesprochenen Firma aus Österreich zusammen hängt, kann ich noch nicht sagen. Ich muss jetzt erst einmal die Antwort von einem Verantwortlichen dieser Firma abwarten. Sobald ich näheres heraus finden konnte, werde ich sofort darüber berichten.

Hier ein Auzug meiner Orginial Log-File:

31. Oktober 2009 10:43 Uhr Nachtrag:

Eine Woche ist vergangen, seit ich die E-Mail verschickt habe und wie erwartet, hat sich ­Chello ­Broadband nicht dazu geäußert. Das ist natürlich sehr ärgerlich. Mittlerweile konnte ich diesen aggressiven ­betaBot per “.­htaccess” von meiner Webseite aussperren. Jetzt gibt es noch einen 2. Bot auf meiner Website, der auch ­404ér Fehler erzeugt. Anders, wie ­betaBot, generiert dieser Heino Fehlerseiten ­á la: www.joachimnadolny.de“/\”. Zum Glück halten sich die so generierten Fehlerseiten in Grenzen (max. 10 Stück / Tag), aber nervig ist es dennoch.