Gestern wurde ich wieder einmal von meinem chinesischen Freund „Baidu“ (chin. 百度, bǎidù) besucht. Jeder von uns dürfte bestimmt schon einmal das Vergnügen mit diesem Robot gemacht haben. Die kleinen Spiderchen, die von soooo weit herkommen, nur um ein paar Seiten zu durchsuchen. Leider weiß Baidu.com anscheinend nicht, dass die Menschen im Fernen Osten unsere Sprache nicht verstehen und deshalb auch keine unserer indexierten Seiten lesen können. Oder etwa doch? Soviel ich herausgefunden habe, wird die größte chinesische Suchmaschine von uns Europäer hauptsächlich dazu genutzt, Videos und MP3 Dateien ausfindig zu machen.



Was ist Baidu überhaupt?

Baidu ist die größte chinesische Suchmaschine. Was für uns Europäer Google, ist für unsere Freunde im Fernen Osten Baidu. Laut der Statistik von Alexa, gehört Baidu mittlerweile zu den zehn weltweit am häufigsten aufgerufenen Webseiten. Nicht sehr verwunderlich ist deshalb die Tatsache, das Baidu.com mittlerweile einen Pagerank von 9 besitzt!


Was indexiert Baidu?

Ich kann behaupten, dass Baidu.com alles auf meinem Blog durchsucht und interessant findet, was in Worte gefasst ist. Bisher haben sie nichts ausgelassen. Ob meine Tags, Artikel, oder meine statischen Seiten, Baidu.com kennt bereits jeden Winkel meins Blogs, den ich für die Suchmaschinen freigegeben habe. Auf anderen Webseiten wird er sich bestimmt genauso verhalten.


Wie oft kommt der Baiduspider zu Besuch?

In der Regel besucht mich der Baiduspider 4-5 Mal die Woche nur für kurze Zeit. Laut meinem Web-Log hat er in den letzten 5 Tagen 78 Mal auf meine Seiten zugegriffen. Das ist gar nicht so wenig, wen man bedenkt, wie unwichtig diese Suchmaschine für den deutschen Raum eigentlich ist. Meistens verschwindet der Robot mit dem User-Agent: “Baiduspider” wieder so schnell, wie er gekommen ist. Wie ich gestern Abend gemerkt habe, ist der Baiducrawler aber nicht immer so zurückhaltend, wie das bisher meistens der Fall war (siehe Bilder).


Wie mächtig ist Baidu.com wirklich?

Laut diversen Internetberichten soll die größte chinesische Suchmaschine im Jahr 1999 in einem Pekinger Hotelzimmer gegründet worden sein. Berichten zufolge soll Baidu.com im Jahr 2007 einen Umsatz von 1,74 Mrd. ¥  (Yuan) gemacht haben. Was dieser Umsatz umgerechnet in Euro ergibt, kann ich leider nicht ganz genau sagen.  Nach meinen Recherchen komme ich auf eine Summe von umgerechnet 106 Mio. Euro. Bereits am 5. August 2005, ging  Baidu.com an der Börse.

Laut einem Artikel von Heise Online aus dem Jahr 2006, soll sich Microsoft mit der chinesischen Suchmaschine verbündet haben. Zitat: „Der US-amerikanische Softwarekonzern Microsoft hat mit dem chinesischen Suchmaschinenanbieter Baidu eine Partnerschaft geschlossen.“


Baidu kann aber auch am Rad drehen!

Diese Erfahrung musste ich gestern Abend machen, als ich mich in mein WordPress-Dashboard eingeloggt habe. Zufällig sah ich, wie sich der Baiduspider auf meinem Blog etwas „Breit“ gemacht hat (siehe Bild). Das war übrigens das erste Mal, dass er so am Rad gedreht hat.



Soll man den Baiduspider auf seiner Webseite blockieren?

So weit ich das selber beurteilen kann, braucht man Baidu.com nicht blockieren. Zumindest verursachte der Spider bisher keinen einzigen 404-Fehler auf meinem Blog und es gibt auch kein Traffic Problem durch ihn. Auf seriösen Internetseiten konnte ich erfahren, dass es ein guter Crawler ist, der zumindest keinerlei böse Absichten hat. Des Weiteren liest und respektiert er die Robots.txt.

Ob man den Baiduspider auf seiner eigenen Webseite blockiert, oder ihm freie Hand lässt, muss jeder Webmaster letztendlich selbst entscheiden. Sollte man den Baiduspider von seinen Seiten verbannen, so bin ich mir sicher, dass einen dadurch bestimmt kein Nachteil entsteht.


Baiduspider unter die Lupe genommen:

User Agent: Baiduspider
Liest die robots.txt: Ja
Respektiert die robots.txt: Ja
Auszug aus meiner Original Log-File: [17/Nov/2009:09:28:57 +0100] “GET / HTTP/1.1″ 200 36947 “-” “Baiduspider+(+http://www.baidu.com/search/spider.htm)”