Nofollow, Noindex und robots.txt
Nofollow, noindex und robots.txt – die meisten haben schon davon gehört. Wie man damit jedoch auch sein Ranking verbessern kann, möchten wir in nachfolgendem Artikel kurz erläutern.
- Das nofollow Link-Attribut (häufig auch nofollow tag genannt) – funktioniert auf Link-Ebene, indem es bei einzelnen Links eingefügt wird.
- Das nofollow meta tag – arbeitet auf Seiten-Ebene, indem das Tag im <head> Tag einer Webseite integriert wird und so für alle Links einer Seite gilt.
- Das noindex meta tag – hier gilt das selbe, wie für das nofollow meta tag
- Die robots.txt – funktioniert auf Seiten-Ebene und kontrolliert die Indizierung der gesamten Webseite inkl. Verzeichnisse, da die Datei im Root-Verzeichnis abgelegt wird.
Jede dieser Anweisungen eignet sich für bestimmte Einsatzgebiete und bestimmte Zwecke. Insofern ist es sehr wichtig, die unterschiedlichen Funktionsweisen zu verstehen, bevor man versucht durch deren Einsatz die Indizierung von Webseiten und das Ranking damit zu optimieren.
Zum Einstieg nochmals kurz ein paar Worte zu den Begriffen Crawling, Indizierung und Ranking:
Unter Crawling versteht man das Downloaden einer Webseite und das anschließende verfolgen der vorhandenen Links um weitere Webseiten zu finden. Halten Sie sich immer vor Augen, dass Suchmaschinen, obwohl sie Webseiten crawlen um Links zu finden, diese nicht zwingend auf Ihren Servern zwischenspeichern und damit auch nicht automatisch in den Suchergebnissen anzeigen. Technisch gesehen, bedeutet das Crawling lediglich, dass die Suchmaschine die Seite kennt.
Die Indizierung einer Webseite geschieht nachdem die Seite gecrawlt, der Inhalt analysiert und die Keywords identifiziert wurden, mit denen das Thema das Seite definiert wird. Diese Daten werden dann gespeichert und später in den Suchergebnissen ausgewertet. Jede indizierte Webseite muss daher zuerst gecrawlt werden, wobei jedoch nicht jede gecrawlte Seite auch indiziert wird.
Das Ranking ist das Ergebnis der Algorithmen, die von den Suchmaschinen bei Suchanfragen auf die indizierten Seiten angewendet werden. Hierzu werden sowohl Faktoren auf der Seite (z.B. Seitentitel, Überschriften, Content) sowie externe Faktoren – also eingehende Links – berücksichtigt, die dafür sorgen, dass die Seite bei relevanten Begriffen möglichst weit vorn in den Suchergebnissen erscheint.
Das Nofollow Link-Attribut
Hauptaufgabe dieses nofollow tags, das in einen Link integriert wird, besteht darin, der Suchmaschine mitzuteilen, dass der Link keinen PageRank (man spricht in diesem Zusammenhang auch von sog. Link Juice) auf die verlinkte Webseite weitergibt. Nachfolgend ein Beispiel eines derartigen Links:
Wenn das nofollow-Attribut bei einem Link angewendet wird, bedeutet dies, dass der Link keinen Einfluss auf das Ranking hat. Die verlinkte Seite wird aber durchaus gecrawlt und auch indiziert und kann in der Folge auch in den Suchergebnissen auftauchen (obwohl Google mittlerweile anderes behauptet).
Links, die mit diesem Tag versehen sind, werden auch als Links bei den unterschiedlichen Link-Analyse-Tools wie zum Beispiel Yahoo Site Explorer und Google Webmaster Central angezeigt, obwohl man von derartigen Links möglicherweise gar keine Linkpower erhält.
Insofern ist die Benennung mit nofollow eigentlich falsch, da diese Links in den meisten Fällen schon verfolgt werden. Es wird hier nur kein Link Juice weitergegeben. Insofern wäre es möglicherweise besser, das Ganze in „nojuice“ umzubenennen.
Hier sollte beachtet werden, dass Google gemäß offiziellen Aussagen derartige nofollow Links nicht weiterverfolgt. Tests haben jedoch gezeigt, dass dies tatsächlich nicht immer der Fall ist. Manchmal folgen Sie derartigen Links und manchmal eben nicht. Ungeachtet davon verfolgen Yahoo, Microsoft und Ask diese Links schon.
Wenn Sie Suchmaschinen vom Spidern und Indizieren einer Seite aussperren möchten, sollten Sie dieses nofollow Attribut demnach eher nicht verwenden. Das Tag kann aber sehr gut dafür verwendet werden, den PageRank-Fluss auf Ihrer Seite zu beeinflussen. Insbesondere um weniger wichtige Seiten zu entkräften um so den PR auf die wichtigsten Inhaltsseiten zu konzentrieren. Paradebeispiele für Seiten, die mit einem nofollow-Link maskiert werden können sind beispielsweise AGBs, Kontaktformulare, Impressum oder Datenschutzhinweise, die häufig von der Startseite bzw. aus rechtlichen Gründen zum Teil von jeder Seite aus verlinkt werden. Damit können Sie dafür sorgen, dass die wichtigen Seiten auch den entsprechenden PageRank mitbekommen und dieser nicht wieder auf weniger wichtige Seite abfließt.
Ein Beispiel soll das Ganze etwas verdeutlichen:
In diesem Beispiel gehen wir von einer PR5-Seite aus, die auf fünf weitere Seiten verlinkt. Alle davon haben einen PR von 3. Zwei davon sind wichtige Produktinfoseiten, bei den restlichen drei Seiten handelt es sich um weniger wichtige Seite (Datenschutzhinweise, Impressum, Kontaktformular)
Durch Integration des Tag bei Links, die zu weniger wichtigen Seiten führen, ist es durchaus möglich, die wichtigen Produktseiten zu pushen und diese damit zu einem PR4 zu machen, da sich die Linkpower der Landingpower auf weniger Seiten verteilt. Dies hat mitunter positive Auswirkungen auf die Indizierungshäufigkeit und Intensität der jeweiligen Seite, was wiederum indirekten Einfluss auf das Ranking haben kann. In diesem Zusammenhang ist möglicherweise aber wichtiger, dass man durch diese Vorgehensweise und den damit verbundenen Boost von Produkt-seiten, die Seite auch aus dem Supplemental-Index in den Hauptindex pushen kann.
Setzen Sie das nofollow Attribut aber mit Vorsicht ein. Wenn das Tag bei zu vielen Links zum Einsatz kommt, können die Auswirkung nur sehr schwer vorhergesagt werden. Man konnte in der Vergangenheit durchaus beobachten, dass Webmaster durch falschen und somit „manipulativen“ Einsatz dieses Tags die eigenen Rankings negativ beeinflusst haben.
Ein gängiger Fehler besteht darin, das Tag auf eine Vielzahl von weniger wichtigen Seiten anzuwenden in der Hoffnung, dass die übrigen Seiten mehr PR erhalten. Das Problem hierbei liegt jedoch darin, dass die weniger wichtigen Seiten häufig auch auf die wichtigen Seiten verlinken. Da diese Seite aufgrund des nofollow keine Linkpower mehr besitzen, haben die Links auf die Produktseiten auch kein Gewicht mehr. Dies kann sich in einem Rankingverlust der gesamten Seite auswirken.
Ein weiteres Problem besteht darin, dass damit die gesamte Linkstruktur beeinflusst werden kann, da damit das Verhältnis der ausgehenden Links zu den gesamten Links verschoben werden kann. Es kann also sein, dass durch die „Sperrung“ von internen Links am Ende mehr externe als interne Links vorhanden sind, was dazu führen kann, dass die Power einer Seite nach außen abfließt anstatt sich auf die eigene Seite zu verteilen.
Setzen Sie das nofollow Tag daher langsam um mit Bedacht ein.
Das nofollow meta tag
Dieses meta tag unterscheidet sich grundlegend vom nofollow Link Attribut, obwohl beide den selben Namen haben. Das nofollow meta Tag bedeutet, dass keiner der Links auf einer Webseite verfolgt wird und keinerlei PageRank von dieser Seite weitergegeben wird. Das Tag wird im <head> Bereich einer Webseite implementiert und sieht wie folgt aus:
<meta name=“robots“ content=“nofollow“>
Dennoch können Seiten, die über dieses Tag verfügen, indiziert und gerankt werden und diese Seiten können wiederum durch andere Links gefunden indiziert und gerankt werden.
Der Einsatz dieses meta tags ist – sofern man nicht genau weiß, was man tut - durchaus als problematisch anzusehen, da es einer Seite durchaus mehr schaden kann als es nützt. Zum Beispiel dann, wenn das Tag bei verschiedenen Produktseiten implementiert wird und dadurch der Fluss des PR maßgeblich beeinflusst wird. Insofern sollte man sich den Einsatz sehr gut überlegen.
Das noindex tag
Beim noindex tag sieht das Ganze etwas anders aus. Das Tag bedeutet, dass die Seite gecrawlt wird, die Links auf der Seite verfolgt werden, auch der PageRank vererbt wird, die Seite selbst aber nicht indiziert wird und damit auch nicht in den Suchergebnissen auftaucht.
Wenn Sie verhindern möchten, dass eine Seite gelistet wird, der PageRank aber weitergegeben werden darf, können Sie das noindex tag im <head> Bereich der Seite einsetzen. Das Ganze sieht dann folgendermaßen aus:
<meta name=“robots“ content=“noindex“>
Der Einsatz dieses tags wird vermutlich nur sehr selten nötig sein. Wenn Sie jedoch über eine Seite verfügen, deren Inhalte nicht indiziert werden müssen, wohl aber die Links auf der Seite verfolgt werden sollen, dann können Sie dies über das noindex tag steuern.
Die robots.txt
Diese Datei wird verwendet um Suchmaschinen von der Indizierung einzelner Seite oder sogar ganzer Verzeichnisse auszuschließen. Diese Datei wird von allen Suchmaschinen als erstes überprüft, bevor irgendetwas anderes passiert.
Obwohl es keine allgemeine Verpflichtung von Suchmaschinen gibt, diese Datei zu berücksichtigen werden die Vorgaben der robots.txt in der Regel von allen gängigen Search Engines beachtet.
Wenn der Spider Verzeichnisse verfolgt, werden Seiten, die durch die robots.txt blockiert werden, nicht gecrawlt. Dennoch können diese Seiten PageRank weitergeben. Insofern eignet sich die robots.txt nicht sehr gut, um den PR-Fluss auf Ihrer Seite zu steuern. Es ist auch durchaus möglich, dass Seiten, die durch diese Datei für Suchmaschinen gesperrt werden, dennoch in den Suchergebnissen erscheinen – obwohl die Seiten eigentlich nicht gespidert werden. Dies geschieht dann zum Beispiel durch Links, die auf die jeweilige Seite verweisen. In diesem Fall wird den Suchergebnissen dann zwar kein Seitentitel und keine Beschreibung ausgewiesen, die Seiten kann über die Google-Suche aber trotzdem gefunden werden.
Bitte beachten Sie: Sensible Daten sollten in keinem Fall nur über die robots.txt vor der Indizierung geschützt werden, da dies keinen ausreichenden und zuverlässigen Schutz für derartige Fälle darstellt. Hier muss in jedem Fall ein zusätzlicher Passwortschutz implementiert werden, um auf Nummer sicher gehen zu können.
Mehr zur robots.txt finden Sie unter http://www.robotstxt.org
Übersicht Nofollow, Noindex und robots.txt
Wie Sie sehen können, erfolgt ein Großteil der Kontrolle eines Suchmaschinenspiders über das nofollow Link Attribut und die robots.txt. Dennoch ist es in diesem Zusammenhang wichtig, auch die anderen beiden Optionen und deren Funktionen zu kennen um die Tools bestmöglich einsetzen zu können.
Zum Einstieg in dieses Thema empfiehlt es sich, sich auf eine administrative Seiten (z.B. das Impressum) zu beschränken. Diese Seite kann in einem ersten Schritt über die robots.txt von der Indizierung ausgeschlossen werden. Im zweiten Schritt sollten dann alle internen Links auf das Impressum mit nofollow maskiert werden. Dies hat dann zur Folge, dass Seitenbesucher, das Impressum nach wie vor finden und anklicken können. Die Suchmaschinen indizieren diese Seite aber nicht und vergeuden damit auch keine Zeit mit der Indizierung von „sinnlosen“ Seiten. Der PageRank wird darüber hinaus auf die wichtigen Seiten verteilt und fließt nicht solchen administrativen Seiten zu.
Als eine allgemeine Regel kann festgehalten werden, dass alle Seite, die über keine nützlichen und für den User relevanten Inhalte verfügen, von der Indizierung ausgeschlossen werden sollten. Damit entlasten Sie die Spider der Suchmaschinen und stärken Ihre wesentlichen Seiten.
Abonnieren Sie jetzt unseren RSS-Feed und bleiben Sie so immer auf dem Laufenden!
Diese Artikel dürften Sie auch interessieren
- NoFollow aus der Sicht von Matt Cutts
- Nutzlose Meta-Tags in Web-Seiten
- Tools für Web-Design und SEO
- Suchmaschinenspam durch Sitemap Files
- Page Rank wieder auf Talfahrt
am 10 March, 2008 um 18:13
So richtig glaubt da niemand dran, auch wenn Matt Cutts es gesagt hat.
am 10 March, 2008 um 18:20
@ Andi: Was meinst du jetzt genau? Oder geht´s dir bei deinem Kommentar nur um den Link
am 11 March, 2008 um 1:12
Ein Kommentar ein Link was wer damir bezweckt steht in den sternen.
Auf jeden afll gibt es da durch überall mehr Kommentare. Bringt ja dann auch beiden was, den Bloger sowie den Komentaristen. Mal wieder sauberer Artikel lesen in letzter Zeit alle Artikel dieses Blogs. Echt sehr Informative für Webmaster.
am 13 March, 2008 um 12:09
Super Artikel! @Josef Willkommer: In den ersten Zeile schreibst du, dass es keinen Unterschied zwischem dem nofollow und noindex Tag gibt. Das wäre mir neu. Oder hab ich da was falsch verstanden?
am 13 March, 2008 um 14:06
@ sascha: Vielen Dank für die Blumen :-). Vielleicht hab ich das etwas unglücklich formuliert. Es gibt schon einen Unterschied: zumindest theoretisch ist es so, dass bei nofollow der jeweilige Link nicht verfolgt und keine Linkpower vererbt werden soll, bei noindex wird der Link schon verfolgt, er wird nur nicht indiziert. Allerdings würde ich das aufgrund von einigen Tests in der Vergangenheit so nicht hunderprozentig stehen lassen. Mit “ähnlich” habe ich nur gemeint, dass das Ganze auf Link- und nicht auf Seitenebene funktioniert.
am 15 March, 2008 um 16:36
Man sollte aber bedenken, dass sich Google mehr oder weniger als einizge Suchmaschine an nofollow, noindex und die robots.txt hält.
Yahoo kennt kein nofollow, noindex und die robots.txt, ignoriert das also ganz.
Wie es bei MSN ist, weiß ich nicht sicher, aber hab im Hinterkopf dass die die Tags auch nicht kennen.
am 15 March, 2008 um 16:46
@ kathi: Stimmt, dass es die anderen Suchmaschinen mit nofollow und noindex zum Teil nicht so genau nehmen. Dass die robots.txt ignoriert wird, wäre mir allerdings vollkommen neu. Siehe hierzu auch http://help.yahoo.com/l/de/yahoo/search/crawler/crawler-02.html.
Aber wer achtet - bei einem Google-Marktanteil in Deutschland von über 90% - schon auf MSN und Yahoo
am 15 June, 2008 um 10:00
Hey, danke für den tollen Artikel, ich setze grade mein Wordpress Weblog auf und in dem Zusammenhang taucht mit SEO immer das nofollow dofollow Ding auf - und jetzt weiß ich endlich genau, was es damit auf sich hat! Wobei es immer noch spannend bleibt, was setze ich wo am besten ein…
Danke und viele Grüße!! 
André
am 18 June, 2008 um 7:01
[…] Dies bedeutet nicht, dass Google nur Ihre Sitemap spidert. Sofern Ihre Seite nicht per robots.txt oder über das noindex bzw. nofollow Tag von der Indizierung ausgeschlossen wird, werden Ihre Seiten von Google auch […]