Das Noindex Tag

In diesem Teil des Videotrainings möchte ich über den Noindex-Tag sprechen. Im Prinzip sorgt der Noindex-Tag dafür, dass mein Inhalt nicht von Google indexiert wird. Das heißt, der Inhalt wird zwar von Google durchsucht, aber die Seite landet nicht im Index. Die Seite wird dementsprechend auch nicht in den Suchergebnissen von Google ausgegeben. Im Quellcode der Webseite selbst, sieht das dann folgendermaßen aus: . Damit kann man jeder Suchmaschine sagen, dass der Inhalt dieser Unterseite nicht indexiert werden soll. Sehen wir uns das Ganze anhand eines Beispiels an.

Ich zeige das anhand eines WordPress-Plugins. Ich habe hier einen Post. Sehen wir uns diesen einmal anhand des Previews an. Ich gehe hier in den Seitenquelltext und suche nach dem Noindex-Tag. Den finden wir auf dieser Seite nicht, da er noch nicht definiert wurde. Wenn ich umschalte und mit Hilfe des Yoast-Plugins auf Noindex umstelle und die Seite update, kann ich mir unter „Preview Changes“ die Änderungen ansehen. Im Seitenquelltext suche ich wieder nach dem Noindex-Tag. Jetzt sehe ich hier, dass ein Meta-Tag, ein Robot-Tag, mit dem Noindex-Follow hinzugefügt wurde. Das heißt, dass Google die Seite sehen und der Seite folgen darf, aber diese Seite nicht indexiert werden soll. Ich stelle das Ganze jetzt schnell wieder um, damit die Seite nicht aus dem Index herausfällt. Es gibt auch noch eine andere Möglichkeit einen Noindex-Tag zu implementieren. Man kann den Tag einfach in den Quellcode schreiben oder mit Hilfe eines Plugins ändern. Eine weitere Möglichkeit zur Implementierung, ist der X-Robots-Tag. Dieser Tag ist nicht sichtbar und wird vom Server übertragen. Das ist eine Kommunikation die im Hintergrund stattfindet und die der Nutzer nicht sehen kann. Hier gibt es auch die Möglichkeit diesen X-Robots-Tag zu definieren.

Sehen wir uns das anhand eines sogenannten Header Check Tools an. Hier kann ich sehen, wie die Header aussehen. Wir rufen hier einfach einmal http://www.chip.de auf und sehen uns den Header an. Der Header zeigt hier „200 OK“ an, das heißt, dass der Server das Okay liefert. Es könnte hier auch ein Redirect stehen, dann würde hier 301 stehen. In dieser Ausgabe steht normalerweise auch der X-Robots-Tag. Hier ist dieser natürlich nicht vorhanden. In diesem Header würde dann einfach eine zusätzliche Zeile mit „X-Robots-Tag: noindex“ stehen. Das würde dasselbe bewirken, nur das hier die Änderungen nicht im Quellcode vorgenommen werden, sondern die Information wird im Hintergrund übertragen.

Sehen wir uns an, wozu wir das alles brauchen. Wenn man zum Beispiel eine interne Suche hat und interne Suchergebnisse, dann ist es praktisch diese aus dem Google-Index herauszuhalten. Wenn sich zum Beispiel Filter auf der Webseite befinden, wird oft für dasselbe Produkt auf verschiedenen URLs verwiesen. Da es beispielsweise in unterschiedlichen Größen oder Farben erhältlich ist. Da diese Seiten nicht besonders einzigartig sind, ist es von Vorteil diese aus dem Index herauszuhalten. Doppelte Inhalte (duplicate content DC). Wenn ich mehrere ähnliche Inhalte habe oder external duplicate content, also Produktbeschreibungen oder Inhalte die ich beispielsweise von einem Hersteller übernommen habe, sollte ich diese auch mit Hilfe des Noindex-Tag aus dem Index heraushalten. Je mehr Inhalte auf meiner Webseite sind, die nicht von mir stammen, umso schlechter ist das für die Webseitenqualität. Wenn Google feststellt, dass die meisten Inhalte auf meiner Webseite nicht von mir stammen und auch keinen Mehrwert für den Nutzer bieten, hat das einen negativen Einfluss auf die Qualität meiner gesamten Webseite. Urheberrechtlich geschützte Inhalte können mit Hilfe des Noindex-Tags, auch aus dem Index herausgehalten werden. Hier stellt sich aber generell die Frage, warum ich solche Inhalte überhaupt auf der Webseite habe.

Abschließend noch ein Profi-Tipp, was man unbedingt beachten sollte, wenn man vor hat einen Noindex-Tag in Kombination mit der robots.txt-Datei zu implementieren. Mit dieser Datei kann man auch dafür sorgen, dass einzelne Unterseiten von Google nicht indexiert werden. Was man in diesem Fall aber unbedingt vermeiden sollt ist, dass man einen Noindex-Tag setzt und kurz darauf die robots.txt-Datei aktualisiert. Da Google zuerst diese Unterseiten erneut crawlen muss, um den Noindex-Tag zu erkennen. Das heißt, wenn ich den Noindex-Tag auf diesen Seiten implementiere, muss ich dafür sorgen, dass Google diese Seiten auch crawlen kann. Es macht keinen Sinn Google von diesen Seiten fernzuhalten, da diese Seiten so im Index bleiben. Wenn ich den Noindex-Tag setzte, muss ich auch dafür sorgen, dass Google diese Seite erreichen kann. Nur so kann man dafür sorgen, dass diese Seiten in Zukunft aus dem Index gestrichen werden.