SEO- und Internet-News by TechDivision

Kürzlich wurde in einem Webmaster-Forum ein Thread veröffentlicht, indem berichtet wurde, dass Suchmaschinenspammer das XML-Sitemap-File für Ihre Zwecke missbrauchen können.

Aber der Reihe nach…
Um bessere Daten für Ihren Index zu generieren, haben sich die drei Großen Suchmaschinenbetreiber etwas nettes einfallen lassen. Durch ein standardisiertes XML-File können Webmaster die Suchmaschinen über die einzelnen Unterseiten einer Webseite, deren Inhalte, die letzte Aktualisierung, sowie die Aktualisierungsfrequenz informieren. Dadurch wird den Suchmaschinen das Indizieren erleichtert.

Mittlerweile haben jedoch einige Webmaster von Problemen beim Einsatz einer derartigen Sitemap berichtet. So kam es bereits vor, dass Inhalte einer Webseite plötzlich auch auf ganz anderen Seiten erschienen. Dadurch wurde Dublicate Content produziert, der zu einer Abstrafung der Seiten führte.

Wie kommt so was?
Suchmaschinenspammer benutzten die XML-Sitemap-Files um Inhalte für Ihre Scraper Sites zu generieren. Bei diesen Seiten handelt es sich um Internetauftritte, deren Inhalte – basierend auf ausgewählten Keywords - durch Softwaretools automatisiert aus dem Web generiert werden. Auf diesen Seiten werden dann AdSense-Anzeigen eingebunden, die die Seite monetarisieren sollen.
XML-Sitemaps erleichtern es Scraper-Tools, inhaltsreiche Webseite zu finden. Die ursprüngliche Idee Suchmaschinen mit validen Informationen zu versorgen wird somit umgebogen. Neben den Suchmaschinen-Bots werden auch Spam-Bots über die Inhalte einer Seite informiert.

Was kann man dagegen unternehmen?
Die einfachste Möglichkeit dieser Gefahr zu entgehen ist der Verzicht auf eine XML-Sitemap. In diesem Fall kann Ihre Seite zwar von Scraper-Tools über die normalen Links immer noch gespidert werden, der Vorgang wird aber deutlich erschwert.

Eine andere Möglichkeit besteht darin, die Sitemap nach der Indizierung durch einen Suchmaschinenspider wieder zu entfernen.

Ansonsten kann man gegen Content-Klau im Vorfeld leider relativ wenig unternehmen. Wenn Sie den Verdacht haben, dass Ihre Inhalte auf anderen Webseiten verwendet werden, können Sie dies durch das Tool Copyscape kostenlos überprüfen.

Abonnieren Sie jetzt unseren RSS-Feed und bleiben Sie so immer auf dem Laufenden!