Nicht indexierbare Seiten: Wie sie entstehen und was Du dagegen tun kannst

Websites sind in der Regel keine statischen Gebilde, sondern wachsen, werden mit neuem Content befüllt oder modifiziert. Dabei kann es immer geschehen, dass URLs aufgrund von fehlerhafter Konfiguration oder falsch gesetzten sowie vergessenen Tags nicht mehr indexiert werden können.

Ohne Indexierung können die betroffenen URLs nicht mehr ranken. Abhängig von der Stärke der jeweiligen URL kann durch die ausbleibende Indexierung ein großer Sichtbarkeitsverlust entstehen. Du solltest Deine Website deshalb regelmäßig auf nicht indexierbare Seiten prüfen. Ryte kann Dir dabei helfen!

Falsch gesetzte oder „vergessene“ Noindex-Tags

Mit dem Noindex-Tag kannst Du Webseiten von der Indexierung durch Suchmaschinen ausschließen. In diesem Fall wird im Header der Tag

eingefügt.

Crawler wie der Googlebot können den Links auf der Seite zwar noch folgen, Sie indexieren jedoch die URL nicht. Meist wird der Noindex-Tag eingesetzt, um temporär zu verhindern, dass eine URL indexiert wird. Das kann zum Beispiel durch Umstellungen auf der URL bedingt sein oder durch Änderungen der URL-Struktur. Wenn der Tag jedoch nach den Änderungen vergessen wird, ist die Seite dauerhaft nicht im Index. Handelt es sich dabei noch um das Tag ohne den Zusatz „follow“, folgt der Googlebot den Links auf der betreffenden Seite nicht mehr. Du verhinderst somit außerdem, dass weitere URLs Deiner Seite gecrawlt und indexiert werden können.

So findest Du fehlerhaft gesetzte Noindex-Tags mit Ryte Website Success:

Klicke unter dem Menüpunkt “Indexierbarkeit” auf den Abschnitt “Was ist indexierbar?”. Danach erhältst Du eine Übersicht mit URLs, die Google indexieren kann oder wo mögliche Indexierungsprobleme bestehen.

Abbildung 1: URLs mit dem Noindex-Tag mit Ryte Website Success ermitteln.

Was Du dann tun solltest:

• Entferne die falsch gesetzten Noindex-Tags von den betreffenden URLs.
• Lass Dein Projekt danach erneut von Ryte crawlen und entsprechend prüfen.

Falsch gesetzte Canonical-Tags

Mit einem Canonical-Tag kannst Du Google bei URLs mit gleichen Inhalten auf die „Original-URL“ hinweisen. In der Regel ignoriert Google dann bei der Indexierung das Duplikat und referenziert nur die kanonische URL.

Gerade beim Setzen von Canonical-Tags können viele Fehler entstehen. So ist es möglich, dass der Canonical-Tag auf eine Seite mit noindex-Tag verweist. In diesem Fall wird die kanonische Seite nicht indexiert. Grundsätzlich ist der Canonical-Tag auch nur eine Empfehlung für Google, keine Anweisung. Wenn der Googlebot von falsch gesetzten Canonicals ausgeht, werden diese ignoriert. Google prüft dafür die in der Sitemap.xml hinterlegten Links.

So prüfst Du Canonical-Tags mit Ryte Website Success:

Navigiere im Bereich “Indexierbarkeit” zu “Canonicals”. Klicke dort auf “Canonical Verwendung”. Anhand der Übersicht wird Dir angezeigt, wo Canonical-Tags auf Deiner Seite verwendet werden und wo nicht.

Abbildung 2: Canonical-Tag-Verwendung mit Ryte Website Success prüfen.

Was Du dann tun solltest:

• Füge auf sich selbst verweisende Canonical-Tags ein, wenn eine Seite nicht auf eine kanonische URL verweisen soll.
• Prüfe Canonical-Tags und deren Linkziele. Ist alles korrekt? Pass mögliche Fehler an.

Fehler in der robots.txt

Die kleine robots.txt ist lediglich eine Textdatei, die im Root-Verzeichnis Deiner Domain hinterlegt wird. Doch hat die Datei großen Einfluss auf die Indexierung Deiner Website. Denn sie enthält Anweisungen, wie Bots Deine Website crawlen dürfen.

Die robots.txt schließt zwar nicht wie oft missverstanden wird, URLs von der Indexierung aus. Aber indem Anweisungen verhindern, dass der Googlebot URLs crawlen darf, können diese auf diesem Weg auch nicht indexiert werden.

So kontrollierst Du Deine robots.txt-Datei mit Ryte:

Klicke im Bereich “Indexierbarkeit” auf “Robots.txt”. Schon erhältst Du eine Übersicht, welche URLs durch die Datei vom Crawling ausgeschlossen werden.

Abbildung 3: Monitoring der robots.txt mit Ryte.

Fehlerhafte Redirects

Weiterleitungen wie der 301-Redirect helfen dabei alte URLs auf neue URLs umzuleiten, ohne dass dabei Linkjuice verloren geht. Für Nutzer ist die in der htaccess-Datei des Apache-Servers hinterlegte Anweisung kaum spürbar. Wird die 301-Weiterleitung jedoch falsch eingerichtet, kann das zu Rankingverlusten führen, weil die ursprüngliche Seite bei der Indexierung nicht mehr berücksichtigt wird.

Ein häufiger Fehler ist es, wenn eine 301-Weiterleitung die falsche URL weiterleitet. Schlecht für die Indexierung ist es außerdem, wenn eine 301-Weiterleitung zu einer URL führt, die per Canonical auf eine andere URL verweist oder eine URL weiterleitet, die per Noindex von der Indexierung ausgeschlossen ist.

Mit Ryte kannst Du alle Weiterleitungen auf Deiner Webseite kontrollieren:

Klicke im Bereich “Indexierbarkeit” auf den Menüpunkt “Weiterleitungen” und danach auf “Status Codes”. Der Report zeigt Dir sofort alle gesetzten Weiterleitungen an.

Abbildung 4: Weiterleitungen mit Ryte Website Success prüfen.

Das solltest Du tun:

• Werden 301-Weiterleitungen noch benötigt? Prüfe, ob die neuen URLs bereits von Google indexiert werden.
• Sind temporäre Weiterleitungen (302) noch notwendig? Diese Weiterleitungen werden meist gesetzt, wenn es aufgrund der Saison oder des Marketings neue URLs gibt, auf die weitergeleitet wird.

Defekte oder fehlende interne Verlinkung

Eine intakte interne Verlinkung wirkt wie das Netz aus Adern, das einen Körper mit frischem Blut versorgt. Ist die interne Verlinkung defekt, stockt die Verteilung des Linkjuice und im schlimmsten Fall verhindern defekte Links die Indexierung einzelner URLs Deiner Seite.

So kann es durch Umbauten oder Umstrukturierungen auf Deiner Website dazu kommen, dass URLs zu sogenannten „verwaisten Seiten“ werden. Dabei handelt es sich um Webseiten ohne eingehende interne Links.

Ryte Website Success kann Dir dabei helfen, verwaiste Seiten aufzuspüren:

Klicke hierfür auf “Links”, danach auf “Seiten ohne eingehende Links”. Der Report listet Dir dann alle verwaisten URLs auf.

Abbildung 5: Verwaiste Seiten mit Ryte Website Success finden.

Das solltest Du dann tun:

Passe die interne Verlinkung zur betreffenden URL oder Verzeichnis wieder an. Korrigiere den entsprechenden Link im Menü oder Content.

Fehlerhafte Paginierung

Die Paginierung von URLs in Kombination mit Noindex-Tags und Canonicals kann zu Irritationen bei Suchmaschinen und somit zur fehlerhaften Indexierung oder zum Ausbleiben der Indexierung führen.

Hast Du zum Beispiel eine Paginierung eingefügt und die paginierten Seiten verweisen auf die erste Seite der Paginierung, kann das dazu führen, dass die paginierten Seiten selbst nicht mehr indexiert werden.

So findest Du die Fehler mit Ryte Website Success:

Klicke im Bereich “Indexierbarkeit” auf “Paginierung”, danach auf “Paginierungs-Ziele”.

Ryte zeigt Dir anschließend, wohin die mit rel=“prev” gekennzeichneten Links verweisen.

Abbildung 6: Paginierung mit Ryte Website Success prüfen.

Was Du tun solltest:

• Kontrolliere, ob der Verweis der Paginierung korrekt ist und die markierten Links auf die korrekte Seite bzw. das korrekte Verzeichnis verweisen. Korrigiere eventuelle Fehler.
• Lass Dein Projekt nach den Verbesserungen nochmals von Ryte crawlen und prüfe Paginierungen erneut.

Seiten mit 404 Status-Code

Eine 404-Fehlerseite wird immer dann ausgegeben, wenn der Server auf die Anfrage eines Clients keine Inhalte mehr zur angefragten URL findet (404 not found). Wenn der Googlebot nun Deine Website crawlt und häufig auf Fehlerseiten trifft, wird das Crawling enorm gestört. Das kann dazu führen, dass der Googlebot aufgrund des beschränkten Crawl Budgets die tieferen Bereiche Deiner Website nicht mehr besuchen kann.

So findest Du 404-Fehler mit Ryte:

Navigiere im Bereich “Indexierbarkeit” zu “Status Codes”. Klicke danach auf den roten Button “>4xx (nicht gefunden)”. Der Report zeigt Dir dann alle URLs an, die einen 404-Fehlercode ausliefern.

Abbildung 7: Statuscodes mit Ryte abrufen.

Das kannst Du tun:

• Prüfe, ob es für die vorhandenen 404-Fehler wirklich keine relevante URL gibt. Füge ansonsten eine 301-Weiterleitung zu neuen Inhalten ein.
• Prüfe, ob die URLs fehlerhaft sind, für die der Server einen 404-Fehler ausgibt.

Fazit

Je größer ein Webprojekt ist, desto höher ist die Wahrscheinlichkeit, dass dort Fehler auftauchen. Gerade bei Websites mit vielen URLs ist es deshalb umso wichtiger, dass Du Dein Projekt regelmäßig auf Fehler prüfst. Empfehlenswert ist eine Kontrolle immer dann, wenn Du Änderungen an Inhalten, der URL-Struktur oder Weiterleitungen vornimmst. Mit Ryte kannst Du mit geringem Aufwand die passenden Reports erstellen, die Dir bei der Fehlersuche helfen.