HTTP Status Code 404: Crawling-Fehler beheben

Was ist ein 404-Fehler und wofür steht er?

Ein 404-Fehler beschreibt Seiten, die nicht oder nicht mehr aufgerufen werden können. In der Regel äußert sich das für den Benutzer durch die typische Fehlermeldung im Browser „404 – Seite nicht gefunden“.
Genauer betrachtet und technisch gesehen beschreibt 404 den HTTP Status Code, welcher durch den HTTP Header beim Seitenaufruf zurückgegeben wird. Dabei steht 4XX für die Status-Klasse „Client-Fehler“. Weitere Klassen sind zum Beispiel:

Die jeweiligen Status Codes innerhalb der Klasse, wie zum Beispiel 400, 401, 402 usw. repräsentieren nochmal separate Fehlermeldungen, die mit der jeweiligen Status Klasse zu tun haben. Diese Codes werden im Hintergrund angefordert wenn Nutzer oder Suchmaschinen die Seite aufrufen. Mit dem Status Code kann ermittelt werden wie mit der Seite verfahren werden soll.

Wie entstehen 404-Fehler?

Sobald eine Seite nicht (mehr) existiert, verweist der ausgelesene HTTP-Header beim Seitenaufruf auf den Status Code 404. Die Gründe hierfür sind unterschiedlicher Natur.

Mögliche Ursachen können sein:

• Aufruf von falschen oder falsch eingegebenen URLs, insbesondere Groß-/Kleinschreibung
• falsche interne Verlinkung
• externe Verweise auf ein nicht mehr vorhandenes Dokument
• Relaunch einzelner Seiten oder der ganzen Domain und fehlerhafte Anpassung der Links
• Seite wurde gelöscht
• Seite wurde verschoben und nicht weitergeleitet

Wie finde ich 404-Fehler?

404-Fehler mit der Google Search Console aufspüren

404-Fehler lassen sich beispielsweise als Seiteninhaber mit der Google Search Console erkennen. Dadurch können im Unterpunkt „Crawling-Fehler“ alle derzeit bestehenden Fehler ausgelesen werden, die der Crawler bisher erfasst hat.

Des Weiteren kann mit der Search Console die Ursache einer fehlerhaften Verlinkungen analysiert werden. Durch einen Klick auf die aufgelisteten URLs im Bereich Crawling-Fehler werden mögliche Ursachen, zum Beispiel durch eine fehlerhafte Verlinkung in der Sitemap oder durch fehlerhafte Links anderer Seiten auf die nicht mehr vorhandene Seite, gelistet.

404-Fehler mit professionellen Tools wie Screaming Frog finden

Aber auch bekannte Tools wie Screaming Frog lesen den HTTP Status Code beim Crawlen der Domain aus. Durch den Reiter „Inlinks“ im Screaming Frog können ebenfalls mögliche Ursachen ausgelesen und mit einem anschließenden Excel-Export sortiert ausgegeben werden. Mit der Liste können die Fehlercodes genauer analysiert werden.

Weitere Tools zum Aufspüren von 404-Fehlern

Weitere Möglichkeiten bieten freie Software-Tools an. Diese funktionieren nach dem gleichen Prinzip wie Screaming Frog oder die Search Console.

Mit dem Tool Web-Sniffer können einzelne URLs eingelesen und deren Header ausgelesen werden. Der enthaltene HTTP-Status-Code gibt Aufschluss über einen korrekten Seitenaufruf, eine mögliche Weiterleitung, Fehlermeldung usw.

Warum ist es wichtig 404-Fehler zu beheben?

Für Suchmaschinen ist die korrekte Behandlung durch den korrekten HTTP  Status Code wichtig, um beispielsweise Seiten nach einiger Zeit aus dem Index zu entfernen. Eine fehlerhafte Behandlung des Status Codes führt ansonsten zur Indexierung von Fehlerseiten:

Wie können 404-Fehler behoben werden?

Diese speziellen Fehlerseiten können wie oben beschrieben unterschiedliche Ursachen besitzen. Eine Korrektur kann grundsätzlich nur durch zwei Varianten erfolgen.

Sind beispielsweise interne Verlinkungen falsch gesetzt, welche durch ein fehlendes Linkziel einen 404-Fehler hervorrufen, dann können die URLs angepasst bzw. korrigiert werden. Dies erfolgt in der Regel manuell. Bei wenigen fehlerhaften Verlinkungen ist der Aufwand noch gering. Sollten jedoch 100 und mehr Fehler per Hand korrigiert werden, dann ist der Aufwand extrem hoch und in Relation zum Nutzen nicht mehr vertretbar. In diesem Fall können Weiterleitungen eingerichtet werden, welche von der Fehlerseite zum gewünschten Ziel umleiten. Dies kann zum Beispiel mittels htaccess umgesetzt werden.

Was muss bei der Korrektur von 404-Fehlern beachtet werden?

Wichtig für eine korrekte Weiterleitung ist die Behandlung des eigentlichen Inhaltes. Nutzer, welche auf einer 404-Fehlerseite landen, hatten in der Regel eine gewisse Erwartungshaltung beim Aufruf der Zielseite. Aus diesem Grund sollte die Zielseite entweder auf einen thematisch passenden Inhalt weiterleiten oder den Nutzer auf den fehlenden Inhalt per 404-Fehlerseite und einen entsprechenden Text hinweisen. Hierbei bieten sich außerdem noch Suchfunktionen und vorgeschlagene Seiten/Rubriken an, damit Nutzer eventuell weitere für sie interessante Seiten besuchen und nicht sofort aussteigen.

Des Weiteren sind 301-Weiterleitungen wichtig, um den Linkjuice nicht „verpuffen“ zu lassen, wenn beispielsweise Backlinks auf 404-Seiten verweisen. In vielen Fällen können eben jedoch diese Fehlerseiten bzw. fehlerhafte Verlinkungen manuell behoben werden. Diese Variante sollte entsprechend bevorzugt werden, da zum Beispiel bei zu vielen Weiterleitungen hintereinander abgebrochen wird und die Suchmaschine die Weiterleitungskette nicht weiter verfolgt.

Wie entstehen Soft 404-Fehler und wie kann man diese beheben?

Soft 404-Fehler entstehen durch einen fehlerhaften HTTP Status Code.

Beispiel: Wird eine Seite aufgerufen, deren Inhalt nicht vorhanden ist, jedoch einen Status Code 200 „OK“ oder 302 „Found“ liefert, dann entsteht ein Soft 404-Fehler.

Durch die Zuweisung des richtigen Status Codes wird Suchmaschinen mitgeteilt, wie sie den Inhalt der Seite zu bewerten hat. Befindet sich korrekter Content auf der Seite, dann sollte unbedingt ein Status Code 200 zurückgegeben werden. Besitzt die Seite keinen Inhalt, dann sollte die Seite unbedingt einen Status Code 404 zurückgeben. Ein Soft-404-Fehler kann entsprechend ausgeschlossen werden.

Selbst erstellte 404-Fehlerseiten

Eigens erstellte 404-Fehlerseiten können im Gegensatz zu vorkonfigurierten Fehlerseiten individualisiert werden und dem Nutzer zusätzliche Hinweise bieten. Wichtig für die Erstellung von eigenen 404-Fehlerseiten ist jedoch unbedingt:

• die Seite muss den HTTP Status Code 404 besitzen
• eine Fehlermeldung, die eindeutig auf einen nicht (mehr) vorhandenen Inhalt verweist, damit Nutzer eine Information erhalten

Zusätzlich können folgende Funktionen hilfreich sein:

• eine Suchfunktion
• ein Link (zum Beispiel durch das Logo) zurück zur Startseite
• Beiträge/Kategorien/Vorschläge zu ähnlichen Themen

Fazit: 404-Fehlerseiten mit korrektem HTTP Status Code sind für Nutzer und Suchmaschinen wichtig

Für Nutzer ist die Information darüber, dass die gewünschte Seite nicht existiert, essenziell. Erst durch diesen Hinweis weiß der Benutzer, dass es diese besuchte Seite nicht mehr gibt. Eine Weiterleitung auf die Start- oder eine themenfremde Seite entspricht nicht immer der Erwartungshaltung des Nutzers und stört die Usability.

Suchmaschinen erhalten mit dem HTTP Status Code 404 die Information darüber, dass die Ressource nicht mehr existent ist. Erst durch den Status Code können sie die Seite entsprechend als 404-Fehlerseite behandeln. Aus diesem Grund ist es wichtig, die Anzahl an Fehlerseiten so gering wie möglich zu halten bzw. im besten Fall komplett zu korrigieren. Nicht zuletzt ist eine hohe Anzahl an 404-Fehlern auch ein Indiz für eine schlechte Pflege der Website.