GlossarTechnik
Crawling ist der Vorgang, bei dem Suchmaschinen mit automatisierten Programmen Webseiten entdecken und erfassen.
Bevor eine Seite bei Google erscheinen kann, muss sie gefunden werden. Genau das leistet das Crawling. Programme, bei Google der Googlebot, folgen Links von Seite zu Seite und sammeln dabei die Inhalte ein, die anschließend bewertet und in den Index aufgenommen werden. Erst nach diesem Schritt kann eine Seite überhaupt in den Ergebnissen auftauchen.
Der Crawler startet bei bekannten Seiten und hangelt sich über Links weiter. Jeder Backlink und jede interne Verlinkung ist damit ein Weg, auf dem er neue Inhalte entdeckt. Gut vernetzte Seiten werden dadurch zuverlässiger und häufiger erfasst. Eine klare Struktur und eine aktuelle Sitemap helfen zusätzlich, damit nichts übersehen wird.
Damit Suchmaschinen Ihre Seite mühelos erfassen, haben sich einige Punkte bewährt.
Nicht jede Seite soll dabei erfasst werden. Über die robots.txt und gezielte Anweisungen lässt sich steuern, welche Bereiche ein Crawler besucht. So landet seine Aufmerksamkeit auf den Inhalten, die wirklich zählen. Ist der Weg frei, folgt auf das Crawling die Aufnahme in den Index, und die Seite kann für passende Suchanfragen in der SERP erscheinen.
Erfasst zu werden bedeutet noch nicht, auch zu erscheinen. Nach dem Crawling entscheidet Google, ob eine Seite in den Index aufgenommen wird. Über Angaben wie noindex lässt sich eine Aufnahme gezielt verhindern, etwa bei Dankeseiten oder internen Bereichen. Wichtig ist, robots.txt und noindex nicht zu verwechseln. Das eine steuert, ob eine Seite besucht wird, das andere, ob sie im Index landet. Ein häufiger Fehler ist, eine Seite per robots.txt zu sperren und sich dann zu wundern, dass sie trotzdem in den Ergebnissen auftaucht, nur ohne aussagekräftige Beschreibung. Crawling ist damit der erste, unverzichtbare Schritt auf dem Weg zur Sichtbarkeit.