Ein Spider ist wie ein digitaler Pfadfinder im Internet. Dieses Programm zieht automatisch durch Webseiten, liest Inhalte und meldet alles an die Suchmaschine zurück. Ohne Spider gäbe es keine aktuellen Suchergebnisse.
Seiten würden wie Bücher ohne Katalog im Regal stehen. Eine gute Grunddefinition findest du auch bei Medienpalast unter https://www.medienpalast.net und bei Lenovo unter https://www.lenovo.com
Auch interessant: Die Geschichte der Suchmaschine
Wie ein Spider Webseiten findet
Ein Spider startet mit bekannten Webadressen und arbeitet sich von dort weiter. Er ruft Seiten auf und folgt jedem Link wie einer Spur im Schnee. So entdeckt er neue Unterseiten und auch fremde Domains. Genau dieses systematische Durchklicken beschreibt auch Cloudflare hier: https://www.cloudflare.com
Welche Daten ein Spider sammelt
Der Spider schaut nicht nur auf Texte. Er prüft auch Meta Daten, Überschriften, Links und Teile des Codes. Daraus erkennt die Suchmaschine, worum es auf deiner Seite geht. Laut Online Marketing Praxis werden diese Infos anschließend im Suchindex gespeichert:
Wenn dein Inhalt nicht gecrawlt wird, existiert er für Google und Co praktisch nicht. Gute Struktur, saubere Links und klare Inhalte helfen dem Spider bei der Arbeit wie Wegweiser auf einer Straße. 
