In der Anfangszeit des Internets konnten nur ein paar Menschen das World Wide Web nutzen. Deshalb gab es nur eine sehr geringe Anzahl an Informationen im Internet.
Hauptsächlich waren die Internetzugänge auf Universitäten beschränkt. Hier wurden wissenschaftliche Informationen von Universität zu Universität übermittelt.
Bereits in dieser Zeit hatte man das Problem verschiedene Infos zu finden. Dieses Problem hat sich bis heute nicht geändert.
Auch interessant: Die Geschichte von Google
Yahoo war das erste Verzeichnis für Websites
Die ersten Versuche das Wissen zu sortieren, waren Verzeichnisse im Internet. Im Jahr 1994 war Yahoo der erste Anbieter der ein Verzeichnis mit Informationen veröffentlicht hat.
Es wurden verschiedene Ressourcen zusammengefasst und auf Yahoo als Katalog dargestellt. Es wurden im Laufe der Jahre immer mehr Einträge die man nicht mehr manuell durchsuchten konnte.
Daraufhin wurde die erste Suchfunktion in dem Verzeichnis integriert. Es war der erste Katalog mit integrierter Suchmaschine im Internet.
Doch heute hat diese Art der Webkataloge ihren Reiz verloren. Denn ein Katalog kann nur einen geringen Bruchteil der Webseiten im Internet ausgeben.
Nur wer sich in dem Katalog einträgt, kann auch gefunden werden. Ein weiteres Beispiel ist das offene Verzeichnis DMOZ.
Hier werden ebenfalls verschiedene Webseiten als Katalog verwaltet. Im Vergleich zur Suchmaschine Google hat DMOZ aber nur eine kleine Datenbank.
DMOZ kann ein paar Millionen Einträge vorweisen. Die Suchmaschine Google hingegen hat ein paar Milliarden Dokumente eingelesen. Durch diesen Unterschied haben die Kataloge an Bedeutung verloren.
Die erste Crawler Suchmaschine wurde ebenfalls im Jahr 1994 entwickelt.
Der WebCrawler war die erste vollwertige Suchmaschine im Internet. Ein Jahr später kamen die Suchmaschinen Lycos und Altavista auf den Markt.
Altavista konnte eine lange Zeit den Markt dominieren. Doch im Jahr 1997 haben die Studenten Sergey Brin und Larry Page das Projekt Google an der Stanford Universität gestartet. Aus einem Forschungsprojekt wurde eine der beliebtesten Suchmaschinen der Welt.
Derzeit gibt es 3 verschiedene Suchmaschinen die den Markt dominieren. Google, MSN und Yahoo zählen zu den größten Suchdiensten im Internet.
Die älteren Anbieter wie z.B. Altavista verwenden meistens eine Datenbank der großen 3 Suchmaschinen. Nachtrag: Altavista hat mittlerweile den Dienst eingestellt. Nachzulesen auf meinem Artikel „Altavista verabschiedet sich„
Architektur von Suchmaschinen
Wer eine Suchmaschine verstehen möchte, solltet Ihr die Architektur und die Hauptkomponenten der Suchmaschine kennen.
- Spider – Ein kleines Programm das nach neuen Webseiten und Domains im Internet sucht.
- Crawler – Der Crawler ist ein kleines Programm das alle Links einer Internetseite durchsucht und prüft.
- Indexer – Der Indexer prüft die Daten des Spider und Crawler und wertet diese aus.
- Datenbank – Wird benötigt, um die eingelesen Datensätze speichern zu können.
- Result Engine – Zeigt sämtliche Ergebnisse von einer Datenbank an und gibt diese als Suchmaschineneintrag aus.
- Server – Meistens ein Webserver der die gespeicherten Inhalte und Dokumente als HTML Datei ausgibt, damit ein User die Ergebnisse sehen kann.
Erst durch die Kombination dieser Punkte wird eine Suchmaschine zum leben erweckt und kann verschiedene Webseiten ausgeben und aufnehmen.
Viele Suchmaschinenanbieter haben ganze Datenzentren die Suchanfragen bearbeiten und weiterleiten können, damit ein Nutzer die korrekten Ergebnisse erhält.
