Web und Technik
Crawler
Kurz und einfach erklärt
Ein Crawler ist ein Programm. Es ruft Webseiten von selbst auf und liest ihre Inhalte aus.
Suchmaschinen nutzen Crawler, um Seiten zu erfassen.
Andere Crawler sammeln Inhalte für andere Zwecke.
Rufen Crawler eine Seite sehr oft auf, kann das den Server belasten.
Definition
Ein Crawler ist ein Programm, das Webseiten automatisch aufruft und ihre Inhalte ausliest. Suchmaschinen nutzen Crawler, um Seiten zu erfassen; andere sammeln Inhalte für weitere Zwecke ein. Viele Zugriffe durch Crawler können einen Server belasten.