Die Bots der Suchmaschinen

Unter einem Suchmaschinen-Bot (vom Begriff robot aus dem englischen abgeleitet) versteht man ein Softwareprogramm, dass eigenständig Inhalte von Webseiten untersucht und analysiert. Diese eigenständigen Programme Bots, werden auch als Webcrawler bezeichnet. Beim Surfen durch das World Wide Web gelangen die Bots über Hyperlinks (im allgemeinen als Link bezeichnet) auf Unterseiten der Internetauftritte. Daher ist es wichtig alle Inhalte eines Webauftritts über Links oder eine Sitemap erreichbar zu machen. Seiteninhalte wie Suchergebnisse die sich ausschließlich hinter einer Suchanfrage befinden sind für die Webcrawler nicht erreichbar und können daher vom Bot nicht untersucht werden.

Für die Bots sollte eine robot.txt Dateien auf dem Server hinterlegt werden, um anzugeben welche Inhalte von dem Bot untersucht werden dürfen.