Die Ergebnisse in Suchmaschinen werden insbesondere durch den Einsatz von Webcrawlern und Bots generiert. Aus der Sicht von Webseiten-Betreibern muss jedoch sichergestellt werden, dass nur diejenigen Inhalte gefunden werden, die auch für die Öffentlichkeit bestimmt sind. Die vorliegende BSI-Empfehlung beschreibt dazu Einsatz-Szenarien und Grenzen des Robots Exclusion Standards.