Die Datei 'robots.txt' ist eine Textdatei, die Webmaster im Stammverzeichnis ihres Webservers platzieren, um mit Web-Robotern, wie Web-Crawlern und Spiders (z.B. Googlebot oder Bingbot), zu kommunizieren. Sie ist der primäre Mechanismus zur Implementierung des Robots Exclusion Protocol (REP). Diese Datei schränkt den Zugriff auf den Inhalt technisch gesehen nicht ein; vielmehr dient sie als eine Reihe von Richtlinien, denen sich wohlverhaltene Bots folgen sollten. Sie spezifiziert, welche Bereiche der Website dem Crawler der Zugriff verwehrt werden soll (unter Verwendung der 'Disallow'-Direktive) und optional, welche Bereiche sie betreten dürfen ('Allow'-Direktive). Sie kann auch den Speicherort einer Sitemap mithilfe der 'Sitemap'-Direktive angeben. Entscheidend ist, dass 'robots.txt' öffentlich zugänglich ist, was bedeutet, dass bösartige Bots oder entschlossene Benutzer weiterhin auf gesperrte Bereiche zugreifen können. Daher sollte sie niemals zur Sicherung sensibler Informationen verwendet werden, sondern ausschließlich zur Verwaltung der Suchmaschinenindizierung und der Lastverteilung des Traffics.