robots.txt Datei erstellen Jede Webseite sollte eine »robots.txt« Datei und, zur Optimierung der Suchergebnisse bei den Suchmaschinen, eine Sitemap haben.