Robots.txt und sitemap.xml richtig einrichten

Eine gut eingerichtete robots.txt-Datei und eine XML-Sitemap sind essentiell für die Auffindbarkeit Ihrer Website in Suchmaschinen. Bei Theory7 sorgen wir dafür, dass Ihre Website optimal indexiert wird, aber die richtige Konfiguration dieser Dateien macht einen großen Unterschied.

Was macht die robots.txt-Datei?

Die robots.txt-Datei teilt Suchmaschinen mit, welche Seiten sie crawlen dürfen und welche nicht. Diese Datei befindet sich immer im Stammverzeichnis Ihrer Website (zum Beispiel ihredomain.de/robots.txt) und wird von Crawlern als erstes abgefragt, bevor sie Ihre Website indexieren.

Basis-Syntax von robots.txt

Die Syntax ist einfach aber mächtig:

User-agent: *
Disallow: /private/
Allow: /public/
Sitemap: https://ihredomain.de/sitemap.xml

Wichtige Elemente:

  • User-agent: Gibt an, welcher Crawler die Regeln befolgt (* bedeutet alle Crawler)
  • Allow: Seiten, die gecrawlt werden dürfen
  • Disallow: Seiten, die nicht gecrawlt werden dürfen
  • Sitemap: Verweis auf Ihre XML-Sitemap

Häufige Fehler bei robots.txt

Einer der häufigsten Fehler ist das versehentliche Blockieren Ihrer gesamten Website:

User-agent: *
Disallow: /

Dies verhindert, dass Suchmaschinen Ihre Website indexieren können. Überprüfen Sie Ihre robots.txt immer nach dem Erstellen. Über DirectAdmin können Sie die Datei einfach über den Dateimanager einsehen und bearbeiten.

Andere häufige Fehler:

  • CSS und JavaScript blockieren (Google benötigt diese für das Rendering)
  • Wichtige Bilder blockieren
  • Sitemap-Verweis vergessen hinzuzufügen

XML-Sitemap generieren

Eine XML-Sitemap ist eine Liste aller Seiten auf Ihrer Website, die Sie indexieren lassen möchten. Dies hilft Suchmaschinen, Ihren Inhalt effizient zu entdecken.

Sitemap in WordPress generieren

Der einfachste Weg, eine Sitemap zu generieren, ist mit einem SEO-Plugin wie Yoast. Nach der Installation wird automatisch eine Sitemap unter ihredomain.de/sitemap_index.xml erstellt.

Manuelle Schritte:

  1. Installieren Sie Yoast SEO über Plugins > Neues Plugin
  2. Gehen Sie zu Yoast SEO > Einstellungen > XML-Sitemaps
  3. Stellen Sie sicher, dass die Option aktiviert ist
  4. Ihre Sitemap ist unter /sitemap_index.xml verfügbar

Sitemap für statische Websites

Für Websites ohne CMS können Sie Online-Tools verwenden oder eine Sitemap manuell erstellen. Hier sind einige Schritte zur manuellen Erstellung:

  1. Erstellen Sie eine Liste aller URLs Ihrer Website.
  2. Formatieren Sie die URLs im XML-Format. Hier ein einfaches Beispiel:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap-image/1.1">
    <url>
        <loc>https://ihredomain.de/</loc>
        <lastmod>2023-10-01</lastmod>
        <changefreq>monthly</changefreq>
        <priority>1.0</priority>
    </url>
</urlset>

Sitemap bei Google einreichen

Nach dem Erstellen Ihrer Sitemap müssen Sie diese bei Google Search Console einreichen:

  1. Gehen Sie zu Google Search Console und wählen Sie Ihre Website
  2. Klicken Sie auf Sitemaps im linken Menü
  3. Geben Sie die URL Ihrer Sitemap ein (zum Beispiel sitemap.xml oder sitemap_index.xml)
  4. Klicken Sie auf Einreichen

Google wird Ihre Sitemap verarbeiten und Sie können den Status im Dashboard verfolgen. Es kann einige Tage dauern, bis alle Seiten indexiert sind.

Sitemap aktuell halten

Stellen Sie sicher, dass Ihre Sitemap automatisch aktualisiert wird, wenn Sie neuen Inhalt hinzufügen. WordPress-Plugins tun dies automatisch. Für manuelle Sitemaps müssen Sie diese nach jeder Änderung aktualisieren. Ein praktischer Tipp ist, einen regelmäßigen Zeitplan für die Überprüfung Ihrer Sitemap festzulegen, um sicherzustellen, dass alle neuen Seiten und Beiträge erfasst werden.

Überprüfen, ob alles funktioniert

Testen Sie Ihre Konfiguration:

  1. Robots.txt-Tester: Verwenden Sie den robots.txt-Tester in Google Search Console, um sicherzustellen, dass Ihre Regeln korrekt sind.
  2. Sitemap validieren: Reichen Sie Ihre Sitemap ein und überprüfen Sie auf Fehler. Nutzen Sie Tools wie den XML Sitemap Validator.
  3. Indexierungsstatus: Überwachen Sie über den Abdeckungsbericht in Search Console, um sicherzustellen, dass Ihre Seiten korrekt indexiert werden.

Mit einer gut konfigurierten robots.txt-Datei und einer aktuellen Sitemap helfen Sie Suchmaschinen, Ihre Website effizient zu crawlen und indexieren. Dies trägt zu einer besseren SEO-Leistung Ihrer Website bei.

Möchten Sie mehr über die Optimierung Ihrer Website für Suchmaschinen erfahren? Dann schauen Sie sich unsere umfangreichen Hosting-Optionen bei Theory7 an, die standardmäßig mit schnellen Servern und optimalen Konfigurationen geliefert werden.