WordPress robots.txt richtig erstellen | Sitemap einbinden | Seiten von Crawlen ausschließen
Du möchtest, dass von deiner WordPress Instanz nur bestimmte Seiten gecrawlt werden und in Suchmaschinen auftauchen? Oder du möchtest bestimmte Seiten und Verzeichnisse von Suchmaschinen fernhalten? Dann bist du hier genau richtig. Wir zeigen dir kurz und knapp, wie du eine robots.txt Datei erstellst und diese exakt auf dich anpasst.
robots.txt Datei erstellen
Methode 1:
robots.txt über SSH erstellen
nano /var/www/wordpress/robots.txt Methode 2:
robots.txt mit Hilfe von einem Plugin erstellen (Beispiel Yoast SEO🔗):
1.
2.
3.
[the_ad id=“3295″]
robots.txt Datei editieren
1. Schritt
Codeblock einfügen:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /impressum/
Disallow: /datenschutzerklaerung/
Disallow: /kontakt/
Disallow: /downloads/
Sitemap: https://howtodotech.de/sitemap.xml robots.txt Anweisungen
User-agent: Bestimmte Crawler ansprechen. Um alle anzusprechen ‚*‘ verwenden.
Disallow: Bestimmte Seiten und Verzeichnisse verbieten.
Allow: Bestimmte Seiten und Verzeichnisse erlauben.
Sitemap: Link zur Sitemap angeben.
Fertig!
Zufrieden? Dann schreib gerne einen Kommentar.
Schreibe einen Kommentar