WordPress robots.txt richtig erstellen | Sitemap einbinden | Seiten von Crawlen ausschließen

Du möchtest, dass von deiner WordPress Instanz nur bestimmte Seiten gecrawlt werden und in Suchmaschinen auftauchen? Oder du möchtest bestimmte Seiten und Verzeichnisse von Suchmaschinen fernhalten? Dann bist du hier genau richtig. Wir zeigen dir kurz und knapp, wie du eine robots.txt Datei erstellst und diese exakt auf dich anpasst.

wordpress robots txt einrichten seiten ausschliessen 4

robots.txt Datei erstellen

Methode 1:

robots.txt über SSH erstellen

nano /var/www/wordpress/robots.txt 

Methode 2:

robots.txt mit Hilfe von einem Plugin erstellen (Beispiel Yoast SEO🔗):

1.

WordPress robots txt erstellen

2.

WordPress robots txt erstellen

3.

WordPress robots txt erstellen

[the_ad id=“3295″]

robots.txt Datei editieren

1. Schritt

Codeblock einfügen:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /impressum/
Disallow: /datenschutzerklaerung/
Disallow: /kontakt/
Disallow: /downloads/

Sitemap: https://howtodotech.de/sitemap.xml 

robots.txt Anweisungen

User-agent: 

Bestimmte Crawler ansprechen. Um alle anzusprechen ‚*‘ verwenden.

Disallow: 

Bestimmte Seiten und Verzeichnisse verbieten.

Allow: 

Bestimmte Seiten und Verzeichnisse erlauben.

Sitemap: 

Link zur Sitemap angeben.

Fertig!

Zufrieden? Dann schreib gerne einen Kommentar.

Diesen Beitrag teilen:

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Nach oben