GPTBot – der neue Crawler von OpenAI (und wie du ihn blockieren kannst)

OpenAI GPTBot

OpenAI hat kürzlich den GPTBot vorgestellt. Dabei handelt es sich um einen Webcrawler – ähnlich wie der GoogleBot. Dieser Crawler durchsucht Inhalte im Internet selbstständig um damit die GPT-Sprachmodelle von OpenAI zu trainieren und weitere Daten & Informationen zu sammeln.

Wenn du nicht möchtest, dass der GPTBot auch deine Webseite durchforstet, dann kannst du ihn sehr einfach blockieren. Wie das funktioniert (inklusive einer gezielten Anleitung für WordPress-Webseiten), zeige ich dir in diesem Beitrag.

Was ist GPTBot?

GPTBot ist der neuer Webcrawler von OpenAI. Es durchsucht das Internet, um Daten für die Verbesserung der dialogorientierten KI-Modellen (GPT) zu sammeln. Der GPTBot soll also dazu beitragen, die Qualität und Relevanz der KI-generierten Texte zu verbessern, indem es kontinuierlich Online-Inhalte sammelt. Noch unklar ist, ob die gesammelten Daten bereits in bestehende Modelle einfließen (z.B. GPT-4) oder erst in im nächsten Sprachmodell (GPT-5) verwendet werden.

Sollte man den GPTBot blockieren?

Wenn du nicht möchtest, dass die KI-Sprachmodelle von OpenAI mit den Inhalten von deiner eigenen Webseite trainiert werden, dann solltest du den GPTBot blockieren. Das funktioniert ganz einfach:

Blockieren des GPTBot mit robots.txt

Um den GPTBot daran zu hindern, deine Website zu durchsuchen, füge einfach die folgende Zeile zur robots.txt-Datei hinzu:

User-agent: GPTBot
Disallow: /

Die robots.txt liegt in der Regel im Stammverzeichnis deiner Domain. Du kannst sie mit einem FTP-Programm oder mit dem Web-FTP Zugriff deines Webhostings bearbeiten:

robots.txt in Web-FTP öffnen
Über den FTP-Zugriff in meinem Webhosting (ich nutze Hostinger) kann ich die robots.txt öffnen und bearbeiten.

Für WordPress gibt es aber noch einfachere Lösungen um den GPTBot zu blockieren:

GPTBot mit Rank Math blockieren (SEO Plugin)

Die robots.txt ist eine Datei, mit der man unter anderem das Crawlen der Bots von Suchmaschinen steuern kann (erlauben oder nicht erlauben). Und genau das ist der Grund, warum diese Datei auch von diversen SEO-Plugins direkt im WordPress-Backend bearbeitet werden kann.

Das funktioniert auch mit dem SEO Plugin Rank Math. Klicke dazu einfach bei den Rank Math Einstellungen auf Allgemeine EinstellungenBearbeiten der robots.txt:

Robots.txt mit Rank Math in WordPress bearbeiten

Dort fügst du dann einfach wieder den bereits genannten Code zum Blockieren des GPTBot ein:

User-agent: GPTBot
Disallow: /

GPTBot mit WordPress-Plugin blockieren

GPTBot blockieren mit WordPress Plugin

Die wohl einfachste und schnellste Methode um den GPTBot in WordPress zu blockieren ist über ein Plugin. Installiere und aktiviere das Plugin Block Chat GPT via robots.txt.

Das Plugin kannst du kostenlos direkt über das WordPress Backend installieren.

Mehr zum Thema

Mehr zum Thema GPTBot findest du auf der offiziellen Dokumentation von OpenAI

Und hier findest du weitere Beiträge zu ChatGPT:

🌟 Newsletter abonnieren & profitieren
Hier bekommst du Zugang zu exklusiven Inhalten und profitierst von weiteren Vorteilen (z.B. spezielle Rabattaktionen rund um WordPress und SEO Tools, etc.)

Double-Opt-In und DSGVO (du erhältst im Anschluss noch eine E-Mail, um die Anmeldung zu bestätigen). Mit dem Absenden dieses Formulars stimmen Sie der Verarbeitung der hier eingegebenen Daten zu. Mehr Informationen dazu in der Datenschutzerklärung.

Robert Leitinger - Experte für Online Marketing, KI und SEO
Über den Autor
Robert Leitinger

In den letzten 10 Jahren habe ich mehrere erfolgreiche Online-Projekte umgesetzt. Im Jahr 2018 folgte die Gründung meiner eigenen Webdesign und Online Marketing Agentur. Ergänzend zu diesem Blog betreibe ich auch einen YouTube Kanal.

Mehr über mich erfahren ➔

Weitere Beiträge lesen:

Schreibe einen Kommentar

*Kennzeichnung & Information: Affiliate Links / Partnerlinks
Bei einem Link, der mit einem Stern gekennzeichnet ist (*), handelt es sich um einen Affiliate Link. Wenn du über diesen Link etwas kaufst, erhalte ich eine kleine Provision. Für dich entstehen dadurch keine Mehrkosten. So kann diese Webseite finanziert werden und sie bleibt frei von externen Werbebanner. Vielen Dank! Weitere Informationen disbezüglich findest du in der Datenschutzerklärung.