Mehr Bots als Menschen: Das Agentenweb erreicht die Unternehmen
Cloudflare meldet einen historischen Wendepunkt: Erstmals erzeugen Bots mehr Web-Traffic als Menschen, 57,4 Prozent gegenüber 42,6 Prozent. Getrieben wird das vom Agentenweb, in dem KI-Agenten und Crawler für jede Anfrage hunderte Seiten abrufen.
Im Web stammt seit Mitte 2026 die Mehrheit der Anfragen nicht mehr von Menschen, sondern von automatisierten Systemen: Cloudflare misst 57,4 Prozent Bot-Anteil gegenüber 42,6 Prozent menschlichem Traffic. CEO Matthew Prince hatte diesen Punkt erst für 2027 erwartet, getrieben hat ihn das Agentenweb, in dem KI-Agenten für eine einzige Anfrage hunderte Seiten abrufen. KI-Crawler machen rund 22 Prozent des Bot-Traffics aus, davon dienen über 80 Prozent dem Modelltraining. Das eigentliche Problem ist das Ungleichgewicht: ClaudeBot rief je zurückverwiesenem Besucher zeitweise rund 38.000 Seiten ab, GPTBot rund 1.091, Google nur etwa 5. Inhalte fließen zur KI, Traffic kaum zurück. Für deutsche Unternehmen verschieben sich Rechte und Pflichten gleichzeitig: Cloudflare bewirbt ein Pay-per-Crawl-Modell, und seit dem 2. August 2026 kann die EU-Kommission die Pflichten des EU AI Act zu Trainingsdaten-Transparenz und maschinenlesbaren Opt-outs mit Bußgeldern durchsetzen. Der sinnvolle Weg ist nicht pauschales Blockieren, sondern bewusstes Steuern nach Zweck.
Zum ersten Mal surfen mehr Bots als Menschen
Seit Mitte 2026 stammt die Mehrheit der Anfragen im Web von automatisierten Systemen, nicht von Menschen. Cloudflare misst einen Bot-Anteil von 57,4 Prozent gegenüber 42,6 Prozent menschlichem Traffic. Damit ist eine Schwelle überschritten, die das Unternehmen erst für 2027 erwartet hatte. Der Treiber ist das Agentenweb: KI-Agenten rufen für eine einzige Nutzeranfrage oft hunderte Seiten ab.
Matthew Prince formuliert es nüchtern: Der Anstieg kam schneller, als er vorhergesagt hatte, und die Daten seien etwas ungenau, in ihrer Aussage aber eindeutig. Die Verschiebung passt zur Entwicklung autonomer Werkzeuge, die innobu im Beitrag zum KI-nativen Browser und der AgentOS-Strategie beschrieben hat: Wenn Agenten selbst im Netz recherchieren und handeln, verschiebt sich die Last vom Menschen am Bildschirm zur Maschine im Hintergrund. Mit ChatGPT Atlas ist dieses Muster inzwischen als Browser für Endnutzer erreichbar.
Wie sich der Bot-Traffic zusammensetzt
Nicht jeder Bot ist gleich, und die Unterscheidung ist für Unternehmen entscheidend. KI-Crawler machen rund 22 Prozent des gesamten Bot-Traffics aus, der Rest sind Suchmaschinen, Monitoring-Dienste, Verfügbarkeitsprüfungen und schädliche Bots. Innerhalb des KI-Crawlings dominiert das Sammeln von Trainingsdaten klar vor allen anderen Zwecken.
Nützliche Crawler
Suchmaschinen, Monitoring und Verfügbarkeitsprüfungen halten eine Website auffindbar und betriebsbereit. Sie zu sperren schadet meist mehr, als es nützt.
KI-Trainings-Crawler
Sie sammeln Inhalte für das Modelltraining. GPTBot von OpenAI überholte ClaudeBot im Mai 2026 und kam auf rund 11,5 Prozent der KI-Bot-Anfragen, einzelne Crawler wie Applebot legten in einem Monat um etwa 140 Prozent zu.
Agenten im Nutzerauftrag
Live-Abrufe für eine konkrete Frage oder einen Einkauf erzeugen Verweis-Traffic und potenzielle Kunden. Anthropic trennt seine Crawler inzwischen nach Trainings- und Live-Zweck.
Bevor Sie über Sperren nachdenken, müssen Sie wissen, welcher Bot welchen Zweck verfolgt. Ein Trainings-Crawler, ein Suchmaschinen-Index und ein Einkaufs-Assistent sehen technisch ähnlich aus, haben für Ihr Geschäft aber völlig unterschiedliche Folgen.
Das Ungleichgewicht: Crawling ohne Gegenleistung
Das eigentliche Problem für Inhalteanbieter ist nicht die Menge, sondern das Verhältnis. Crawler nehmen sehr viele Inhalte auf, schicken aber kaum Besucher zurück. Cloudflare nennt für Anthropics ClaudeBot zeitweise mehrere zehntausend abgerufene Seiten je zurückverwiesenem Besucher, gemessen als Crawl-to-Referral-Verhältnis.
| Dienst | Crawl-to-Referral | Bedeutung |
|---|---|---|
| ClaudeBot (Anthropic) | ca. 38.000:1 | Zehntausende Seiten je Besucher zurück |
| GPTBot (OpenAI) | ca. 1.091:1 | Tausend Seiten je Besucher zurück |
| Perplexity | ca. 195:1 | deutlich ausgeglichener als Trainings-Crawler |
| ca. 5,4:1 | klassische Suche verweist noch Besucher |
Hinzu kommt, dass Verweise von Suchmaschinen sinken, seit KI-Zusammenfassungen Antworten direkt anzeigen, statt auf Quellen zu verlinken. Für werbe- oder abofinanzierte Anbieter bricht damit ein Teil der Geschäftsgrundlage weg. Genau diese Verschiebung der Sichtbarkeit hat innobu im Artikel zur KI-Traffic-Krise und den SEO-Strategien für Google-Alternativen vertieft.
Das offene Web schließt sich: Wenn das Geben von Inhalten und das Erhalten von Besuchern dauerhaft auseinanderfallen, sperren immer mehr Anbieter ihre Inhalte ab oder verlangen Bezahlung. Das verändert die Spielregeln für jeden, dessen Geschäftsmodell auf Reichweite über das offene Web beruht.
Deutsche und EU-Perspektive
Für deutsche und europäische Unternehmen verschieben sich Rechte und Pflichten gleichzeitig. Der EU AI Act verpflichtet Anbieter von KI-Modellen mit allgemeinem Verwendungszweck seit dem 2. August 2025 unter anderem, eine Zusammenfassung ihrer Trainingsdaten zu veröffentlichen und maschinenlesbare Opt-outs zu respektieren. Seit dem 2. August 2026 kann die EU-Kommission diese Pflichten mit Bußgeldern durchsetzen.
Die Text-und-Data-Mining-Ausnahme der EU-Urheberrechtsrichtlinie erlaubt Rechteinhabern einen maschinenlesbaren Vorbehalt gegen die Nutzung ihrer Inhalte. Wer diesen Vorbehalt korrekt setzt und dokumentiert, hat im Streitfall eine bessere Position. Deutsche und französische Anbieter setzen robots.txt und Consent-Flags bereits strenger ein, was internationale Datensammler teils zum Ausschluss dieser Quellen zwingt.
Für die Souveränität europäischer Anbieter ist die Frage zentral, wer den Zugang zum Agentenweb kontrolliert und zu welchen Bedingungen. Diese Debatte ordnet innobu im Artikel zur EU-Tech-Souveränität bei Chips, Cloud und KI ein. Wer den eigenen Einsatz plant, sollte ihn von Beginn an mit den Fristen des EU AI Act für Hochrisiko-Systeme zusammendenken.
Herausforderungen und Risiken
Die Lage ist nicht so eindeutig, wie die Schlagzeile nahelegt, und jede Reaktion hat Kosten. Vier Punkte sollten Unternehmen nüchtern bewerten, bevor sie pauschale Sperren verhängen.
Die Messung ist unscharf
Prince selbst nennt die Daten ungenau. Die Begriffe Bot, Crawler und Agent werden unterschiedlich verwendet, und regionale Ausreißer sind groß: In einzelnen Regionen führen Menschen noch knapp, während Nordamerika weit über dem Schnitt liegt. Eine einzige Prozentzahl verdeckt diese Spannweite.
robots.txt ist nur eine Empfehlung
Die Datei robots.txt gibt Crawlern eine Anweisung, erzwingt aber nichts. Aggressive oder getarnte Crawler ignorieren sie. Verlässliche Kontrolle braucht zusätzlich technische Maßnahmen und überprüfbare Agenten-Identitäten, deren Standards erst entstehen.
Sichtbarkeit gegen Schutz
Wer Trainings-Crawler aussperrt, kann zugleich aus KI-Antworten verschwinden und damit künftige Reichweite verlieren. Der Schutz der eigenen Inhalte und die Auffindbarkeit in KI-Systemen stehen in direktem Zielkonflikt, der sich nicht für jedes Unternehmen gleich auflöst.
Kunden nicht versehentlich aussperren
Agentische Einkaufs- und Recherche-Assistenten handeln zunehmend im Auftrag echter Kunden. Wer sie pauschal blockiert, verliert womöglich Umsatz. Bot-Abwehr kostet zudem Infrastruktur und erzeugt Fehlalarme, die menschliche Nutzer treffen können.
Was Unternehmen jetzt tun sollten
Der sinnvolle Weg ist nicht pauschales Blockieren, sondern bewusstes Steuern. Sie sollten zuerst verstehen, welcher Anteil Ihres Traffics automatisiert ist und welche Bots welchen Zweck verfolgen, und daraus eine differenzierte Zugriffsregel ableiten. Fünf Schritte helfen dabei.
-
Traffic-Analyse aufsetzen
Trennen Sie menschliche und automatisierte Zugriffe und unterscheiden Sie KI-Crawler nach Zweck: Training, Suche oder Live-Abruf. Erst diese Sicht zeigt, wie viel Ihres Traffics von Maschinen kommt und welche davon Ihnen nützen.
-
Crawler-Policy definieren
Legen Sie fest, welche Crawler Sie zulassen und welche Sie einschränken. Steuern Sie das über robots.txt und eine llms.txt, lassen Sie Suche und nützliche Agenten zu und schränken Sie reine Trainings-Crawler dort ein, wo Inhalte einen eigenen Wert haben.
-
Bot-Management einführen
Setzen Sie Werkzeuge ein, die legitime von getarnten Zugriffen trennen, etwa über signierte Agenten-Identitäten. So vermeiden Sie, dass aggressive Crawler die Regeln umgehen oder echte Nutzer fälschlich blockiert werden.
-
Inhalte für Agenten lesbar halten
Strukturierte Daten, eine klare Seitenstruktur und maschinenlesbare Zusammenfassungen erhalten die Auffindbarkeit in KI-Systemen, ohne alles freizugeben. So bleiben Sie in agentischen Antworten präsent, statt unsichtbar zu werden.
-
Lizenzierung und Compliance prüfen
Bewerten Sie Pay-per-Crawl und Content-Lizenzen, wenn Ihre Inhalte einen eigenständigen Wert haben. Dokumentieren Sie maschinenlesbare Opt-outs und behalten Sie die Pflichten des EU AI Act im Blick, die die EU-Kommission seit August 2026 durchsetzen kann.
Wer den Schritt zu agentengetriebenen Geschäftsmodellen plant, findet weitere Einordnung in den Artikeln zum agentischen Commerce mit ChatGPT Instant Checkout und zur Governance-Lücke beim Wildwuchs von KI-Agenten.
Das Agentenweb ist kein vorübergehender Effekt, sondern die neue Grundlage. Der Wert entsteht nicht durch Abschotten, sondern durch eine bewusste Regel, die nützliche Zugriffe zulässt, schädliche abwehrt und den eigenen Inhalten dort einen Preis gibt, wo sie ihn wert sind.
Weiterführende Informationen
Häufig gestellte Fragen
Ja. Cloudflare meldet für 2026 erstmals einen Bot-Anteil von 57,4 Prozent gegenüber 42,6 Prozent menschlichem Traffic. Der Wendepunkt kam Mitte 2026, früher als Cloudflare-CEO Matthew Prince mit 2027 erwartet hatte. Treiber sind KI-Agenten, die für eine einzige Anfrage oft hunderte Seiten abrufen. Prince räumt ein, die Daten seien etwas ungenau, in ihrer Aussage aber eindeutig.
Das Agentenweb bezeichnet ein Web, in dem KI-Agenten und Crawler die Mehrheit der Zugriffe ausmachen und Inhalte teils im Auftrag von Menschen abrufen. Es löst das Bild vom Web als Ort menschlicher Besucher ab. Für Unternehmen heißt das, dass ein Großteil der Anfragen an die eigene Website von Maschinen kommt, deren Zweck von Training über Suche bis zu konkreten Nutzeraufträgen reicht.
Pauschales Blockieren ist selten sinnvoll. Wer Trainings-Crawler aussperrt, kann zugleich aus KI-Antworten verschwinden und damit künftige Reichweite verlieren. Wer agentische Einkaufs- oder Recherche-Assistenten blockiert, sperrt unter Umständen zahlende Kunden aus. Sinnvoller ist eine differenzierte Regel, die nach Zweck unterscheidet, Suche und nützliche Agenten zulässt und Trainings-Crawler bei Bedarf einschränkt.
Pay-per-Crawl ist ein Modell, mit dem Seitenbetreiber Zugriffe von KI-Crawlern sperren oder bepreisen können, statt Inhalte kostenlos freizugeben. Cloudflare-CEO Matthew Prince hält ein solches Bezahlmodell für den wahrscheinlichen nächsten Schritt im Web. Die nötigen Protokolle und die Infrastruktur dafür befinden sich noch im Aufbau, und die Verbreitung ist bislang begrenzt.
Seit dem 2. August 2025 müssen Anbieter von KI-Modellen mit allgemeinem Verwendungszweck unter anderem eine Zusammenfassung ihrer Trainingsdaten veröffentlichen und maschinenlesbare Opt-outs respektieren, seit dem 2. August 2026 kann die EU-Kommission das mit Bußgeldern durchsetzen. Die Text-und-Data-Mining-Ausnahme der EU-Urheberrechtsrichtlinie erlaubt Rechteinhabern einen maschinenlesbaren Vorbehalt gegen die Nutzung ihrer Inhalte. Für deutsche Unternehmen steigt damit der Wert dokumentierter Zugriffsregeln.
Zusammenarbeit
Ein Ansprechpartner, ein Team dahinter
Dreißig Minuten über das, woran Sie gerade arbeiten, ob Netz, Messwesen, Marktprozesse, IT-Architektur oder KI. Danach wissen Sie, wie wir es angehen würden und wer dafür am Tisch sitzt.
Energie und Messtechnik seit 2010 · innobu GmbH seit 2014 · Sitz in Schleswig-Holstein
Wer pitcht, liefert auch: Wer das Erstgespräch führt, bleibt Ihr Ansprechpartner bis ins Steering, im Projekt mit festen Partnern. Direkt: info@innobu.com