KI-Konfidenz: Wenn Modelle sich sicher irren
Ein neuer Benchmark bewertet nicht mehr nur, ob ein KI-System richtig liegt, sondern ob es weiß, wann es falsch liegen könnte. Das verschiebt den Maßstab für jede Freigabe.
Der am 19. Juli 2026 veröffentlichte Benchmark RadLE 2.0 des CRASH Lab an der Ashoka University misst, ob ein KI-System seine eigene Unsicherheit richtig einschätzt. Menschliche Radiologen erreichen 988,7 von 2.000 Punkten, das beste KI-Modell kommt auf 758. Mehrere kommerzielle Spitzenmodelle liefern eine erhebliche Zahl von Fehldiagnosen mit hoher Konfidenz, während offene und medizinspezifische Modelle fast jeden Fall beantworten statt abzugeben. Für Unternehmen ist das keine Medizinfrage: Ab August 2026 verlangt der EU AI Act für Hochrisiko-Systeme genau diese Eigenschaften, und bei jedem mehrstufigen KI-Agenten entscheidet ein falsch kalibriertes Konfidenzsignal darüber, ob ein Fehler auffällt oder sich fortpflanzt.
Ein Benchmark misst die Selbsteinschätzung
Am 19. Juli 2026 ist das Leaderboard von RadLE 2.0 online gegangen. Der Benchmark des CRASH Lab an der Ashoka University prüft nicht nur, ob ein KI-Modell die richtige Diagnose stellt. Er prüft, ob die Sicherheit, mit der das Modell antwortet, gerechtfertigt ist. Das Ergebnis ist unbequem.
Mehrere kommerzielle Spitzenmodelle produzieren eine erhebliche Zahl von Fehldiagnosen mit hoher Konfidenz. Offene und medizinspezifische Modelle versuchen fast jeden Fall zu beantworten, statt ihn abzugeben, und liegen dabei oft mit mittlerer bis hoher Sicherheit daneben.
988,7
Punkte erreichen menschliche Radiologen von 2.000 möglichen
758
Punkte erreicht das beste KI-Modell im selben Test
9
Anbieter im Test, von OpenAI und Anthropic bis Mistral und MiniMax
83 %
Trefferquote der Fachärzte im Vorgängertest RadLE v1
50
bewusst schwierige Fälle bilden den Datensatz
Aug. 2026
greifen die Hochrisiko-Pflichten des EU AI Act für Medizinprodukte
Kein Modell führt in allen Kategorien. Claude Fable 5 liegt bei der Gesamtzuverlässigkeit vorn, Gemini 3 Pro bei der reinen Treffergenauigkeit, und Meta Muse Spark 1.1 erkennt die eigenen Grenzen am besten. Wer nach dem besten Modell sucht, bekommt drei verschiedene Antworten, je nachdem welche Eigenschaft er misst.
Sicherheit und Übergabebereitschaft
RadLE 2.0 zerlegt Verlässlichkeit in mehrere Kennzahlen statt in eine Trefferquote. Zwei davon entscheiden im Betrieb: der Sicherheitsindex und die Übergabebereitschaft. Beide bestrafen ein Verhalten, das klassische Bestenlisten belohnen, nämlich das Raten.
Der Sicherheitsindex gewichtet Fehler nach Konfidenz. Eine falsche Antwort mit hoher Sicherheit kostet deutlich mehr Punkte als eine falsche Antwort mit eingestandener Unsicherheit. Die Übergabebereitschaft misst etwas anderes: ob ein System seine eigene Konfidenz nutzt, um zwischen autonomer Bearbeitung und Abgabe an eine Fachkraft zu entscheiden.
Der Index kombiniert drei Größen: die Verlässlichkeit der autonom bearbeiteten Fälle, den Anteil der autonom bearbeiteten Fälle und den Anteil der korrekt abgegebenen Fehlerkandidaten. Ein System, das alles abgibt, schneidet damit genauso schlecht ab wie eines, das nie abgibt.
Wer nur Genauigkeit belohnt, erzieht Modelle zum Raten. Das ist die Begründung der Autoren für den ganzen Aufbau, und sie gilt weit über die Radiologie hinaus.
Warum die Zahlen so weit auseinanderliegen
Der Vorgänger RadLE v1 vom September 2025 zeigt, wie hart der Test ist. Er besteht aus 50 bewusst schwierigen Spot-Diagnose-Fällen aus CT, MRT und Röntgen. Die Lücke zwischen Mensch und Maschine war dort noch deutlich größer als heute.
| Teilnehmer | Trefferquote RadLE v1 |
|---|---|
| Fachärztliche Radiologen | 83 % |
| Gemini 3.0 Pro (Nachtest 11/2025) | 51 bis 57 % |
| Assistenzärzte | 45 % |
| GPT-5 | 30 % |
| Gemini 2.5 Pro | 29 % |
| OpenAI o3 | 23 % |
| Grok-4 | 12 % |
| Claude Opus 4.1 | 1 % |
Bemerkenswert ist, was mehr Rechenzeit gebracht hat: fast nichts. Bei GPT-5 hob die hohe Denkstufe die Genauigkeit um einen einzigen Prozentpunkt, kostete aber die sechsfache Antwortzeit. 65,6 Sekunden statt 10,5 für einen Prozentpunkt.
Die Fehler ordnen die Autoren vier Klassen zu. Wahrnehmungsfehler wie Übersehen, Übererkennen und falsche Lokalisierung. Interpretationsfehler, zu denen auch das vorschnelle Festlegen auf eine Diagnose zählt. Kommunikationsfehler, bei denen Befundbeschreibung und Schlussfolgerung intern widersprüchlich sind. Und kognitive Verzerrungen wie Anker- oder Verfügbarkeitseffekte.
Die letzte Kategorie ist die interessanteste. Modelle zeigen Denkfehler, die aus der menschlichen Diagnostik bekannt sind, obwohl sie auf einem völlig anderen Weg dorthin kommen.
Kalibrierung wird zur Rechtspflicht
Was der Benchmark misst, verlangt der EU AI Act ab August 2026 rechtlich. KI-gestützte Diagnosesoftware und Bildanalyse gelten automatisch als Hochrisiko-Systeme, weil sie als sicherheitsrelevante Komponente unter die Medizinprodukteverordnung MDR fallen. Betroffen sind auch Systeme, die bereits laufen.
Die Fristen sind zweistufig. Ab August 2026 gelten die Hochrisiko-Anforderungen zusätzlich zur MDR, bis August 2027 folgt die vollständige Anwendung in der Konformitätsbewertung. Die benannte Stelle prüft dann beide Regelwerke in einem Verfahren.
Einen Bestandsschutz gibt es nicht. Systeme, die heute schon im Einsatz sind, müssen bis zum Stichtag in Konformität gebracht werden. Wer erst im Sommer 2026 anfängt zu prüfen, prüft zu spät.
In Deutschland ist der Rollout längst weiter als die Debatte. Asklepios hat den KI-Einsatz in der Radiologie über 28 Kliniken abgeschlossen, dort werden monatlich mehr als 35.000 CT- und Röntgenbilder geprüft. Am Unfallkrankenhaus Berlin steigerte eine retrospektive Studie die Erkennungsrate intrakranieller Blutungen um 12 Prozent.
Ende 2024 führte die FDA 1.026 zugelassene KI-basierte Medizinprodukte, davon 777 in der Radiologie.
Der Punkt ist nicht, dass diese Systeme schlecht wären. Sie sind eng zugeschnitten, klinisch validiert und lösen definierte Aufgaben. Der Punkt ist, dass die allgemeinen Sprachmodelle, die gerade in jede Software wandern, diese Validierung nicht haben und trotzdem so klingen, als hätten sie sie.
Das Muster jeder Agenten-Freigabe
Die Radiologie ist hier nur der Testfall mit den klarsten Folgen. Dasselbe Muster trifft jedes Unternehmen, das einen KI-Agenten länger laufen lässt als eine einzelne Antwort. Je mehr Schritte ein Agent ohne Rückfrage macht, desto teurer wird ein falsch kalibriertes Konfidenzsignal.
Der Mechanismus dahinter ist bekannt. Ausrichtungstraining verschlechtert die Kalibrierung systematisch, weil es sicher klingende Antworten belohnt, unabhängig davon, ob das Modell die Antwort kennt.
Ein Modell, das eine Lage zu 70 Prozent richtig erfasst, klingt genauso überzeugt wie eines, das bei 99 Prozent liegt.
Zylos Research, April 2026Benchmarks, die Enthaltung belohnen, ergeben deshalb eine andere Rangfolge als reine Genauigkeitslisten. Für den Produktivbetrieb ist die zweite Liste die ehrlichere. Ein Modell, das dort Punkte verliert, weil es seltener rät, ist im Betrieb oft das bessere.
Und Kalibrierung ist keine reine Modelleigenschaft, auf die du warten kannst. Sie entsteht aus Testsuite, Prompt-Aufbau, Retrieval-Design und Oberfläche. Das baut das einführende Team, nicht der Anbieter.
Herausforderungen und Risiken
Der Benchmark ist ein Fortschritt, aber kein Freibrief für Umkehrschlüsse. Die Autoren benennen die Grenzen selbst deutlich, und wer die Zahlen als Kaufentscheidung liest, überdehnt sie.
- Kleine Datenbasis. RadLE v1 umfasst 50 Fälle, bewusst am oberen Ende der Schwierigkeit. Das erzeugt einen Verzerrungseffekt gegenüber dem klinischen Alltag.
- Enger Ausschnitt. Getestet wurden nur CT, MRT und Röntgen. Ultraschall, Mammographie und Nuklearmedizin fehlen.
- Einzelbilder statt Serien. Bewertet wurden einzelne Aufnahmen, klinischer Kontext wie Vorbefunde und Laborwerte wurde bewusst weggelassen, um das visuelle Denken zu isolieren.
- Subjektive Teilpunkte. Die Bewertung nutzt eine ordinale Skala ohne standardisierte Ontologie.
- Noch kein Paper. Das vollständige RadLE-2.0-Paper mit Methodik und Statistik steht aus. Bislang liegt ein technischer Bericht vor.
Dazu kommt ein Problem, das gute Kalibrierung nicht löst. Ein System, das häufig abgibt, entlastet niemanden. Es kann den Aufwand sogar erhöhen, weil jemand die abgegebenen Fälle bearbeiten muss und zusätzlich prüfen darf, ob die Abgabe berechtigt war. Verlässlichkeit und Entlastung ziehen hier in verschiedene Richtungen.
Was du jetzt tun solltest
Die praktische Konsequenz ist nicht, KI aus kritischen Prozessen zu verbannen. Sie ist, die Abnahmekriterien zu ändern. Wer nur Trefferquoten vergleicht, wählt systematisch das Modell mit der besten Ratestrategie aus.
Sechs Schritte vor der Freigabe
-
Kalibrierung in die Auswahlkriterien aufnehmen
Frage nicht nur nach der Genauigkeit, sondern nach der Fehlerrate bei hoher Modellkonfidenz. Das ist die Zahl, die dir sagt, wie oft dein Prüfprozess umgangen wird.
-
Abgaberegel definieren, bevor der Agent produktiv geht
Ab welcher Unsicherheit geht ein Fall an einen Menschen, und wer ist dieser Mensch? Ohne benannte Zuständigkeit ist die Regel eine Absichtserklärung.
-
Abgabequote mitmessen
Ein System, das nie abgibt, ist kein sicheres System, sondern ein ungetestetes. Erfasse die Quote von Anfang an als eigene Kennzahl.
-
Eigene Testfälle aus dem echten Bestand bauen
Öffentliche Benchmarks enthalten bewusst schwierige Fälle und bilden deinen Alltag nicht ab. Zwanzig echte Fälle aus dem eigenen Archiv sagen mehr als jede Bestenliste.
-
Bei Hochrisiko-Anwendungen früh die Doppelanforderung prüfen
Erfüllt dein Anbieter EU AI Act und Fachrecht bis August 2026? Lass dir das schriftlich geben, nicht im Vertriebsgespräch zusichern.
-
Übergabepfade dokumentieren
Die Konformitätsbewertung will sie ohnehin sehen. Wer sie erst zum Audit aufschreibt, schreibt sie zweimal.
Weiterführende Informationen
Häufig gestellte Fragen
Konfidenz-Kalibrierung beschreibt, wie gut die angegebene Sicherheit eines Modells zu seiner tatsächlichen Trefferquote passt. Ein gut kalibriertes System liegt bei Antworten mit hoher Sicherheit fast immer richtig und gibt Fälle ab, bei denen es unsicher ist.
RadLE 2.0 bewertet Diagnosegenauigkeit, Verlässlichkeit, Sicherheit und Übergabebereitschaft. Falsche Antworten mit hoher Konfidenz kosten mehr Punkte als eingestandene Unsicherheit. Menschliche Radiologen erreichten 988,7 von 2.000 Punkten, das beste KI-Modell 758.
Ab August 2026 gelten die Hochrisiko-Anforderungen des EU AI Act zusätzlich zur Medizinprodukteverordnung MDR. Die vollständige Anwendung in der Konformitätsbewertung folgt bis August 2027. Einen Bestandsschutz für bereits eingesetzte Systeme gibt es nicht.
Weil sie keine Prüfung auslöst. Eine eingestandene Unsicherheit leitet den Fall an einen Menschen weiter, eine überzeugt vorgetragene Fehleinschätzung wird übernommen. Bei Agenten mit mehreren Schritten pflanzt sich der Fehler dann durch die gesamte Kette fort.
Baue Testfälle aus dem echten Bestand, statt nur öffentliche Benchmarks zu nutzen. Miss die Fehlerrate getrennt nach Konfidenzstufen und erfasse die Abgabequote. Ein System, das nie abgibt, ist nicht sicher, sondern ungetestet.
Nein. Das Muster trifft jeden KI-Agenten, der mehrere Schritte ohne Rückfrage ausführt. Die Radiologie liefert nur den Testfall mit den klarsten Folgen, weil dort Fehler unmittelbar Menschen betreffen und die Regulierung bereits greift.