KI-gestützte Diagnosen: Validierung und Vertrauen

Episode von Der künstliche Intelligenz Podcast von Martin Benes · 5. Oktober 2026 · 18 min

---werbung---

🎙️ Du hörst Podcasts – warum nicht bald deinen eigenen haben? Mit KI geht’s einfacher, als du denkst. Jetzt unverbindlich auf die Founderliste! 🚀

👉 https://podcast-mit-ki.systeme.io/home

---werbung---

Von der Mustererkennung zur klinischen Entscheidung

Künstliche Intelligenz entwickelt sich zu einem zunehmend wichtigen Werkzeug in der medizinischen Diagnostik. Systeme auf Basis von Machine Learning und Deep Learning können medizinische Bilder analysieren, Labor- und Patientendaten auswerten, diagnostische Wahrscheinlichkeiten berechnen oder Ärzte bei der Erstellung von Differenzialdiagnosen unterstützen. Mit dem Aufkommen leistungsfähiger Large Language Models hat sich das Anwendungsspektrum zusätzlich erweitert. Moderne Systeme können medizinische Informationen in natürlicher Sprache verarbeiten und daraus diagnostische Hypothesen oder Entscheidungshilfen ableiten. Die Weltgesundheitsorganisation (WHO) sieht bereits heute Anwendungen von KI unter anderem in Diagnostik und klinischer Versorgung. (Weltgesundheitsorganisation)

Dabei ist zwischen verschiedenen Formen medizinischer KI zu unterscheiden. Ein spezialisiertes System zur Erkennung auffälliger Strukturen in einer Röntgenaufnahme erfüllt eine andere Aufgabe als ein Sprachmodell, das aus einer Krankengeschichte mögliche Diagnosen ableitet. Ebenso unterscheiden sich Systeme zur Früherkennung, Triage, Risikobewertung, Prognose und Therapieunterstützung erheblich. Die FDA weist deshalb darauf hin, dass unterschiedliche medizinische Anwendungen unterschiedliche Bewertungsmaßstäbe und Referenzstandards erfordern. (U.S. Food and Drug Administration)

Die zentrale Frage lautet daher nicht mehr ausschließlich, ob eine KI eine Diagnose erstellen kann. Entscheidend ist vielmehr, ob ihre Ergebnisse unter realen klinischen Bedingungen zuverlässig, nachvollziehbar und sicher genug sind, um in medizinische Entscheidungen einbezogen zu werden.

Die Validierung beginnt mit der richtigen Fragestellung

Die Leistungsfähigkeit eines KI-Systems lässt sich nicht sinnvoll anhand einer einzigen Kennzahl beurteilen. Ein Modell kann beispielsweise bei der Erkennung einer bestimmten Erkrankung eine hohe Trefferquote erreichen, gleichzeitig aber bei bestimmten Patientengruppen deutlich schlechter funktionieren. Auch die klinische Bedeutung eines Fehlers hängt von der jeweiligen Anwendung ab. Ein System, das Patienten mit hoher Wahrscheinlichkeit einer weiteren Untersuchung zuführt, stellt andere Anforderungen als ein System, das eine lebenswichtige Diagnose ausschließt.

Deshalb muss zunächst präzise definiert werden, wofür ein System eingesetzt werden soll. Die sogenannte Intended Use beschreibt den vorgesehenen Zweck und bildet eine wesentliche Grundlage für die spätere Bewertung. Die WHO nennt die klare Festlegung des vorgesehenen Einsatzes, externe Validierung, Datenqualität, Dokumentation und Risikomanagement ausdrücklich als wichtige Elemente einer verantwortungsvollen Regulierung von KI im Gesundheitswesen. (Weltgesundheitsorganisation)

Besonders wichtig ist die Trennung zwischen Entwicklung und Validierung. Ein Modell kann auf einem großen Datensatz hervorragende Ergebnisse erzielen, ohne deshalb automatisch in einer anderen Klinik oder bei einer anderen Bevölkerungsgruppe ebenso zuverlässig zu funktionieren. Unterschiede bei Geräten, Untersuchungsbedingungen, Patientengruppen, Dokumentationsweisen oder Versorgungssystemen können die Ergebnisse beeinflussen.

Externe Validierung ist deshalb ein wesentlicher Bestandteil der Vertrauensbildung. Sie untersucht, ob die Leistungsfähigkeit eines Modells auch außerhalb der Daten gegeben ist, mit denen es entwickelt oder optimiert wurde. Gerade bei medizinischer KI ist diese Übertragbarkeit entscheidend, weil ein System nicht nur unter idealisierten Forschungsbedingungen funktionieren muss, sondern in einer heterogenen klinischen Realität.

Genauigkeit ist nicht dasselbe wie klinischer Nutzen

Die Diskussion über KI-Diagnostik konzentriert sich häufig auf die Frage, ob ein Algorithmus besser als ein Mensch diagnostizieren kann. Diese Betrachtung greift jedoch zu kurz. In der Medizin zählt nicht allein die diagnostische Genauigkeit eines einzelnen Systems, sondern die Frage, ob seine Verwendung tatsächlich zu besseren Entscheidungen und besseren Ergebnissen für Patienten führt.

Ein Modell kann beispielsweise eine Krankheit auf Bildern sehr zuverlässig erkennen, ohne dadurch automatisch die Behandlung zu verbessern. Umgekehrt kann eine KI mit einer Ärztin oder einem Arzt besonders wertvoll sein, obwohl sie selbst nicht in jedem Fall die beste Diagnose liefert. Sie kann beispielsweise zusätzliche Differenzialdiagnosen vorschlagen, relevante Informationen hervorheben oder auf Zusammenhänge aufmerksam machen, die andernfalls übersehen werden könnten.

Eine 2025 in Nature Medicine veröffentlichte randomisierte Studie untersuchte den Einsatz von GPT-4 zur Unterstützung von Ärzten bei komplexen klinischen Managemententscheidungen. In der simulierten Untersuchung erzielten Ärzte mit GPT-4-Unterstützung höhere Ergebnisse als Ärzte, die ausschließlich konventionelle Informationsquellen verwendeten. Die Autoren betonten zugleich, dass eine Validierung unter realen klinischen Bedingungen erforderlich ist. (Nature)

Das Ergebnis verdeutlicht ein grundsätzliches Problem der KI-Evaluation: Ein System kann in einem kontrollierten Test sehr leistungsfähig sein, während sein tatsächlicher Nutzen im klinischen Alltag von der Zusammenarbeit zwischen Mensch und Maschine abhängt. Die Qualität dieser Zusammenarbeit kann wiederum davon beeinflusst werden, wie Informationen präsentiert werden, wie sicher Ärzte im Umgang mit dem System sind und ob sie seine Ergebnisse kritisch überprüfen.

Warum Tests mit Fallbeispielen nicht genügen

Viele Untersuchungen medizinischer KI basieren auf historischen Patientendaten oder standardisierten Fallbeschreibungen. Solche Tests sind wichtig, bilden aber die klinische Realität nur teilweise ab. Im medizinischen Alltag entstehen Diagnosen häufig schrittweise. Ärzte erhalten Informationen nacheinander, stellen Rückfragen, entscheiden über weitere Untersuchungen und verändern ihre Hypothesen auf Grundlage neuer Befunde.

Large Language Models können bei solchen Aufgaben beeindruckende Leistungen zeigen. Forschungsarbeiten zu diagnostischen Dialogsystemen haben beispielsweise untersucht, wie Sprachmodelle Anamnesegespräche führen und daraus diagnostische Hypothesen entwickeln. Die Ergebnisse solcher Studien sind wissenschaftlich interessant, müssen jedoch vorsichtig interpretiert werden, wenn die Untersuchungsbedingungen nicht vollständig der tatsächlichen Versorgung entsprechen. (arXiv)

Eine weitere Herausforderung besteht darin, dass eine richtige Antwort auf eine Fallfrage nicht automatisch beweist, dass ein System im klinischen Alltag zuverlässig arbeitet. Ein reales medizinisches Umfeld umfasst unvollständige Informationen, widersprüchliche Befunde, Kommunikationsprobleme, Zeitdruck und Situationen, die im Trainingsmaterial möglicherweise nur unzureichend vertreten sind.

Aus diesem Grund gewinnt die Entwicklung besserer Evaluationsmethoden an Bedeutung. Die 2024 veröffentlichte TRIPOD+AI-Leitlinie aktualisierte die Standards für die transparente Berichterstattung über klinische Vorhersagemodelle, die sowohl klassische statistische Methoden als auch Machine-Learning-Verfahren verwenden. Sie soll unter anderem eine bessere Beurteilung von Qualität, Verzerrungen und Übertragbarkeit ermöglichen. (BMJ)

Das Problem der Daten

Die Qualität medizinischer KI hängt wesentlich von den Daten ab, mit denen sie entwickelt und überprüft wird. Medizinische Datensätze sind jedoch nicht neutral. Sie können regionale Unterschiede, unterschiedliche Behandlungspfade, Veränderungen in der Dokumentation oder eine ungleiche Repräsentation bestimmter Patientengruppen enthalten.

Weitere Episoden von „Der künstliche Intelligenz Podcast“

Alle Episoden von Der künstliche Intelligenz Podcast · Mehr Technologie-Podcasts