Studie: KI-Chatbots wären miserable Ärzte

Dies ein Befund aus der Technischen Universität München. Dort setzte ein Team dem so genannten Large Language Model Llama 2 reale Fälle vor. Dazu nahmen die Forscher anonymisierte Daten von 2400 Patienten aus einer Notaufnahme in den USA. Alle Betroffenen waren mit Bauchschmerzen ins Spital gekommen – und zu ihren Fällen waren alle Daten verfügbar, die in der Wirklichkeit für die Diagnose erfasst wurden, beispielsweise Krankengeschichte, Blutwerte und Bildgebungsdaten.

«Wir haben die Daten so aufbereitet, dass die Algorithmen die realen Abläufe und Entscheidungsprozesse im Krankenhaus nachspielen konnten», sagt Friederike Jungmann; sie ist Assistenzärztin in der Radiologie des Klinikums rechts der Isar und mit dem Informatiker Paul Hager Erstautorin der Studie: «Das Programm hat immer nur die Informationen, die auch die realen Ärztinnen und Ärzte hatten. Ob es beispielsweise ein Blutbild in Auftrag gibt, muss es selbst entscheiden und dann mit dieser Information die nächste Entscheidung treffen, bis es schliesslich eine Diagnose und einen Behandlungsplan erstellt.»

Es zeigte sich, dass der digitale Assistenzarzt ziemlich schlampte. Keines der Large Language Models forderte durchgängig alle notwendigen Untersuchungen ein.

Behandlungsrichtlinien befolgten die Programme oftmals nicht. Und so ordnete die KI teils auch Untersuchungen an, die für echte Patientinnen und Patienten schwere gesundheitliche Folgen gehabt hätten.

Bemerkenswert dabei: Die Diagnosen wurden sogar weniger zutreffend, je mehr Informationen zum Fall vorlagen.

Weiter verglich das Team um Friederike Jungmann und Paul Hager die KI-Diagnosen mit den Diagnosen von vier Ärztinnen und Ärzten. Während die menschlichen Mediziner bei 89 Prozent der Diagnosen richtig lagen, kam das beste Large Language Model auf 73 Prozent. In einem Extremfall diagnostizierte ein Modell Gallenblasenentzündungen nur in 13 Prozent der Fälle korrekt.

Jedes Modell erkannte manche Erkrankungen besser als andere. Und welche Diagnose ein Large Language Modell stellte, hing unter anderem davon ab, in welcher Reihenfolge die Informationen eingefüttert wurden.

Sprachliche Feinheiten beeinflussten das Ergebnis ebenfalls – je nachdem, ob das Programm um eine «Main Diagnosis», eine «Primary Diagnosis» oder eine «Final Diagnosis» gebeten wurde, befand es etwas anderes. Aber im Klinikalltag sind diese Begriffe zumeist austauschbar.

Damit bestätigt sich wieder einmal, dass die KI-Systeme Orientierungshilfen sind – mehr nicht.

«Large Language Models könnten in Zukunft wichtige Werkzeuge für Ärztinnen und Ärzte werden, mit denen sich beispielsweise ein Fall diskutieren lässt», sagt Daniel Rückert, der Leiter des Zentrums für Digitale Medizin und Gesundheit an der TUM: «Wir müssen uns aber immer der Grenzen und Eigenheiten dieser Technologie bewusst sein und diese beim Erstellen von Anwendungen berücksichtigen.»