Pädiatrie: ChatGPT diagnostiziert miserabel

Ein Versuch, mit dem KI-System Kinderkrankheiten zu erkennen, endete ernüchternd.

, 8. Januar 2024 um 23:43
letzte Aktualisierung: 27. Februar 2024 um 07:55
image
Klappt kaum: Roboter als Pädiater  |  Symbolbild: Medinside, erstellt mit KI Midjourney.
Wie präzise die medizinischen Diagnosen von KI- beziehungsweise Large-Language-Model-Systemen sind – dies wurde bekanntlich schon mehrfach analysiert.
Ein Team des Cohen Children's Medical Center in New York ging nun einem Spezialfall nach: nämlich den Kinderkrankheiten. Respektive der Präzision solcher KI-Hilfsdiagnosen in der Pädiatrie.
Das Ergebnis war enttäuschend. Konkret gaben die Autoren um den Pädiater Joseph Barile 100 Symptomschilderungen als Prompts bei ChatGPT (Version 3.5) ein. Resultat: In 83 von 100 Fällen war die Diagnose des Systems inkorrekt.
Mehrheitlich waren die Vorschläge schlicht falsch (72 Fälle), und bei elf Antworten wies ChatGPT zwar auf den richtigen Befund hin, aber die Aussage war zu allgemein gehalten, als dass sie wirklich gestimmt hätte.
  • Joseph Barile, Alex Margolis, Grace Cason et al.: «Diagnostic Accuracy of a Large Language Model in Pediatric Case Studies», in: JAMA Pediatrics, Januar 2024.
  • doi:10.1001/jamapediatrics.2023.5750
Bemerkenswert ist dies, weil das Ergebnis auf spezielle Probleme in der Pädiatrie hinweist. Denn eine ähnlich angelegte Studie von Forschern aus Boston hatte im Juni 2023 ergeben, dass ChatGPT immerhin in 39 Prozent der Fälle dieselbe Diagnose stellte wie ein Expertenteam (im Rahmen der «New England Journal of Medicine» Case Challenges, wo jeweils komplexe Fälle analysiert werden). Hier waren die Ergebnisse also spürbar besser gewesen.
Die Autoren des New Yorker Teams erklären nun das deutlich schlechtere Abschneiden bei den pädiatrischen Tests damit, dass das Alter in diesem Feld meist wichtig ist für die präzise Diagnose – und dass die kleinen Patienten ihre Beschwerden oft unklar beschreiben.

Purpura statt Skorbut

Für die Studien nahmen die Autoren Fälle aus Kinderarzt-Praxen, die in «JAMA Pediatrics» in den vergangenen zehn Jahren diskutiert worden waren, und gaben die Symptome und Beschreibungen bei ChatGPT ein.
Dass weniger als ein Fünftel der Eingaben zu einer korrekten Diagnose führten, lässt ahnen, dass solche KI-Helfer bestenfalls als Ideenstütze dienen können.
Oder positiv formuliert: In 57 Prozent der Fälle schaffte es ChatGPT immerhin, die Krankheit bei den richtigen Organen zu verorten.
Beispielsweise diagnostizierte die KI bei einer einer nässenden Papel am Hals eines Säuglings eine Astspaltzyste – die Diagnose des Arztes lautete Branchio-oto-renales Syndrom.
Oder bei einem autistischen Teenager mit Hautausschlag und Arthralgien tippte ChatGPT auf immunthrombozytopenische Purpura; die Diagnose des Arztes lautete: Skorbut.

  • künstliche intelligenz
  • Forschung
  • Pädiatrie
Artikel teilen

Loading

Comment

2 x pro Woche
Abonnieren Sie unseren Newsletter.

oder

Mehr zum Thema

image

Spital Männedorf verärgert Goldküsten-Kinderärzte

Die neue Spital-Kinderarztpraxis in Männedorf sorgt für rote Köpfe bei den ansässigen Pädiatern. Es ist von Falschaussagen und einem Abwerben der Neugeborenen die Rede.

image

Bern: Neue Professur für Diabetes-Technologie & KI

Lisa Koch will dabei insbesondere Data-Science-Tools für Behandlungssysteme in der Diabetesversorgung entwickeln. Die Professur ist eine Kooperation von Uni Bern, Insel Gruppe und Diabetes Center Bern.

image

HSM in der Pädiatrie: Diese Leistungen für diese Spitäler

Das interkantonale Beschlussorgan erteilte 34 Leistungsaufträge in der hochspezialisierten Pädiatrie und Kinderchirurgie für die nächsten sechs Jahre.

image

KSGR: Die Kinderintensiv-Station in Chur ist gerettet

Das HSM-Beschlussorgan hat dem Kantonsspital Graubünden zwei entsprechende Leistungsaufträge erteilt – ein dritter Entscheid steht noch aus.

image

Internationaler Forscherpreis für Franco Cavalli

Der Tessiner Krebsforscher bekommt den «Award for Lifetime Achievement» von der US-Krebsforschungsgesellschaft.

image
Der Ticker

Schritte und Fortschritte im Gesundheitswesen

Spital Grabs: Knieersatz mit Roboter ++ USA: Abnehmspritze für Herz-Kreislauf-Risiken ++ Reha Tschugg mit neuer Privatstation ++ Reha Bellikon eröffnet Neubau ++ Neues Brustzentrum im Bernbiet ++ So sieht das neue Spital fürs Tessin aus ++

Vom gleichen Autor

image

Curafutura: Marco Romano folgt auf Sandra Laubscher

Der ehemalige Mitte-Nationalrat wird Leiter Gesundheitspolitik und Mitglied der Geschäftsleitung.

image

Versicherer bietet allen Kunden Gen-Tests an

Beim US-Konzern Mass Mutual können alle Versicherten zwischen 35 und 70 ihr genetisches Risiko für acht Erkrankungen prüfen lassen.

image

Radiologen gehen gegen Fernsehbeitrag vor

Die Gesellschaft für Radiologie will nicht akzeptieren, dass «10 vor 10» ihren Fachbereich als Musterbeispiel für missbräuchliche Abrechnungen darstellt.