KI auf Abwegen: Wenn das Röntgenbild sagt, dass einer Bier trinkt

Künstliche Intelligenz birgt in der Medizin ein heikles Risiko: das «Shortcut Learning». Dabei liefern Algorithmen völlig akkurate Ergebnisse – die kreuzfalsch sind.

, 13. Dezember 2024 um 23:00
letzte Aktualisierung: 12. Juni 2025 um 07:48
image
Symbolbild: Elevate on Unsplash
Der Einsatz von künstlicher Intelligenz (KI) im Gesundheitswesen wird zunehmend selber zum Thema: Was kann die Künstliche Intelligenz leisten, was die Fachkräfte nicht können? Und wo sind beginnt der Fehlerbereich? Bekannt ist, dass KI Anomalien erkennt, die ein Mensch kaum durchschauen kann, und Muster durchschaut, die für das blosse Auge unsichtbar sind.
Doch wie zuverlässig ist die KI am Ende? Dieser Frage ging nun ein Team des Dartmouth-Hitchcock Medical Center in den USA nach. Ins Zentrum der Studie geriet dabei ein heikles Phänomen: «Shortcut learning». Lernen in der Schnelldurchwahl. Das heisst: AI-Systeme können genaue Ergebnisse liefern – die aber potenziell überflüssig oder sogar falsch sind.
  • Hill, B.G., Koback, F.L. & Schilling, P.L. «The risk of shortcutting in deep learning algorithms for medical imaging research», in: «Scientific Reports» 14, 29224. November 2024.
  • doi.org/10.1038/s41598-024-79838-6
Mit einer Analyse von mehr als 25'000 Röntgenaufnahmen des Knies stellten die Forscher fest, dass die KI Feinheiten und Störfaktoren aufnahm – um daraus Merkmale «vorherzusagen», die gar keinen medizinischen Bezug hatten. Das System ging also dermassen ins Detail, dass es am Ende Korrelationen sichtete, wo keine sind, und sich daraus etwas zusammenbastelte.
So meinte die KI genau erkennen zu können, dass ein Knie-Patient eher gebratene Bohnen mag und Bier trinkt – oder nicht. Solche Vorhersagen haben keine klinische Grundlage. Aber in ihrer Detailgenauigkeit kombinierten die Algorithmen falsche Schlussfolgerungen.
«Das geht viel weiter als die Verzerrungen («bias»), die man wegen Details bei Herkunft oder Geschlecht macht», sagt Brandon Hill, ein Mitautor der Studie. Der Experte für Machine Learning fügt an: «Wir fanden heraus, dass der Algorithmus sogar dazu neigen kann, das Jahr zu behaupten, in dem eine Röntgenaufnahme gemacht wurde. Das ist bösartig: Wenn Sie ihn hindern, etwas Bestimmtes zu lernen, lernt er einfach etwas anderes, was er davor noch ignoriert hat. Das kann wirklich zu fragwürdigen Behauptungen führen. Man muss sich bewusst werden, wie leicht das bei dieser Technik geschieht.»
Nötig sind also strenge Bewertungsstandards – denn blindes Vertrauen in Algorithmen kann schwerwiegende Fehlinterpretationen nach sich ziehen. Die Forscher weisen darauf hin, dass KI nicht wie ein Mensch wahrnimmt oder konzeptualisiert.
Es sei «fast wie bei einer ausserirdischen Intelligenz», erklärt Hill: Sie löst Aufgaben nach ihren eigenen, für Menschen oft undurchschaubaren Regeln – was einen kritischen Ansatz bei ihrem Einsatz in der Medizin unabdingbar macht.
  • künstliche intelligenz
  • forschung
Artikel teilen

Loading

Kommentar

Mehr zum Thema

image

Das Ludwig-Institut bleibt in Lausanne

Zehn Jahre nach der Gründung der Partnerschaft mit dem CHUV und der Uni Lausanne wird das Ludwig-Institut in die Universität integriert. Es soll mehr über Immuntherapie und Tumor-Mikroumgebung geforscht werden.

image

Hardware und Software zusammenbringen

Das Marktpotenzial der Medizintechnik-Branche ist enorm, doch nicht alle MedTech-Unternehmen werden davon profitieren. Warum eine integrierte Produktentwicklungslösung unabdingbar ist und wie diese aussieht.

image

«Wir erreichen heute Areale, die früher unzugänglich waren»

Thomas Gaisl vom USZ über Präzisionsgewinne, Patientennutzen und technische Grenzen der robotisch-assistierten Bronchoskopie – das Interview.

image

Internationale Anerkennung für Schweizer Lungenkrebs-Forscherin

Solange Peters, Leiterin der medizinischen Onkologie am CHUV, erhält den Paul A. Bunn, Jr. Scientific Award, eine der höchsten internationalen Auszeichnungen für Lungenkrebsforschung.

image

Sind medizinische Studien unfair?

Studiendesigns sollen fairer und realistischer gestaltet werden. Das fordern Forschende des Universitätsspitals Basel – und schlagen ein neues Konzept vor.

image

Fortsetzung bis 2028: Nationale Plattform geht in die nächste Runde

Nach einer erfolgreichen Pilotphase wird die nationale Koordinationsplattform Klinische Forschung (CPCR) bis 2028 fortgeführt.

Vom gleichen Autor

image

KIS: Das Freiburger Spital entscheidet sich für Schweizer System

Die Kantonsspitalgruppe HFR und das Freiburger Netzwerk für psychische Gesundheit hatten eine Ausschreibung für ein neues Klinik-Informationssystem durchgeführt. Das Angebot der Firma Cistec erhielt den Zuschlag – eine Premiere in der Westschweiz.

image

Gehälter von KVG-Managern «haben inakzeptable Höhen erreicht»

Die Kommission für soziale Sicherheit des Nationalrats kritisiert die hohen Gehälter einiger Krankenkassenmanagern und schlägt eine gesetzliche Deckelung vor.

image

Kantonsspital Neuenburg investiert in Maternité

Diverse Neuerungen sollen die Zukunft der Entbindungsstation am Standort Pourtalès sichern: Elternzimmer, physiologischer Geburtsraum, verstärkte perinatale Betreuung.