Man nehme 200 Fragen, welche Patienten über Online-Beratungs-Stellen an Augenärzte gestellt haben. Man nehme die Antworten, welche Fach-Ophthalmologen jeweils auf diese Fragen gaben. Man stelle dieselben 200 Fragen dem KI-System ChatGPT. Und dann suche man den Unterschied.
Resultat: Die Künstliche Intelligenz beantwortete die Patienten-Anfragen genauso gut wie die Fachärzte aus Fleisch und Blut.
Zu diesem Ergebnis kam eine Studie, die amerikanische Augenmediziner – unter anderem von Kaiser Permanente und der Universität Stanford – erarbeiteten.
Die Versuchsanordnung sah vor, dass acht Ophthalmologen die Antworten auf die 200 Patienten-Anfragen überprüften – wobei sie aber nicht wussten, welche Diagnose von einem Menschen und welche von ChatGPT stammte.
Die 'Reviewer' sollten dabei auch einschätzen, ob ein Beitrag von einem Arzt oder von der KI stammt. Sie hatten dabei 800 Antworten von ChatGPT und 800 Antworten von Ärztinnen oder Ärzten einzuschätzen.
Und interessanterweise vermuteten sie bei satten 517 Antworten eines Menschen, dass die KI dahintersteckt.
Entscheidend war aber ein anderes Resultat: Die Wahrscheinlichkeit, dass die Einschätzung unkorrekte Angaben enthielt, war bei ChatGPT gleich gross wie bei den «menschlichen» Antworten. Und auch die Gefährdung – also das Risiko, dass eine Antwort zu Schädigungen führen hätte können – war auf beiden Seiten gleich hoch.