Künstliche Intelligenz, Medizin & Biotech, News, zAufi

Digitalmedizin-Forscher warnen: Verlasst euch bei Diagnosen nicht zu sehr auf die KI

KI-Doc bei der Arbeit, so wie sich das die KI "Dall-E" vorstellt: Die Künstlichen Intelligenzen können beispielsweise Hirnschäden von Magersüchtigen analysieren. Visualisierung: Dall-E

KI-Doc bei der Arbeit, so wie sich das die KI „Dall-E“ vorstellt. Visualisierung: Dall-E

Studie der Uni Dresden plädiert für rasche Regulierung

Dresden, 22. August 2024. Weil immer mehr Patienten, Unternehmen und teilweise auch Ärzte in der Praxis bereits „Künstliche Intelligenzen“ für Diagnosen, automatisierte Mikroskopie-Bilderkennung und andere medizinische Zwecke einsetzen, fordern Dresdner Forscher von Behörden und Gesetzgeber rasches Handeln: Diese müssten den medizinische KI-Einsatz von „Großen Sprachmodellen“ (englisch: „Large Language Models“, kurz: LLM) schnellstens regulieren und dafür klare Zulassungsvorgaben aufstellen. Das geht aus einer Mitteilung des Else-Kröner-Fresenius-Zentrums für digitale Gesundheit (EKFZ) der Uni Dresden hervor.

Professor: Behörden müssen Regeln gegen unsichere Medizin-KIs auf dem Markt durchsetzen

„Erstens braucht es passende Methoden, um diese neuen Technologien bewerten zu können“, plädiert EKFZ-Professor Stephen Gilbert. „Zweitens müssen die geltenden rechtlichen Vorgaben gegenüber unsicheren LLM-Anwendungen auf dem Markt durchgesetzt werden. Das ist unerlässlich, wenn wir diese medizinischen KI-Anwendungen in Zukunft sicher nutzen wollen.“

Sprachmodelle könnten Gesundheitsversorgung verändern

Gilbert wie auch sein Kollege Prof. Jakob N. Kather sehen Chancen wie auch Gefahren im medizinischen Einsatz der KIs: „LLMs haben das Potenzial, die Gesundheitsversorgung zu verändern und gewinnen in den Bereichen Krebsdiagnose und -behandlung sowie bei Vorsorge, Fernbetreuung, Dokumentation und Unterstützung bei medizinischen Entscheidungen immer mehr an Bedeutung“, betont Kather. „Sie bieten großes Potenzial, bergen aber auch Risiken.“

Risiko: KIs neigen zu Halluzinationen

Hintergrund: KI-Sprachmodelle sind zwar bereits in bemerkenswertem Umfang schon in der Lange, mit Menschen flüssige Gespräche zu führen, Bilder zu generieren, Wissen zu akkumulieren und aufzubereiten. Allerdings befinden sich die meisten von ihnen in einem stetigen Lernprozess, machen zudem immer wieder auch bizarre Fehler, die in der KI-Szene „Halluzinationen“ genannt werden. Von daher sind die Dresdner Forscher besorgt, sich in Fragen von Gesundheit oder Krankheit, im Extremfall gar Leben und Tod, zu sehr auf die Auskünfte der Künstlichen Intelligenzen zu verlassen.

Quelle: TUD, EKFZ

Wissenschaftliche Publikation:

„A future role for health applications of large language models depends on regulators enforcing safety standards“ von Oscar Freyer, Isabella Catharina Wiest, Jakob Nikolas Kather und Stephen Gilbert, in: „The Lancet Digital Health“, 2024. Fundstelle im Netz: https://www.thelancet.com/journals/landig/article/PIIS2589-7500(24)00124-9/fulltext

Repro: Oiger, Original: Madeleine Arndt