Die Nutzung von Großen Sprachmodellen (LLMs) in der klinischen Praxis schreitet derzeit schneller voran, als offizielle Sicherheits- und Schutzmaßnahmen. Ein interdisziplinäres Forschungsteam vom Else Kröner Fresenius Zentrum (EKFZ) für Digitale Gesundheit an der TU Dresden und dem Dresdner Universitätsklinikum mit internationalen Kollegen hat deshalb die Risiken von LLMs in der Medizin systematisch analysiert.
„KI wird schon jetzt im Gesundheitswesen eingesetzt – häufig ohne formale Aufsicht. Entscheidend ist daher, wie wir diese Systeme transparent, robust und im Einklang mit klinischer Verantwortung implementieren“, sagt Prof. Jakob N. Kather, Erstautor der Studie. Viele Systeme werden nicht lokal betrieben, was Fragen zu Datenkontrolle und Datenschutz aufwirft. Zudem findet vielerorts bereits informelle Nutzung ohne entsprechende Sicherheitsmaßnahmen statt. Auch sei nur ein kleiner Teil der KI-Systeme bislang als Medizinprodukt zugelassen, wobei der regulatorische Rahmen noch nicht auf anpassungsfähige Technologien ausgelegt sei, die sich kontinuierlich weiterentwickelt.
Um Risiken zu reduzieren, schlagen die Autoren Maßnahmen vor, wie sichere Entwicklungsprozesse, sorgfältige Aufbereitung von Trainingsdaten, systematische Evaluation und kontinuierliches Monitoring von Modellen. Ebenso nötig seien klar definierte Zuständigkeiten innerhalb von Gesundheitseinrichtungen und ein koordiniertes Vorgehen zwischen Forschung, klinischer Praxis und Regulierung. Konkret wird z.B. der Aufbau spezialisierter Teams empfohlen, die den Einsatz von KI-Systemen im Klinikalltag koordinieren und überwachen. Solche „Security Operations Centers (SOCs) for AI“ könnten Vorfälle erkennen und Gegenmaßnahmen ergreifen.
Originalpublikation:
Clusmann J, Freyer O, Ostermann M, Ferber D, Ghaffari Laleh N, Hilgers L, Kolbinger FR, Schneider CV, Downing A, Wekenborg MK, Gilbert S, Foersch S, Truhn D, Wiest IC, Kather JN. „Safety and security of large language models in healthcare“. Nature, 2026.
