Trotz der vielversprechenden Möglichkeiten der KI im Gesundheitswesen bleibt ihr Potenzial bislang unausgeschöpft (Kelly et al., 2019). In einer Studie wurden Bilder von gutartigen Muttermalen als bösartig diagnostiziert, wenn die Bilder lediglich gedreht oder ein geringes Rauschen hinzugefügt wurde (Finlayson et al., 2019). Obwohl diese Fehler auf den ersten Blick geringfügig erscheinen mögen, sind sie schwer zu beheben, da Entwickler selbst kaum oder gar keine Kontrolle über die inneren Parameter (Gewichte) des KI-Modells haben, bedingt durch dessen Black-Box-Natur (Zhai et al., 2023). Obwohl solche Manipulationen (z. B. Drehungen und Rauschen) im Forschungskontext künstlich waren, wäre es schwierig, ein so sensibles Modell in der realen Welt einzusetzen.

Da Black-Box-Modelle Fehler machen können, die nicht nachvollziehbar sind – und im Gesundheitswesen potenziell über Leben und Tod entscheiden – ist es besonders wichtig, dass KI-Modelle in diesem Bereich so transparent und verantwortungsvoll wie möglich entwickelt und eingesetzt werden. Eine Überprüfung von Ciobanu-Caraus et al. (2024) unterstreicht zusätzliche Probleme: Die Hälfte der untersuchten Studien zum maschinellen Lernen im Gesundheitswesen basierte nicht auf öffentlich zugänglichen Daten, und nur ein Fünftel stellte den zugrunde liegenden Code zur Verfügung. Darüber hinaus nutzten mehr als drei Viertel der Studien Daten aus nur einer einzigen Einrichtung, was die Gefahr von Verzerrungen erhöht.

Literatur

1. Kelly, C. J., Karthikesalingam, A., Suleyman, M., Corrado, G., & King, D. (2019). Key challenges for delivering clinical impact with artificial intelligence. BMC medicine, 17(1), 195. https://doi.org/10.1186/s12916-019-1426-2
2. Finlayson, S. G., Bowers, J. D., Ito, J., Zittrain, J. L., Beam, A. L., & Kohane, I. S. (2019). Adversarial attacks on medical machine learning. Science (New York, N.Y.), 363(6433), 1287–1289. https://doi.org/10.1126/science.aaw4399
3. Zhai, Z., Li, P. & Feng, S. State of the art on adversarial attacks and defenses in graphs. Neural Comput & Applic 35, 18851–18872 (2023). https://doi.org/10.1007/s00521-023-08839-9
4. Ciobanu-Caraus, O., Aicher, A., Kernbach, J. M., Regli, L., Serra, C., & Staartjes, V. E. (2024). A critical moment in machine learning in medicine: on reproducible and interpretable learning. Acta neurochirurgica, 166(1), 14. https://doi.org/10.1007/s00701-024-05892-8
   

Ein ähnlicher Fall wurde bezüglich Amazons KI-Modell berichtet, das zur automatischen Einstellung von Mitarbeitenden eingesetzt wurde und ebenfalls Frauen gegenüber Männern diskriminierte (Dastin 2018). Nach langem Suchen fanden die Ingenieure und Ingenieurinnen heraus, dass die Ursache des Problems in den Trainingsdaten lag, die aus der Befragung des Unternehmens innerhalb eines Zeitraums von 10 Jahren stammten.

Der NOMAD-Kaggle-Wettbewerb 2018 konzentrierte sich auf Modelle zur Vorhersage der Bildungsenergien transparenter leitfähiger Oxide (TCOs) (Sutton et al., 2019). Drei Teilnehmende erzielten führende Ergebnisse mit sehr geringem Abstand: die n-Gramm-Methode, die aus dem Bereich der Verarbeitung natürlicher Sprache (NLP) übernommen wurde (Sutton et al., 2019), Smooth Overlap of Atomic Positions (SOAP) (Bartók et al., 2010, Bartók et al., 2013) und die Many-Body-Tensor-Representation (MBTR) (Huo und Rupp, 2022). Obwohl alle drei Methoden für Screening-Zwecke in der Praxis als ungeeignet erwiesen wurden, zeigte sich, dass die MBTR-Methode auf eine Untergruppe von Materialien anwendbar ist, die durch eine Forschung zur Untergruppenentdeckung (SGD) von Sutton et al. (2020) identifiziert wurde. Anders ausgedrückt könnte man sagen, dass n-Gramm und SOAP für unterschiedliche Materialien gleichermaßen ungeeignet waren, während MBTR in einem bestimmten Materialbereich akzeptabel gut war, jedoch bei anderen schlechter abschnitt.

Sofern nicht anders speziell entwickelt, behandeln tiefe neuronale Netze (DNNs) alle Eingaben gleich – das heißt, der Verlust von einer Eingabe wird nicht bevorzugt gegenüber dem Verlust von einer anderen (Fernando und Tsokos, 2022). Dies kann dazu führen, dass Modelle auf einer großen Datenmenge trainiert und getestet, aber mit nur einem einzigen Wert bewertet werden. Das kann Modelle benachteiligen, die für eine Untergruppe von Daten sehr gut arbeiten (Boley et al., 2020). Als Analogie: Es wäre sinnvoller, einem Schüler oder einer Schülerin separate Noten für verschiedene Kurse zu geben, anstatt ihm nur eine Gesamtnote für das ganze Semester zuzuweisen. Mit einer einzigen Note für das gesamte Semester wird es für Schüler und Schülerinnen schwieriger zu erkennen, worin sie gut sind und was sie noch verbessern müssen. Am Ende wählen Menschen aus diesem Grund eine Fachrichtung und einen Beruf. Genauso wie Menschen sind Modelle nicht in allen Aufgaben gleichermaßen gut, sondern haben Stärken und Schwächen (Jha et al., 2018).

Der große Unterschied besteht jedoch darin, dass wir wissen, wie wir die "Semesternote" in verschiedene Kurse aufteilen können, indem wir einfach unterschiedliche Noten für unterschiedliche Kurse vergeben. Für KI-Modelle ist das jedoch nicht immer möglich, da – in schwierigen Worten – die von KI-Modellen verwendeten Merkmale nicht unbedingt mit den von Menschen genutzten Merkmalen kompatibel sind (Zhang et al., 2024). Daher ist es schwierig, das beste Modell für die Analyse eines bestimmten Materials auszuwählen oder zu entwerfen.

Dies verdeutlicht die Schwierigkeit, Black-Box-Modelle allgemein für eine große Gruppe von Eingaben anzuwenden. Dieses Problem kann angegangen werden, indem die Stärken und Schwächen der Modelle identifiziert werden. Dennoch bleiben Probleme ungelöst, da wir nicht wissen, warum das Modell in manchen Bereichen besser und in anderen schlechter ist. Wir beenden diese Diskussion mit einem verwandten Zitat eines berühmten Psychiaters: