Ethische Bedenken

KI-generierte Bilder und Videos in Forschungsarbeiten



Guo X, Dong L and Hao D (2024) Cellular functions of spermatogonial stem cells in relation to JAK/STAT signaling pathway. Front. Cell Dev. Biol. 11:1339390. doi: https://doi.org/10.3389/fcell.2023.1339390

Im Jahr 2024 wurde ein Forschungsartikel in Frontiers in Cell and Developmental Biology (Impact Factor: 4,6) aufgrund gefälschter, von KI generierter Bilder zurückgezogen (Guo et al., 2024). Zurückziehungen erfolgen nur dann, wenn ein Artikel schwerwiegende Mängel aufweist, die darauf hindeuten, dass man ihm nicht trauen sollte. Ein kurzer Blick auf die erste Abbildung ließ Zweifel aufkommen: Die Ratte auf dem Bild hatte Hoden, die größer als ihr Kopf waren, Stammzellen in einer Petrischale quollen über wie eine Szene aus einem Science-Fiction-Comic, und der Text auf dem Bild war unsinnig. Es überrascht nicht, dass die Abbildung grob von einem generativen KI-Modell erstellt wurde.

Das größere Problem war, dass die Redaktion den Artikel trotz der offensichtlichen Mängel nicht abgelehnt hat; die Abbildung oben war nicht die einzige. Nach der Veröffentlichung des Artikels meldeten Lesende Bedenken an, woraufhin die Zeitschrift den Artikel zurückzog. Die Zeitschrift bedankte sich später bei den Lesenden dafür, dass sie auf das Problem hingewiesen hatten, aber ihr Versäumnis, ein so offensichtliches Problem zu erkennen, löste in der Forschungsgemeinschaft weitere Bedenken aus.

Dieser Vorfall war zwar schockierend, aber nicht die erste Warnung vor generativer KI in der Forschung. Ein Jahr zuvor hatte Nature alle KI-generierten Bilder und Videos mit dem Hinweis auf ihre unklaren und nicht überprüfbaren Quellen verboten. Doch auch Nature stützt sich auf Autoren und Autorinnen, Peer-Reviews und redaktionelle Prüfungen - ähnliche Prozesse, die den fehlerhaften Artikel mit der berüchtigten Rattenfigur nicht entdeckt haben.




Kwon, D. (2024, November 5). AI-generated images threaten science - here’s how researchers hope to spot them. Nature News. https://www.nature.com/articles/d41586-024-03542-8

Das frühere Beispiel der Ratte war leicht als Fälschung zu erkennen, aber das ist nicht immer der Fall. Die obigen Bilder wurden alle von KI-Systemen generiert, und es ist viel schwieriger zu erkennen, ob sie echt oder gefälscht sind. Laut Nature ergab ein Quiz der Firma Proofig, dass 450 Forscher KI-generierte Bilder nur in etwa 50 % der Fälle richtig identifizieren konnten (Kwon, 2024).

In demselben Bericht stellte eine Expertin für Bildforensik fest, dass sie in Veröffentlichungen oft offensichtlichen KI-generierten Text fand, darunter Standard-Chatbot-Phrasen, die die Autoren oder Fälscher vergessen hatten zu löschen. Sie sah keinen Grund, warum eine ähnliche Fälschung nicht auch bei Bildern oder Daten möglich sein sollte. Da nicht alle Forschenden ehrlich sind und Gutachter diese Probleme übersehen können, wird das Vertrauen in Forschung und Veröffentlichungen wahrscheinlich sinken, wenn keine strengen Maßnahmen ergriffen werden.


!    
Wir haben gelernt, dass generative KI-Tools in kürzerer Zeit beeindruckende Abbildungen erstellen können, aber die Techniken, um ihren Missbrauch zu erkennen, sind leider weniger entwickelt als die generativen KI-Systeme selbst. Wie können die Verlage also die akademische Integrität in der Literatur sicherstellen? Wie kann das derzeitige Begutachtungssystem, das sich stark auf Peer-Reviews stützt, verbessert oder gar ersetzt werden, um sich an das neue KI-Zeitalter anzupassen? Was kann man als bewusster Konsument von Literatur tun, um den Wahrheitsgehalt der Quellen zu bestätigen? Über die möglichen Antworten auf diese Fragen wird noch diskutiert, also teilen Sie uns Ihre Vorschläge mit, auch wenn sie noch so grob sind. Auch eine Suche im Internet kann beim Brainstorming helfen, z. B. in Artikeln wie diesem aus Nature.

Schreiben Sie Ihre Antworten auf einer neuen Taskcard unten.