Einschränkungen bei der Nutzung von KI-Systemen im Prozess der Literaturrecherche

Diese KI-Systeme weisen jedoch einige Limitierungen auf und sind für robustere und umfangreichere wissenschaftliche Arbeiten nicht zur alleinigen Nutzung empfohlen. Lassen Sie uns einige ihrer Einschränkungen genauer betrachten.

Limitierung I - Beschränkter Zugriff auf Publikationen

Viele relevante und einflussreiche Artikel sind nicht frei zugänglich (Open Access), sondern befinden sich hinter Paywalls wissenschaftlicher Verlage, und der Zugriff ist nur gegen Bezahlung möglich. Normalerweise müssen Universitäten Abonnements bei Verlagen haben, damit Studierende, Forschende und Dozierende Zugriff auf die Artikel erhalten. Die Freie Universität Berlin hat Abonnements bei einigen wissenschaftlichen Verlagen (z. B. Springer, Wiley und Taylor & Francis). Daher können Forschende der Universität nicht nur auf Open-Access-Artikel zugreifen, sondern auch auf Artikel, die sich hinter den Paywalls der Verlage befinden, mit denen die Universität Abonnements abgeschlossen hat. 

KI-Systeme stützen sich stark auf Open-Access-Publikationen, die zwar einen wachsenden Anteil an Veröffentlichungen ausmachen, jedoch nicht alle Fachgebiete gleichmäßig abdecken. Einige Disziplinen werden von Open-Access-Publikationen oder Preprints (wissenschaftliche Manuskripte, die öffentlich zugänglich gemacht werden, bevor sie ein formales Peer-Review-Verfahren durchlaufen haben) besser unterstützt als andere. Beispielsweise sind Bereiche wie die Physik, die stark auf Preprints angewiesen sind, gut vertreten, während Bereiche wie die Chemie weniger gut abgedeckt sind.

Daher können KI-Systeme, die auf Open-Access-Publikationen angewiesen sind, möglicherweise keinen umfassenden Überblick über Veröffentlichungen zu einem bestimmten Thema bieten, und viele hochrelevante Veröffentlichungen, die nicht Open Access sind, könnten ausgelassen werden, wenn ausschließlich diese KI-Systeme für die Literatursuche verwendet werden.

Darüber hinaus sind diese KI-Systeme intransparent bezüglich dessen, wie sie wissenschaftliche Artikel abrufen und in ihre Datenbanken aufnehmen. Scite.ai gibt an, Open-Access-Repositorien wie PubMed Central zu nutzen und mit Unpaywall und Crossref TDM Artikel zu identifizieren. Außerdem berichten sie, dass sie Verzeichnisse von „über einem Dutzend“ Verlagen einbeziehen und Aktualisierungen „zwischen täglich und monatlich“ verarbeiten. Das Tool Elicit beschränkt die Ergebnisse auf Publikationen, die in Semantic Scholar indexiert sind.

Limitierung II - Suchanfrage in Frageform

Diese KI-Systeme ermöglichen es den Nutzenden, eine Suchanfrage in Frageform einzugeben. Diese Funktion könnte jedoch eine Einschränkung darstellen, da Forschende sicherstellen müssten, dass ihre Fragen gut formuliert sind. Andernfalls könnte die Qualität der Ergebnisse beeinträchtigt werden.

Limitierung III - Übermäßige Abhängigkeit der Nutzenden

Da diese KI-Systeme verschiedene Aspekte der Literatursuche automatisieren, könnten Studierende und Forschende zu abhängig von diesen Funktionen werden. Diese Überabhängigkeit könnte zu einem oberflächlichen Verständnis des Themas führen und langfristig die Entwicklung ihres kritischen Denkens und ihrer Schreibfähigkeiten beeinträchtigen.

Limitierung IV - Ungenauigkeit und Halluzinationen

Eine weitere Einschränkung der Nutzung dieser KI-Systeme im Forschungskontext ist das Potenzial für Ungenauigkeiten in KI-generierten Inhalten. Trotz ihrer fortschrittlichen Technologien sind sie nicht unfehlbar. Beispielsweise generieren sie manchmal Inhalte, die nicht vollständig mit den spezifischen Anforderungen einer gegebenen Eingabeaufforderung übereinstimmen. Diese Diskrepanz zeigt, dass das Tool zwar in der Lage ist, relevante akademische Inhalte zu erstellen, seine Such- und Synthesealgorithmen jedoch nicht immer die nuancierten Details oder den gewünschten Fokus der Nutzeranfrage präzise erfassen können.

Auch bei der Generierung von Quellenangaben zeigen diese Systeme Einschränkungen. In einem Forschungsartikel, der 2024 veröffentlicht wurde, wurden sechs KI-gestützte Forschungsassistenten auf Halluzinationen in Quellenangaben getestet. Quellen-Halluzination tritt auf, wenn ein KI-System Zitierungsdetails wie Artikeltitel, Zeitschriftennamen oder Autorennamen fälscht oder fehlerhaft generiert, die nicht mit tatsächlichen Quellen übereinstimmen. In der Studie wurden alle KI-Systeme mit denselben 10 medizinischen Eingabeaufforderungen getestet, bei denen jeweils 10 Quellenverweise pro Anfrage verlangt wurden. Dabei wiesen Elicit und SciSpace nur minimale Halluzinationen auf, während ChatGPT 3.5 und Bing kritische Halluzinationsraten zeigten. *Es muss anerkannt werden, dass einige dieser Systeme seit der Veröffentlichung des Artikels ihre Mechanismen verbessert haben.

Seit der Veröffentlichung von ChatGPT haben Forschende in sozialen Medien und bei akademischen Veranstaltungen immer wieder auf die Tendenz von ChatGPT hingewiesen, Quellen zu erfinden oder nicht existierende Quellen zu zitieren. Diese Fehler sind nicht selten, sondern systematisch und beeinträchtigen die Zuverlässigkeit des Tools für die akademische Forschung, wo Präzision und faktische Genauigkeit von entscheidender Bedeutung sind. Während ChatGPT und ähnliche Systeme schnelle und umfassende Einblicke bieten, müssen ihre Ergebnisse kritisch hinterfragt und mit Primärquellen überprüft werden.

Bemühungen zur Bewältigung dieser Herausforderungen sind im Gange. Entwickelnde verfeinern die Trainingsmethoden mit faktengeprüften Datensätzen und implementieren Algorithmen, die Informationen mit vertrauenswürdigen Quellen wie peer-reviewed Datenbanken abgleichen können. Beispielsweise haben die neuesten Versionen von ChatGPT Plus Plugins integriert, die speziell nach wissenschaftlichen Inhalten suchen und die tatsächlichen Publikationsdetails abrufen, wodurch das Risiko von Halluzinationen reduziert werden kann.

Insgesamt mangelt es in der Literatur an fundierten Studien, die die Genauigkeit dieser KI-Systeme für die Durchführung eines Literaturüberblicks aus einer breiteren Perspektive bewerten.