KI-Systeme fluten die Wissenschaft mit gefälschten Studien und Zitaten. Forscher schlagen Alarm: Das Vertrauen in seriöse Forschung ist bedroht.
Normalerweise freuen sich Wissenschaftlerinnen und Wissenschaftler, wenn ihre Publikationen in wissenschaftlichen Arbeiten zitiert werden und Anerkennung finden.
Die Assistenzprofessorin für Informationssysteme und digitale Innovation an der Universität Lausanne, Dr. Liudmila Zavolokina, konnte dagegen überhaupt keine Freude empfinden, als sie mit Google Scholar einige Zitate zu vier angeblich unter ihrem Namen veröffentlichten wissenschaftlichen Studien fand.
Denn die Forschungsarbeiten waren – zumindest nach Kenntnis der vorgeblichen Autorin – nicht existent. Für das Fälschen wurde offensichtlich Künstliche Intelligenz eingesetzt.
Gefälschte Studien durch KI: Fake-Zitate und erfundene Autoren
Professor Zavolokina informierte ihre Follower auf LinkedIn über ihren Fund. Weder sie noch die Mitglieder ihres ebenfalls als Autoren angegebenen Teams hätten die fraglichen KI-generierten Fake-Studien verfasst, beteuerte sie. Sie vermutete zunächst KI-halluzinierte Zitate und ging dem Phänomen nach.
Einer der gefälschten Fachartikel mit dem Titel "The FinTech Phenomenon: Antecedents of Financial Innovation" sei von L. Zavokina, M.Dolata und G. Schwabe in Electronic Markets veröffentlicht worden, behauptet Google Scholar.
Tatsächlich gibt es einen real existierenden Beitrag mit dem Titel "The FinTech phenomenon: antecedents of financial innovation perceived by the popular press", der bereits 2016 von der gleichen Autorengruppe (Liudmila Zavolokina, Mateusz Dolata und Gerhard Schwabe) in der Zeitschrift Financial Innovation des Springer-Verlags publiziert wurde.
Zavolokina ist keineswegs die einzige von derartigen Fälschungen betroffene Wissenschaftlerin. Es betrifft auch andere. Stanislav Ivanov, der selbst mit Robonomics eine Fachzeitschrift verlegt, schuf gar ein virtuelles Profil bei Google Scholar, unter dem er alle ihm zugeschriebenen, nicht existierenden wissenschaftlichen Arbeiten verlinkt. Man kann die Fake-Publikationen nachverfolgen und sehen, wer sie wann und wo zitiert hat.
KI-generierte Fake-Forschung: Schlampigkeit oder Geschäftsmodell?
Warum sollte jemand Artikel für Zitate fälschen? Diese Frage wurde auch unter Zavolokinas Veröffentlichung auf LinkedIn diskutiert. Professor Pablo Gómez von der Western Michigan University vertrat die Ansicht, dass es aus Faulheit geschehe:
In vielen Fällen handelt es sich dabei um reine Faulheit. Einige Forscher wollen keine Zeit damit verbringen, eine dem Stand der Technik angemessene Suche durchzuführen, also bitten sie ein LLM-Tool, dies für sie zu tun, und es halluziniert einige cool klingende Fachartikel.
Eine Meinung, die auch Zavolokina zunächst als Motiv vermutete, wie sie in einem weiteren LinkedIn-Beitrag am Dienstag mitteilte.
Der Informatikprofessor Diomidis Spinellis von der Wirtschafts-Universität Athen hat zum Thema selbst im vergangenen Mai einen real existierenden, zitierfähigen Fachartikel mit dem Titel "Falsche Urheberschaft: Eine explorative Fallstudie zu einem KI-generierten Artikel, der unter meinem Namen veröffentlicht wurde" im Springer Nature Open Access Fachjournal BMC veröffentlicht. Gemäß Spinellis stecken "Predatory Journals" (Fake-Journals) hinter dem Phänomen.
Mit dem Fachausdruck sind vorgebliche wissenschaftliche Zeitschriften gemeint, die Wissenschaftlichkeit und Kontrolle von angeblich wissenschaftlich erlangten Erkenntnissen vortäuschen. Dafür kassieren die Verlage Gelder von Autoren, die sich mit gefälschten wissenschaftlichen Meriten schmücken wollen. Die Liste der bislang bekannten "Predatory Journals" ist lang.
Paper Mills 2.0: Wie KI-Fälschungen die Wissenschaft überschwemmen
Die Möglichkeiten der Künstlichen Intelligenz erleichtern das Geschäftsmodell der Betrüger. Spinellis analysierte 53 Zitate eines seiner Artikel und fand heraus, dass in 48 Fällen die zitierenden Forschungsarbeiten komplett von der KI und in fünf Fällen teilweise von KI-Systemen erstellt wurden.
Spinellis kommt zum Schluss, dass Zeitschriften KI-generierte Inhalte nutzen, um ihr Ansehen durch falsch zugeordnete Artikel zu stärken. Die KI erfindet zu realen Studien und Autorengruppen weitere ähnlich klingende Studien.
Mit dem besseren Ansehen sollen Autoren angelockt werden, die ihre eigene Publikationszahl mit möglichst wenig Aufwand aufblähen wollen. Dieses Phänomen solcher Zeitschriften ist bereits vor der digitalen Zeit als "Paper Mills" bekannt geworden.
Die New York Times berichtete Anfang August, dass die Zahl der gefälschten wissenschaftlichen Artikel sich aktuell alle eineinhalb Jahre verdoppelt. Fast alle einschlägigen Studien, Fachartikel und Beiträge in den sozialen Medien kommen zum Schluss, dass das ungebremste Wachstum der Flut KI-generierter Pseudostudien das Vertrauen in die wissenschaftliche Kommunikation erschüttert.
Qualitätskontrolle in der Wissenschaft: Peer-Review gegen KI-Fakes
Die Auswirkungen des KI-Fälschungsbetriebs beschränken sich nicht nur auf obskure Fachjournale. Auch Springer Nature musste im vergangenen September feststellen, dass bei gezielten Kontrollen seltsam erscheinende Formulierungen oder Abbildungen, KI-verfälschte Zitate und Quellenangaben, sowie unsinnige Übersetzungen zunächst das verlagseigene Qualitätskontrollsystem passieren konnten.
Bis zum Oktober des vergangenen Jahres wurden 200 Fachartikel depubliziert. Eigentlich sind bei Nature KI komplett oder teilweise erzeugte Bilder und Videos bereits seit 2023 verboten.
Das Peer-Review-System, das die Kontrolle von Fachartikeln durch andere Wissenschaftler als Signum der Seriosität garantierte, scheint nicht mehr ausreichend zu sein. Das Magazin Wired berichtete jüngst über eine Studie der Northwestern University, dass der Schwarzmarkt für gefälschte wissenschaftliche Arbeiten schneller wachsen würde als die echte Forschung.
Zumindest in einigen wenigen Fällen sorgen die KI-Fakes für Erheiterung. So bei der viel zitierten Abbildung einer Ratte mit gigantischem Penis samt unnatürlich vielen Hoden.
