Beyond fact-checking: Harnessing AI for news quality assessment

Zuverlässige wissenschaftliche Informationen sind entscheidend für die öffentliche Meinungsbildung sowie für wirtschaftliche, soziale und gesundheitspolitische Entscheidungen. Während sich zahlreiche Studien mit der Erkennung von Falschinformationen befassen, ist die automatisierte Bewertung der Gesamtqualität journalistischer Inhalte bislang weitgehend unerforscht. Diese Studie schließt diese Forschungslücke, indem sie untersucht, inwiefern verschiedene KI-Modelle – von klassischen statistischen Methoden („Bag-of-Words“) bis hin zu fortgeschrittenen Large Language Models (LLMs) – die Qualität medizinischer Nachrichtenartikel anhand von zehn etablierten journalistischen Qualitätskriterien bewerten können. Anhand eines Datensatzes mit 240 medizinjournalistischen Artikeln und zugehörigen Expertengutachten zu diesen Texten zeigen wir, dass Machine-Learning-Modelle durchaus in der Lage sind, die journalistische Qualität eines Artikels valide zu beurteilen. Zwar erreichen mehrere Modelle nicht das Leistungsniveau menschlicher Expert*innen, speziell feingetunte LLMs jedoch erzielen in den meisten Fällen ein Maß an Übereinstimmung mit einer konsolidierten Expertenbewertung, das mit dem Übereinstimmungsgrad zwischen menschlichen Expert*innen vergleichbar ist. Das leistungsstärkste Modell (ein feingetuntes GPT-4o) identifiziert qualitativ schlechte Artikel ebenso verlässlich wie menschliche Gutachter*innen (macro-averaged F1: 0.69 vs. 0.57) und deutet damit auf ein Potenzial für den Einsatz in redaktionellen Workflows hin, etwa zur Filterung eingehender Inhalte oder zur Nachkontrolle bereits verfasster Texte. Obwohl sich die Studie auf Qualitätskriterien aus dem Medizinjournalismus stützt, dürfte sich der Ansatz auch in anderen Bereichen des Journalismus und der Wissenschaftskommunikation anwenden lassen, sofern dort vergleichbare Qualitätskriterien existieren.