Spotting fakes: How do non-experts approach deepfake video detection?

Inhaltsverzeichnis

Bibliographische Infos


Cover der Ausgabe: SCM Studies in Communication and Media Jahrgang 14 (2025), Heft 4
Open Access Vollzugriff

SCM Studies in Communication and Media

Jahrgang 14 (2025), Heft 4


Autor:innen:
Verlag
Nomos, Baden-Baden
Copyrightjahr
2026
ISSN-Online
2192-4007
ISSN-Print
2192-4007

Kapitelinformationen


Open Access Vollzugriff

Jahrgang 14 (2025), Heft 4

Spotting fakes: How do non-experts approach deepfake video detection?


Autor:innen:
ISSN-Print
2192-4007
ISSN-Online
2192-4007


Kapitelvorschau:

Es hat sich als schwierig erwiesen, Maßnahmen zur Verbesserung der menschlichen Erkennung von Deepfakes zu ergreifen. Über die Verhaltensstrategien, die Menschen bei der Erkennung von Deepfakes anwenden, ist nur wenig bekannt. Dieser Artikel präsentiert zwei Studien, in denen Nicht-Experten eine Deepfake-Erkennungsaufgabe absolvierten. Im Rahmen dieser Aufgabe wurde den Teilnehmern eine Reihe von kurzen Videos gezeigt – von denen die Hälfte Deepfakes waren – und sie wurden gebeten, jedes Video entweder als Deepfake oder als authentisch zu kategorisieren. In Studie 1 (N = 391), einer Online-Studie, wurden die Teilnehmer nach dem Zufallsprinzip einer Kontroll- oder Interventionsgruppe zugewiesen (in der sie vor der Erkennungsaufgabe eine Liste mit Erkennungsstrategien erhielten). Nach der Erkennungsaufgabe erläuterten die Teilnehmer den Ansatz, den sie während der Aufgabe verwendet hatten. In Studie 2 (N = 32), einer Laborstudie, wurde das Blickverhalten (Fixationen und Sakkaden) der Teilnehmer während der Erkennungsaufgabe aufgezeichnet. Den Teilnehmern von Studie 2 wurden keine Erkennungsstrategien zur Verfügung gestellt. In Übereinstimmung mit früheren Untersuchungen zeigten die Teilnehmer der Studie 1 eine mäßige Erkennungsgenauigkeit (M = 0,61, SD = 0,14) – nur geringfügig über dem Zufallsniveau (0,50) – ohne Unterschied zwischen der Interventions- und der Kontrollgruppe. Die Inhaltsanalyse der Selbstauskünfte der Teilnehmer ergab jedoch, dass die Interventionsgruppe ihre Aufmerksamkeit erfolgreich auf Hinweise wie Hautstruktur und Gesichtsbewegungen lenkte, während die Kontrollgruppe häufiger angab, sich auf ihre Intuition (Bauchgefühl) und Merkmale wie Körpersprache zu verlassen. Studie 2 ergab eine ähnliche Erkennungsgenauigkeit (M = 0,65, SD = 0,20). Die Teilnehmer richteten ihren Blick hauptsächlich auf die Augen und den Mund und weniger auf den Körper, wobei sie eine leichte Präferenz für die Augen gegenüber dem Mund zeigten. Es wurden keine Unterschiede im Blickverhalten zwischen authentischen und Deepfake-Videos oder zwischen korrekt und falsch kategorisierten Videos festgestellt. Die Ergebnisse deuten darauf hin, dass Interventionen das Erkennungsverhalten verändern können (ohne die Genauigkeit zu verbessern). Zukünftige Interventionen könnten davon profitieren, die Aufmerksamkeit von den Augen auf diagnostischere Merkmale wie Inkonsistenzen zwischen Gesicht und Körper und die Gesichtskonturen zu lenken.

Literaturverzeichnis


  1. Abbas, F., & Taeihagh, A. (2024). Unmasking deepfakes: A systematic review of deepfake detection and generation techniques using artificial intelligence. Expert Systems with Applications, 252. https://doi.org/10.1016/j.eswa.2024.124260 Google Scholar öffnen
  2. Brams, S., Ziv, G., Levin, O., Spitz, J., Wagemans, J., Williams, A. M., & Helsen, W. F. (2019). The relationship between gaze behavior, expertise, and performance: A systematic review. Psychological Bulletin, 145(10), 980–1027. https://doi.org/10.1037/bul0000207 Google Scholar öffnen
  3. Bray, S. D., Johnson, S. D., & Kleinberg, B. (2023). Testing human ability to detect ‘deepfake’ images of human faces. Journal of Cybersecurity, 9(1). https://doi.org/10.1093/cybsec/tyad011 Google Scholar öffnen
  4. Burla, L., Knierim, B., Barth, J., Liewald, K., Duetz, M., & Abel, T. (2008). From text to codings: Intercoder reliability assessment in qualitative content analysis. Nursing Research, 57(2), 113–117. https://doi.org/10.1097/01.NNR.0000313482.33917.7d Google Scholar öffnen
  5. Caporusso, N., Zhang, K., & Carlson, G. (2020). Using eye-tracking to study the authenticity of images produced by generative adversarial networks. 2020 International Conference on Electrical, Communication, and Computer Engineering (ICECCE), 1–6. https://doi.org/10.1109/ICECCE49384.2020.9179472 Google Scholar öffnen
  6. Cartella, G., Cuculo, V., Cornia, M., & Cucchiara, R. (2024). Unveiling the truth: Exploring human gaze patterns in fake images. IEEE Signal Processing Letters, 1–5. https://doi.org/10.1109/LSP.2024.3375288 Google Scholar öffnen
  7. Diel, A., Lalgi, T., Schröter, I. C., MacDorman, K. F., Teufel, M., & Bäuerle, A. (2024). Human performance in detecting deepfakes: A systematic review and meta-analysis of 56 papers. Computers in Human Behavior Reports, 16. https://doi.org/10.1016/j.chbr.2024.100538 Google Scholar öffnen
  8. Diel, A., Teufel, M., & Bäuerle, A. (2024). Inability to detect deepfakes: Deepfake detection training improves detection accuracy, but increases emotional distress and reduces self-efficacy. OSF. https://doi.org/10.31219/osf.io/muwnj Google Scholar öffnen
  9. Dolhansky, B., Bitton, J., Pflaum, B., Lu, J., Howes, R., Wang, M., & Cristian Canton Ferrer. (2020). The DeepFake Detection Challenge (DFDC) Dataset. arXiv. https://doi.org/10.48550/arxiv.2006.07397 Google Scholar öffnen
  10. Dornbusch, A., Tye, T., Somoray, K., & Miller, D. J. (2025). Third person effects and the base-rate fallacy: Cognitive biases in deepfake detection [Manuscript in preparation]. Google Scholar öffnen
  11. El Mokadem, S. S. (2023). The effect of media literacy on misinformation and deep fake video detection. Arab Media & Society, 35, 53–78. https://www.arabmediasociety.com/ Google Scholar öffnen
  12. Flynn, A., Powell, A., Scott, A. J., & Cama, E. (2022). Deepfakes and digitally altered imagery abuse: A cross-country exploration of an emerging form of image-based sexual abuse. The British Journal of Criminology, 62(6), 1341–1358. https://doi.org/10.1093/bjc/azab111 Google Scholar öffnen
  13. Godulla, A., Hoffmann, C. P., & Seibert, D. (2021). Dealing with deepfakes: An interdisciplinary examination of the state of research and implications for communication studies. Studies in Communication and Media, 10(1), 72–96. https://doi.org/10.5771/2192-4007-2021-1-72 Google Scholar öffnen
  14. Gupta, P., Chugh, K., Dhall, A., & Subramanian, R. (2020). The eyes know it: FakeET- An eye-tracking database to understand deepfake perception. Proceedings of the 2020 International Conference on Multimodal Interaction, 519–527. https://doi.org/10.1145/ 3382507.3418857 Google Scholar öffnen
  15. Köbis, N, C., Doležalová, B., & Soraperra., I. (2021). Fooled twice: People cannot detect deepfakes but think they can. iScience, 24(11). https://doi.org/10.2139/ssrn.3832978 Google Scholar öffnen
  16. Kramer, R. S., Mireku, M. O., Flack, T. R., & Ritchie, K. L. (2019). Face morphing attacks: Investigating detection with humans and computers. Cognitive Research: Principles and Implications, 4(1). https://doi.org/10.1186/s41235-019-0181-4 Google Scholar öffnen
  17. McMahon, L., Kleinman, Z., & Subramanian, C. (2025, January 8). Facebook and Instagram get rid of fact checkers. BBC News. https://www.bbc.com/news/articles/cly74mpy8klo Google Scholar öffnen
  18. Miller, D. J., Somoray, K., & Stevens, H. (2025). A shallow history of deepfakes. SSRN. http://dx.doi.org/10.2139/ssrn.5130379 Google Scholar öffnen
  19. Ng, Y. L. (2023). An error management approach to perceived fakeness of deepfakes: The moderating role of perceived deepfake targeted politicians’ personality characteristics. Current Psychology, 42, 25658–25669. https://doi.org/10.1007/s12144-022-03621-x Google Scholar öffnen
  20. Robertson, D. J., Mungall, A., Watson, D. G., Wade, K. A., Nightingale, S. J., & Butler, S. (2018). Detecting morphed passport photos: A training and individual differences approach. Cognitive Research: Principles and Implications, 3. https://doi.org/10.1186/s41235-018-0113-8 Google Scholar öffnen
  21. Senju, A., Vernetti, A., Kikuchi, Y., Akechi, H., Hasegawa, T., & Johnson, M. H. (2013). Cultural background modulates how we look at other persons’ gaze. International Journal of Behavioral Development, 37(2), 131–136. https://doi.org/10.1177/0165025412465360 Google Scholar öffnen
  22. Silva, S. H., Bethany, M., Votto, A. M., Scarff, I. H., Beebe, N., & Najafirad, P. (2022). Deepfake forensics analysis: An explainable hierarchical ensemble of weakly supervised models. Forensic Science International: Synergy, 4. https://doi.org/10.1016/j.fsisyn.2022.100217 Google Scholar öffnen
  23. Somoray, K., & Miller, D. J. (2023). Providing detection strategies to improve human detection of deepfakes: An experimental study. Computers in Human Behavior, 149. https://doi.org/10.1016/j.chb.2023.107917 Google Scholar öffnen
  24. Somoray, K., Miller, D. J., & Holmes, M. (2025). Human performance in deepfake detection: A systematic review. Human Behavior and Emerging Technologies, 2025. https://doi.org/10.1155/hbe2/1833228 Google Scholar öffnen
  25. Smith, H., & Mansted, K. (2020). Weaponised deep fakes: National security and democracy [Policy brief]. Australian Strategic Policy Institute. https://www.aspi.org.au/report/weaponised-deep-fakes Google Scholar öffnen
  26. Sütterlin, S., Ask, T. F., Mägerle, S., Glöckler, S., Wolf, L., Schray, J., Chandi, A., Bursac, T., Khodabakhsh, A., Know, B. J., Canham, M., & Lugo, R. G. (2023). Individual deep fake recognition skills are affected by viewer’s political orientation, agreement with content and device used. In D. D. Schmorrow & C. M. Fidopiastis (Eds.), Augmented Cognition: 17th International Conference, Held as Part of the 25th HCI International Conference, Copenhagen, Denmark, Proceedings: Vol. 14019 (pp. 269–284). Springer, Cham. https://doi.org/10.1007/978-3-031-35017-7_18 Google Scholar öffnen
  27. Tahir, R., Batool, B., Jamshed, H., Jameel, M., Anwar, M., Ahmed, F., Zaffar, M. A., & Zaffar, M. F. (2021). Seeing is believing: Exploring perceptual differences in deepfake videos. Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, 1–16. https://doi.org/10.1145/3411764.3445699 Google Scholar öffnen
  28. Thaw, N. N., July, T., Wai, A. N., Goh, D. H. L., & Chua, A. Y. (2020). Is it real? A study on detecting deepfake videos. Proceedings of the Association for Information Science and Technology, 57(1). https://doi.org/10.1002/pra2.366 Google Scholar öffnen
  29. Wöhler, L., Zembaty, M., Castillo, S., & Magnor, M. (2021). Towards understanding perceptual differences between genuine and face-swapped videos. Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, 1–13. https://doi.org/10.1145/3411764.3445627 Google Scholar öffnen
  30. World Economic Forum (2024). The Global Risks Report 2024. https://www3.weforum.org/docs/WEF_The_Global_Risks_Report_2024.pdf Google Scholar öffnen
  31. Google Scholar öffnen

Zitation


Download RIS Download BibTex