Das Concept Image in Studierendenantworten mit Large Language Models klassifizieren

Abstract

Gerade bei fächerübergreifenden Konzepten ist es für Lehrende wichtig, das Concept Image der Lernenden zu einem Begriff zu erfassen. Wir untersuchen, wie Large Language Models (LLMs) dabei unterstützen können. Dazu arbeiten wir mit Studierendentexten zum Thema Graphentheorie und untersuchen, ob die Studierenden Graphen aus einer graphentheoretischen Perspektive betrachten oder sich auf andere Begriffsbilder stützen. Die Klassifizierung wurde mit vier LLMs durchgeführt, um das Concept Image automatisiert zu erfassen. In unserem Vergleich schneidet GPT 4.0 mit einem F1-Score von 0,56 zwar am besten ab, insgesamt erkennen die LLMs das Concept Image jedoch noch nicht zufriedenstellend.