Fachdidaktische Qualitätssicherung von Machine-Learning-Modellen in der Hochschuldidaktik

Individuelles KI-gestütztes Feedback im Videoanalyse-Tool ViviAn

Abstract

Dieser Beitrag befasst sich im Rahmen einer Machbarkeitsstudie mit Forschungsfragen, die klären, (1) ob KI-Modelle, die auf Basis von Nutzenden-Selbst-Label-Ansätzen trainiert wurden, eine Klassifikationsqualität erreichen, die mit der von geschulten Mathematikdidaktiker*innen vergleichbar ist und (2) ob diese als Teil eines individuellen Feedbacksystems im webbasierten Videoanalyse-Tool ViviAn ge-nutzt werden können.
Der Mixed-Methods-Ansatz umfasst eine qualitative Inhaltsanalyse der Trainingsdaten durch Experten zur Erstellung eines validierten Trainingssets. Anschließend erfolgt eine quantitative Modellierung eines Klassifikationssystems durch supervised-learning, dessen Leistung mit statistischer Interrater-Reliabilität durch fachdidaktische Experten evaluiert wird. Die Analysen der vorliegenden Machbarkeitsstudie zeigen, dass dieses Vorgehen ausreichen kann, um KI-Modelle zu erstellen, die fachdidaktischen Experten-Ratings nahekommen.