Was Studierende auch generell lernen müssen.
Die Outputs generativer KI-Tools können Fehler enthalten, wie vollständig falsche Informationen ("Halluzinationen") oder eine geringe Qualität aufgrund allgemeiner Formulierungen oder veralteter Annahmen. Für einen effektiven Einsatz dieser Tools im Studium ist es daher entscheidend, dass Studierende die Fähigkeit entwickeln, die Qualität der Ergebnisse kritisch zu beurteilen (evaluatives Urteilsvermögen). Dieses Urteilsvermögen umfasst sowohl das Verständnis von Qualität als auch die Kompetenz, adäquate Beurteilungen vorzunehmen.
Durch praktische Erfahrungen in der Erstellung und Bewertung von Prüfungsarbeiten können Studierende zwar ein Basisverständnis für Qualitätsstandards entwickeln, doch durch eine gezielte Schulung des evaluativen Urteilsvermögens lassen sich systematischere und genauere Bewertungen fördern, anstatt sich auf zufällige und individuelle Einschätzungen zu verlassen.
Folgende Empfehlungen sollten beachtet werden:
Self-Assessment
Selbstbewertungspraktiken können spezifisch erweitert werden, um Studierende im Erkennen und Beurteilen der Qualität generativer KI-Ausgaben zu schulen. Dies beinhaltet zwei Hauptaspekte:
- Die Bewertung der Qualität von KI-generierten Ausgaben hinsichtlich Genauigkeit, Relevanz und Angemessenheit.
- Die Beurteilung, wie gut die KI-generierten Ausgaben zur gestellten Aufgabe passen.
Es wird empfohlen, externe Kriterien wie Bewertungsrubriken zu verwenden, um eine objektivere Einschätzung zu gewährleisten.
Peer Assessment
Studierende können gemeinsam evaluative Urteile über die Ausgaben generativer KI durchführen. Dies beinhaltet:
- Die Bewertung der Ergebnisse der KI selbst.
- Die Beurteilung, wie gut Studierende die KI gemäss externen Kriterien in die Aufgabenstellung integriert hat.
Feedback
Studierende können wiederholt Feedback von generativer KI zu ihren Arbeiten einholen und dieses Feedback mit Bewertungen anderer, einschliesslich ihrer eigenen, vergleichen. Auf diese Weise entwickeln sie ihr evaluatives Urteilsvermögen, indem sie die Fähigkeit der KI nutzen, hilfreiche Informationen über ihre eigene Arbeit, ihre Feedbackprozesse und die Qualität der Arbeit selbst zu liefern.
Bewertungsrubriken
Wenn Studierende die Qualität generativer KI-Ausgaben bewerten, sollten Bewertungsrubriken eingesetzt werden, etwa, um die Qualität dieser Arbeiten bewerten zu können oder aber auch Bereiche zu identifizieren, die menschliches Eingreifen zur Verbesserung der Ausgabe erfordern. Dadurch wird ein evaluatives Urteilsvermögen sowohl bezüglich der KI-Ergebnisse als auch der Arbeit selbst entwickelt.
Examplers
Studierende können durch den Einsatz von Beispielen aus generativer KI ihre Fähigkeit zur Bewertung guter Arbeit schulen, indem sie ihre eigenen Arbeiten iterativ mit diesen KI-generierten Beispielen vergleichen und bei Bedarf weitere Beispiele einholen. Dieser Prozess fördert die Entwicklung ihres evaluativen Urteilsvermögens und kann durch das Hinzuziehen von Beispielen aus vertrauenswürdigen Quellen weiter verfeinert werden.
Literatur und Anmerkungen
Die Zusammenstellung der Methoden entstammen aus den Publikationen von Bearman et al (2024) sowie Tai et al. (2017). Die sprachliche Überarbeitung der Textbausteine erfolgte mit ChatGPT Version 4.0 (OpenAi: openai.com/chat).
Bearman, M., Tai, J., Dawson, P., Boud, D., & Ajjawi, R. (2024). Developing evaluative judgement for a time of generative artificial intelligence. Assessment & Evaluation in Higher Education, 1-13.
Tai, J., Ajjawi, R., Boud, D., Dawson, P., & Panadero, E. (2018). Developing evaluative judgement: Enabling students to make decisions about the quality of work. Higher Education, 76, 467-481.
