February 27, 2018 to March 2, 2018
Karlsruher Institut für Technologie
Europe/Berlin timezone

Quantitative Prüfungsdatenanalyse als Beitrag zur Lehrentwicklung – Grundlagen, Potentiale und Herausforderungen

Feb 28, 2018, 5:15 PM
1h
Geb. 20.30 SR - 1.014 (UG) (Karlsruher Institut für Technologie)

Geb. 20.30 SR - 1.014 (UG)

Karlsruher Institut für Technologie

Beitrag für Impulsforum Impulsforum 2

Speaker

Dr Falk Scheidig (Pädagogische Hochschule FHNW)

Description

Der Beitrag diskutiert die Potentiale von Prüfungsdatenanalysen für verschiedene Zielgruppen (Lehrende, Leitungspersonen, Hochschuldidaktik) unter der Perspektive hochschuldidaktischer Forschung, der Governance an Hochschulen und der praxisbezogenen Weiterentwicklung von Hochschullehre. Hierzu wird auf die Grundlagen der Prüfungsdatenanalyse ebenso eingegangen wie auf diesbezüglicheHerausforderungen. Dies erfolgt am Beispiel einer quantitativen Analyse der Prüfungsdaten einer Pädagogischen Hochschule (unter Einbezug von über 40.000 Einzelprüfungen im Zeitraum 2013-2016). Dabei rücken verschiedene Aspekte in den Fokus, u.a. der Zusammenhang von Noten und unterschiedlichen Prüfungsformen, das Notenniveau von Erst- und Wiederholungsprüfungen, Unterschiede zwischen Einzel- und Gruppenprüfungen sowie alters-, geschlechts- und semesterbezogene Einflüsse. Aufbauend auf einige ausgewählte Befunde der vorgestellten Prüfungsdatenanalyse wird im Beitrag verdeutlicht, wie die Analyse von Prüfungsdaten helfen kann, Prüfungsformen und -ergebnisse einzuordnen und Problembereiche im Studium, der Hochschullehre und im Prüfungswesen zu identifizieren. Die gewonnenen Erkenntnisse können als Impulsgeber für Studiengangs- und Lehrentwicklung fungieren und zur Entwicklung von "assessment literacy" aufseiten der Lehrenden beitragen.

Abstract (für alle Formate)<br>Bitte vergessen Sie nicht<br> das Format unter<br>"Presentation type"<br> am Ende dieser<br>Seite anzugeben.

Prüfungen an Hochschulen erfuhren in den vergangenen zwei Jahrzehnten eine verstärkte Zuwendung. So entfalteten sich differenzierte Diskurse aus hochschuldidaktischer Perspekti-ve zur Konstruktion von innovativen und etablierten hochschulischen Prüfungsformen, zu prüfungsbezogenen Gütekriterien, zum kompetenzorientiertem Prüfen sowie zum Verhältnis von Prüfungen und Lehr-Lern-Arrangements. Ebenso rückten disziplinorientierte Diskurse zu fachsensitiven Prüfungsformen zur Beurteilung fach- respektive professionsspezifischer Kompetenzen in den Fokus. Die zunehmende Aufmerksamkeit für Hochschulprüfungen dürf-te einerseits auf die gestiegene Sensibilität für das (constructive) alignment von Lernzielen, Lehrgestaltung und Prüfungsdesign (vgl. Biggs/Tang 2011) zurückzuführen sein, andererseits auf die Erkenntnis, dass die Gestaltung der Prüfungen selbst Einfluss auf das Lernverhalten und -niveau der Studierenden nimmt ("assessment drives learning").
Die forschungsbasierten Zugänge zu Hochschulprüfungen weisen verschiedene Foci auf: Sie beziehen sich u. a. auf Aufgabenkulturen, -typen und -qualität (z. B. Keller/Reintjes 2016), auf Gestaltungsprinzipien von Prüfungen und Prüfungseffekte (zusammenfassend: Bücker et al. 2015) oder auf die Analyse von Noten und Prüfungsergebnissen. Bezogen auf letzteres bleibt eine Zentrierung auf die vergleichende Analyse von Abschlussnoten (vgl. Müller-Benedict/Grözinger 2017; Statistisches Bundesamt 2016; Wissenschaftsrat 2012) oder auf Analysen zu einzelnen Prüfungsverfahren wie Multiple-Choice-Prüfungen (vgl. Le-dermüller/Nettekoven/Weiler 2015) zu konstatieren. Ein Desiderat besteht daher nicht nur in der vergleichenden empirischen Analyse von Einzelprüfungen, sondern auch in der Erkennt-nis, welchen Beitrag die daraus gewonnenen Erkenntnisse zur Lehrentwicklung leisten bzw. leisten können.
Im Rahmen des Beitrags sollen Potentiale und Herausforderungen der Auseinandersetzung mit Prüfungsdaten am Beispiel einer quantitativen Analyse der Prüfungsdaten einer größeren Pädagogischen Hochschule der Schweiz (unter Einbezug von über 40.000 Einzelprüfungen im Zeitraum 2013-2016) diskutiert werden. Dabei soll u. a. auf folgende Fragen eingegangen werden:
Bei welchen Prüfungsformen (Klausur, mündliche Prüfung, Hausarbeit, praktische Prüfung, kombinierte Verfahren usw.) erzielen die Studierenden die bes-ten/schlechtesten/unterschiedlichsten Noten?
Welche Rolle spielen soziodemografische Merkmale wie Alter und Geschlecht im Prüfungswesen und mit Bezug zu einzelnen Prüfungsformaten?
Wie groß sind Notenschwankungen zwischen Studiengängen und Studienbereichen oder zwischen Sommer- und Wintersemester?
Inwieweit unterscheiden sich Noten aus Wiederholungsprüfungen zu allen Noten der Erstprüfung?
*Erzielen Studierende bei Gruppenprüfungen bessere Noten als bei Einzelprüfungen?
Aufbauend auf den Befunden wird im Beitrag verdeutlicht, dass die Analyse von Prüfungsda-ten erkenntnisreiche Quervergleiche erlaubt – etwa zwischen Prüfungstypen, Studierenden-gruppen, Modulen, Studienbereichen, Studiengängen und Semestern. Dies wiederum hilft, Prüfungen, Prüfungsergebnisse und studentische Leistungen einzuordnen und Problembe-reiche zu identifizieren, z. B. geschlechtsspezifische Unterschiede in den Noten. Die gewon-nenen hochschuldidaktischen und steuerungsrelevanten Erkenntnisse können als Impulsge-ber für Studiengangs- und Lehrentwicklung fungieren. Zugleich leisten sie einen Beitrag zur Entwicklung von "assessment literacy" (Wollersheim 2016; Wollersheim/Pengel 2016) aufsei-ten der Lehrenden und Prüfungsverantwortlichen, d. h. zur differenzierten Auseinanderset-zung mit dem Prüfen im Studium und der bewussten Wahl, Gestaltung und Analyse von Prü-fungsverfahren.
Der Beitrag greift das Tagungsthema "Hochschuldidaktik als professionelle Verbindung von Forschung, Politik und Praxis" auf und diskutiert die Potentiale von Prüfungsdatenanalysen für verschiedene Zielgruppen (Lehrende, Leitungspersonen, Hochschuldidaktik, Hochschul-forschung usw.) unter der Perspektive hochschuldidaktischer Forschung, der Governance an Hochschulen und der praxisbezogenen Weiterentwicklung von Hochschullehre. Hierzu wird auf die hochschuldidaktischen und statistischen Grundlagen der Prüfungsdatenanalyse ebenso eingegangen wie auf Herausforderungen, z. B. auf Probleme der Dateninterpretation.

Literatur

Biggs, J. B./Tang, C. (2011): Teaching for Quality Learning at University: What the Student Does, Maidenhead.

Bücker, S./Deimling, M./Durduman, J./Holzhäuser, J./Schnieders, S./Tietze, M./Sayeed, S./Schneider, M. (2015): Prüfung, in: Schneider, M./Mustafić, M. (Hrsg): Gute Hoch-schullehre: Eine evidenzbasierte Orientierungshilfe. Wie man Vorlesungen, Seminare und Projekte effektiv gestaltet, Berlin, S. 119-152.

Ledermüller, K./Nettekoven, M./Weiler, M. (2015): Automatisierte Analyse von Multiple-Choice Prüfungen, in: Vettori, O./Salmhofer, G./Mitterauer, L./Ledermüller, K. (Hrsg): Eine Frage der Wirksamkeit? Qualitätsmanagement als Impulsgeber für Veränderun-gen an Hochschulen, Bielefeld, S. 173-189.

Müller-Benedict, V./Grözinger, G. (Hrsg.) (2017): Noten an Deutschlands Hochschulen. Ana-lysen zur Vergleichbarkeit von Examensnoten 1960 bis 2013, Wiesbaden.

Keller, S./Reintjes, C. (Hrsg.) (2016): Aufgaben als Schlüssel zur Kompetenz. Didaktische Herausforderungen, wissenschaftliche Zugänge und empirische Befunde, Münster.

Statistisches Bundesamt (Hrsg.) (2016): Prüfungen an Hochschulen 2015. Fachserie 11, Reihe 4.2, Wiesbaden.

Wissenschaftsrat (Hrsg.) (2012): Prüfungsnoten an Hochschulen im Prüfungsjahr 2010. Ar-beitsbericht mit einem wissenschaftspolitischen Kommentar des Wissenschaftsrates, Hamburg.

Wollersheim, H.-W. (2016): Kunst und Technik vereinen, in: Forschung & Lehre, H. 3/2016, S. 200-201.

Wollersheim, H.-W./Pengel, N. (2016): Von der Kunst des Prüfens – Assessment Literacy, in: HDS.Journal, H. 2/2016, S. 14-32.

3-5 Keywords (aus: Personalentwicklung,<br> Studiengangentwicklung,<br> Institutionalisierung/<br>Strukturentwicklung, Organisations-<br>entwicklung, Bildungs-<br>politik, HD Praxis,<br>Fachdidaktik/Fachkultur, <br> HD Grundlagenforschung, <br>Angewandte Forschung, <br> Wertediskurs, Internationalisierung,<br> Netzwerke, ggf. andere Schlüsselbegriffe)

Studiengangsentwicklung,
HD Grundlagenforschung,
HD Praxis,
Fachdidaktik/Fachkultur

Primary author

Dr Falk Scheidig (Pädagogische Hochschule FHNW)

Co-author

Dr Monika Holmeier (Pädagogische Hochschule FHNW)

Presentation materials

There are no materials yet.

Peer reviewing

Paper