February 27, 2018 to March 2, 2018
Karlsruher Institut für Technologie
Europe/Berlin timezone

Effektive Lehre aus Sicht der Studierenden: Surveyexperimente in der Hochschulforschung

Mar 2, 2018, 9:15 AM
2h
Geb. 20.30 SR 0.016 (Karlsruher Institut für Technologie)

Geb. 20.30 SR 0.016

Karlsruher Institut für Technologie

Beitrag für Impulsforum Impulsforum 13

Speakers

Ms Anna-Lena Hönig (Universität Mannheim)Mr Edgar Treischl (Friedrich-Alexander-Universität Erlangen-Nürnberg)

Description

Zur Förderung der Lehrqualität stehen Hochschulen vor der Aufgabe Lehre stetig zu verbessern, an unterschiedliche Zielgruppen anzupassen und Lehrinnovationen gezielt zu fördern. Dabei ist Lehrqualität ein multidimensionales Konzept. Die Frage welche dieser Dimensionen sich ursächlich auf das Urteil der Studierenden zur Lehrqualität auswirken, ist äußerst relevant für die Praxis, aber empirisch nicht geklärt. Vor diesem Hintergrund diskutiert der Beitrag die Vorteile von Surveyexperimenten für Forschung und Lehre. Erstens zeigen wir anhand erster empirischer Ergebnisse in wie fern Surveyexperimente eingesetzt werden können, um kausale Bewertungsstrukturen studentischer Urteilsbildung sichtbar zu machen. Ein Vergleich zwischen den prinzipiell bedeutsamsten Lehrqualitätsindikatoren und der kursspezifischen Bewertung bietet somit eine direkte und zeitnahe Handlungsempfehlung für Dozierende. Zweitens illustrieren wir das Potential von Surveyexperimenten in der Fragebogenentwicklung für die studentische Lehrveranstaltungsevaluation. Die situations- und kontextbezogenen Ergebnisse erlauben es Fragebögen entsprechend der Vorstellung von Studierenden, Dozierenden und der Hochschulleitung zu optimieren sowie auf bedeutsame Indikatoren zugunsten eines „schlanken“ Fragebogendesigns zu reduzieren.

Abstract (für alle Formate)<br>Bitte vergessen Sie nicht<br> das Format unter<br>"Presentation type"<br> am Ende dieser<br>Seite anzugeben.

Hochschulen stehen vor der Aufgabe Lehre stetig zu verbessern, an unterschiedliche Zielgruppen anzupassen und Lehrinnovationen gezielt zu fördern. Zur Evaluation dieser Prozesse wird die studentische Lehrveranstaltungsevaluation (LVE) Länder- und Disziplinen übergreifend eingesetzt und ist das Standardtool zur Bewertung von Lehrqualität aus Sicht der Studierenden. Lehrqualität wird dabei als ein multidimensionales Konstrukt betrachtet, da eine Vielzahl unterschiedlicher Teilaspekte dieses Konzept in der studentischen LVE reflektieren (siehe Marsh 2007, Spooren et al. 2013 für eine umfassende Darstellung). Eine gezielte Verbesserung der Lehrqualität bedarf somit des Wissens, welche einzelnen Aspekte das Urteil der Studierenden beeinflussen. Bislang greift die Hochschul(bildungs-)forschung jedoch nur unzureichend Aspekte von Kausalität auf (siehe bspw. Wolbring 2016). Welche Aspekte wirken sich ursächlich auf das Urteil der Studierenden aus?

Diese Forschungslücke ist vor allem methodischen Einschränkungen (bspw. Scheinkorrelation) der Lehrevaluation geschuldet. LVE beruhen fast ausschließlich auf Querschnittsdaten, weshalb in der Hochschulforschung kaum empirisch fundiertes Wissen zugänglich ist, welche Faktoren kausal das Urteil der Studierenden beeinflussen. Die Identifikation kausaler Faktoren - im Sinne theoriegeleiteter (Grundlagen-) Forschung zu „guter Lehre“ - ist für die Hochschulforschung höchst bedeutsam. Gleichermaßen unterstützt dieses Wissen Lehrende bei der Weiterentwicklung didaktischer Fähigkeiten und dient auf Seiten der Hochschule zur Erhöhung der Passung zwischen institutionellen Anforderungen und studentischen Präferenzen. Im Sinne eines formativen Evaluationsprozesses und eines zeitnahen Feedbacks ziehen Studierende ebenso einen direkten Nutzen daraus.

Vor diesem Hintergrund diskutiert der Beitrag die Vorteile eines Surveyexperiments für Forschung und Lehre. Erstens zeigen wir anhand erster empirischer Ergebnisse, dass Surveyexperimente eingesetzt werden können, um kausale Bewertungsstrukturen studentischer Urteilsbildung sichtbar zu machen. Durch die Darbietung experimenteller Stimuli im Surveyexperiment wird nicht nur der Einfluss einzelner Dimensionen „guter Lehre“ (beispielsweise Praxisbezug) sichtbar, sondern aufgrund der experimentellen Anordnung kann auch der kausale Effekt einzelner Teildimensionen berechnet werden (siehe Auspurg und Hinz 2015). Anhand dieses Wissens können kausale und substantielle Teildimensionen der Lehrqualität aus Sicht der Studierenden identifiziert werden. Ein Vergleich zwischen den prinzipiell bedeutsamsten Lehrqualitätsindikatoren und der kursspezifischen Bewertung bietet somit eine direkte Handlungsempfehlung für Dozierende.

Zweitens illustrieren wir das Potential von Surveyexperimenten in der Fragebogenentwicklung. In der Forschung hat sich kein Standard hinsichtlich der Anzahl und der Art der Lehrqualitätsdimensionen etabliert und in Anbetracht unterschiedlicher Disziplinen und Stakeholder (im Sinne der Multidimensionalität) kann dies auch nicht das vorrangige Ziel sein (siehe Feldman 2007). Stattdessen zeigen wir, dass mit Hilfe von Surveyexperimenten ein normativer Konsens über einzelne Teildimensionen guter Lehre berechnet werden kann. Surveyexperimente können somit eingesetzt werden, um einen hochschuldidaktischen Beitrag zur Weiterentwicklung bestehender Erhebungsinstrumente zu leisten. Auf diese Weise können nicht nur Fragebögen entsprechend der Vorstellung von Studierenden, Dozierenden und der Hochschulleitung optimiert werden, sondern auch auf weniger bedeutsame Indikatoren zugunsten eines „schlanken“ Fragebogendesigns reduziert werden. In Anbetracht des zunehmenden Einsatzes von online LVE und dem damit verbundenen Rückgang von Rücklaufquoten stellt dies fraglos ein höchst erstrebenswertes Ziel dar (siehe Adams & Umbach 2012; Treischl & Wolbring 2017).

In Übereinstimmung mit bisheriger Forschung deuten die ersten Ergebnisse insgesamt darauf hin, dass Dimensionen mit einem direkten inhaltlichen Kursbezug (bspw. Fähigkeit Interesse für den Kurs zu steigern) den stärksten Einfluss auf das studentische Urteil haben. Im Gegensatz dazu deuten unsere Ergebnisse darauf hin, dass bisherige Forschung den Einfluss von Dimensionen überschätzt, die keinen direkten Bezug zum Inhalt der Lehrveranstaltung aufweisen und von allgemeiner Natur (bspw. Verfügbarkeit und Hilfsbereitschaft des Dozierenden) in der Lehre sind.

Literaturangaben

Adams, M. J. D., & Umbach, P. D. (2012). Nonresponse and online student evaluations of teaching: Understanding the influence of salience, fatigue, and academic environments. Research in Higher Education, 53(5), 576–591.

Auspurg, K. & Hinz, T. (2015): Factorial survey experiments. Sage, Thousand Oaks.

Feldman, K. A. (2007): Identifying Exemplary Teachers and Teaching. Evidence from Student Ratings. In: Raymond P. Perry und John C. Smart (Hg.): The Scholarship of Teaching and Learning in Higher Education. An Evidence-Based Perspective. Dordrecht: Springer, 93–143.

Marsh, H. W. (2007). Students' evaluations of university teaching: A multidimensional perspective. In R. P. Perry & J. C. Smart (Eds.), The Scholarship of Teaching and Learning in Higher Education: An Evidence-Based Perspective (319-384). New York: Springer.

Spooren, P.; Brockx, B.; & Mortelmans, D. (2013). On the Validity of Student Evaluation of Teaching: The State of the Art. Review of Educational Research, 83(4), 598-642.

Treischl, E., & Wolbring, T. (2017): The Causal Effect of Survey Mode on Students’ Evaluations of Teaching: Empirical Evidence from Three Field Experiments. Research in Higher Education, doi:10.1007/s11162-017-9452-4.

Wolbring, T. (2016): Evaluation, Kausalität und Validität. In: Daniel Großmann und Tobias Wolbring (Hg.): Evaluation von Studium und Lehre. Grundlagen, methodische Herausforderungen und Lösungsansätze. Wiesbaden: Springer VS, 57–89.

3-5 Keywords (aus: Personalentwicklung,<br> Studiengangentwicklung,<br> Institutionalisierung/<br>Strukturentwicklung, Organisations-<br>entwicklung, Bildungs-<br>politik, HD Praxis,<br>Fachdidaktik/Fachkultur, <br> HD Grundlagenforschung, <br>Angewandte Forschung, <br> Wertediskurs, Internationalisierung,<br> Netzwerke, ggf. andere Schlüsselbegriffe)

HD Grundlagenforschung, Angewandte Forschung, Lehrevaluation

Primary authors

Ms Anna-Lena Hönig (Universität Mannheim) Mr Edgar Treischl (Friedrich-Alexander-Universität Erlangen-Nürnberg)

Presentation materials

There are no materials yet.

Peer reviewing

Paper