Speaker
Description
3-5 Keywords (aus: Personalentwicklung,<br> Studiengangentwicklung,<br> Institutionalisierung/<br>Strukturentwicklung, Organisations-<br>entwicklung, Bildungs-<br>politik, HD Praxis,<br>Fachdidaktik/Fachkultur, <br> HD Grundlagenforschung, <br>Angewandte Forschung, <br> Wertediskurs, Internationalisierung,<br> Netzwerke, ggf. andere Schlüsselbegriffe)
Studiengangentwicklung
Abstract (für alle Formate)<br>Bitte vergessen Sie nicht<br> das Format unter<br>"Presentation type"<br> am Ende dieser<br>Seite anzugeben.
Einleitung
Der Progress Test Psychology (PTP) wurde zur Qualitätssicherung des sechssemestrigen Bachelorstudiums "Psychologie und Psychotherapie" der Universität Witten/Herdecke (UW/H) entwickelt und im Dezember 2014 pilotiert. Der PTP wurde anhand eines Blueprints erstellt, der das modulare Curriculum abbildet mit drei Modulen zu Forschungsmethoden, sechs Modulen zu den Grundlagen der Psychologie (Allgemeine, Biologische, Soziale, Persönlichkeits-, Entwicklungs- und Pädagogische Psychologie) sowie vier anwendungsbezogenen Modulen zur Klinischen Psychologie (Zupanic et al., 2016). Ein sorgfältig entworfener Blueprint ist neben dem Reviewprozess durch qualifizierte PsychologInnen (vor allem die an dem Studiengang beteiligten Lehrkräfte) ein wichtiger Aspekt, um die Inhaltsvalidität des PTP sicherzu-stellen (Plessas, 2017). Vor diesem Hintergrund besteht der Zweck des Progress Tests darin, dass Studierende ein individuelles Feedback zu ihrer Leistung erhalten und dass Lehrende ihre Bildungskonzepte und den Lernerfolg der Studierenden bewerten können (Coombes et al., 2010). Ob der PTP den Testgütekriterien genügt und mit den Ergebnissen eine zuverlässige Aussage über den relativen Grad der individuellen Merkmalsausprägung möglich ist, wird im Beitrag untersucht.
Methoden
Das Fachwissen der Studierenden wird im Progress Test Psychologie mit jeweils 100 True/False-Items auf Absolvierendenniveau erfasst, die mit Konfidenzgewichtung (sicher / unsicher / weiß nicht) beantwortet werden. Der PTP-Testwert ist die Anzahl der richtigen minus falscher Antworten. Die Konfidenzgewichtung der Beantwortung beinhaltet die Reflexionen der Studierenden über ihr eigenes Fachwissen und weist eine inkrementelle Validität bei akademischen Leistungen auf (Jackson & Kleitmann, 2014). In der vorliegenden Studie werden zu fünf Testzeitpunkten (PTP 01 - PTP 05) die Testgütekriterien interne Konsistenz (Cronbachs α, Reliabilitätssanalysen) und die Konstruktvalidität (Kruskal-Wallis-Tests, Friedman- und Wilcoxon-Tests) in Quer- und Längsschnittanalysen ermittelt.
Ergebnisse
Ergebnisse aus fünf Testzeitpunkten jeweils zu Beginn des Semesters werden berichtet. Die Progress Tests Psychologie wurden im April 2015 (PTP 01: N = 155), Oktober 2015 (PTP 02: N = 135), April 2016 (PTP 03: N = 140), Oktober 2016 (PTP 04: N = 159) und April 2017 (PTP 05: N = 171) durchgeführt. Die interne Konsistenz des PTP weist ein Minimum für PTP 03 mit α = 0,83 und ein Maximum für PTP 01 mit α = 0,91 auf, was eine gute bis sehr gute Zuverlässig-keit des Tests anzeigt.
In den Querschnittsanalysen zeigte sich ein Anstieg der durchschnittlichen Testwerte (richtig minus falsch) über die Semester hinweg wie folgt:
- PTP 01 von 18,1 ± 13,0 (Sem. 1) auf 66,8 ± 23,4 (Sem. 6),
- PTP 02 von 15,5 ± 11,8 (Sem. 1) auf 63,9 ± 24,7 (Sem. 4),
- PTP 03 von 5,3 ± 9,2 (Sem. 1) auf 53,8 ± 17,8 (Sem. 6),
- PTP 04 von 13,9 ± 9,9 (Sem. 1) auf 63,4 ± 19,1 (Sem. 6) und
- PTP 05 von 11,1 ± 13,8 (Sem. 1) bis 66,3 ± 17,1 (Sem. 6).
Zugleich wird ein Rückgang der "Weiß nicht"-Antworten dokumentiert:
- PTP 01 von 76,4 ± 16,5 (Sem. 1) auf 36,4 ± 18,7 (Sem. 6),
- PTP 02 von 78,5 ± 11,6 (Sem. 1) auf 32,4 ± 14,0 (Sem. 4),
- PTP 03 von 74,0 ± 11,1 (Sem. 1) auf 30,5 ± 10,9 (Sem. 6),
- PTP 04 von 75,4 ± 12,8 (Sem. 1) auf 31,0 ± 14,1 (Sem. 6),
- PTP 05 von 69,2 ± 20,5 (Sem. 1) auf 43,6 ± 10,9 (Sem. 6).
Die Untersuchung der Unterschiede zwischen den Semestern mit Kruskal-Wallis-Tests ergab signifikante Ergebnisse für PTP 01 - PTP 05 (p <0,001 für alle Vergleiche). In den Längsschnittanalysen wurden ebenfalls signifikante Unterschiede in den Testwerten und in der Konfidenzgewichtung (p <0,001 für alle Vergleiche) beobachtet.
Diskussion
Das Potenzial des Progress Test Psychologie und seine Nützlichkeit für die Qualitätssicherung des Studiengangs werden deutlich erkennbar. Die Ergebnisse zu den bislang fünf Testzeitpunkten bestätigen die Reliabilität und die Konstruktvalidität des Tests. Fraglich bleibt, ob die Items das Absolvierendenniveau widerspiegeln. An der Universität Witten/Herdecke wird aktuell eine Studie mit Masterstudierenden im ersten Semester durchgeführt, um robuste Daten zum angestrebten Absolvierendenniveau zu erheben. Zusätzlich wird die Einbettung der PTP in ein programmatisches Assessment (Heenemann et al., 2017) empfohlen. Auf diese Weise können die Vorteile der Längsschnittüberwachung der Studierenden und die wiederholte Rückmeldung des erworbenen Wissens durch den PTP noch besser genutzt werden.
Literatur
Coombes, L., Ricketts, C., Freeman, A. Stratford, J. (2010). Beyond assessment: Feedback for individuals and institution based on the progress test. Medical Teacher, 32, 486-90.
Heeneman, S., Schut, S., Donkers, J., van der Vleuten, C., Muijtjens, A. (2017). Embedding of the progress test in an assessment program designed according to the principles of pro-grammatic assessment, Medical Teacher, 39, 44-52.
Jackson, S. A. & Kleitman, S. (2014). Individual differences in decision-making and confi-dence: Capturing decision tendencies in a fictitious medical test. Metacognition & Learning, 9(1), 25-49.
Plessas, A. (2017). Validity of Progress Testing in Healthcare Education. International Journal of Humanities Social Sciences and Education, 2, 23-33.
Zupanic M, Ehlers JP, Ostermann T, Hofmann M. Progress Test Psychologie (PTP) und Wis-sensentwicklung im Studienverlauf. In M. Krämer, U. Weger & M. Zupanic (Eds.). Psycholo-giedidaktik und Evaluation X (pp. 315-322). Aachen, Germany: Shaker.
