February 27, 2018 to March 2, 2018
Karlsruher Institut für Technologie
Europe/Berlin timezone

Blended Assessments: Wie kann die Prüfung praktischer Fertigkeiten in mündliche Prüfungen integriert werden?

Mar 1, 2018, 1:00 PM
45m
Karlsruher Institut für Technologie

Karlsruher Institut für Technologie

Poster Postersession

Speaker

Prof. Martin Baumann (RWTH Aachen University, Applied Medical Engineering)

Description

Zahlreiche mündliche Prüfungen bewegen sich auf reproduzierenden Wissens- oder Analyseebenen, obwohl die avisierten Kompetenzen an einer Handlungsfähigkeit ausgerichtet sind. Um praktische Fertigkeiten auch niederschwellig und mit vertretbaren Zusatzaufwand für größere Kohorten prüfen zu können, können konventionelle Prüfungen mit digitalen Medien erweitert werden, die eine praxisnahe Handhabung einfordern. Im Projekt werden Studierende zum Prüfungsthema EKG mittels zwei Aufgaben an einem Tablet geprüft. Einem virtuell dargestellten Patienten müssen Elektroden angelegt werden (drag/drop). Nach Start des virtuellen EKG-Schreibers wird einer von vier EKG-Schrieben zur Analyse angezeigt und muss ausgewertet werden. Der Prüfling kann digitale Hilfestellungen erhalten und den Schrieb mit einem Stylus digital markieren und beschriften. Der prüferseitige Zusatzaufwand vor und während der Prüfung ist gering. Kein Prüfling zeigte Vorbehalte oder Unsicherheiten hinsichtlich der Technologie. Die Nutzung digitaler Medien kann auch in mündlichen quasipraktische Prüfungsszenarien ermöglichen. Diese Untersuchung basiert auf dem Fellowship-Projekt „Blended Assessments: Praktische und theoretische Fähigkeiten kombiniert prüfen.“ des Stifterverbands.

Abstract (für alle Formate)<br>Bitte vergessen Sie nicht<br> das Format unter<br>"Presentation type"<br> am Ende dieser<br>Seite anzugeben.

Hintergrund/Fragestellung

Zahlreiche Prüfungen bewegen sich auf reproduzierenden Wissens- oder Analyseebenen [1], obwohl die avisierten Kompetenzen an einer Handlungsfähigkeit ausgerichtet sind. Die Prüfung dieser praktischen Fertigkeiten ist aber meist aufwändigen Prüfungsformaten wie mündlich-praktischen Prüfungen oder OSPEs vorbehalten. Um diese Fertigkeiten auch niederschwellig, d.h. mit einem vertretbaren Zusatzaufwand, für größere Kohorten prüfen zu können, können mündliche Prüfungen mit digitalen Medien erweitert werden, die eine praxisnahe Handhabung einfordern. Somit besteht die Möglichkeit, die Ziele des Constructive Alignment [2] realitätsnäher umzusetzen, indem höhere Taxonomiestufen in die Prüfung integriert werden. Dieses Konzept stellt eine Basis des Fellowship-Projekt „Blended Assessments: Praktische und theoretische Fähigkeiten kombiniert prüfen.“ dar [3]. In diesem Projekt soll im Anschluss an eine Pilotphase zur Machbarkeit [4] geklärt werden, ob die Akzeptanz des Mediums eher transient ist, d.h. momentan von einer als modern empfundenen Digitalisierungswelle profitiert, oder ob sie beständig ist, d.h. das Tablet als sinnvolles Hilfsmittel einen objektiven Zusatznutzen liefert. Hier interessiert vor allem die Fragen, ob das erlangte Wissen überhaupt auf einer praktischen Ebene zur Verfügung steht, wie rational bzw. emotional Prüflinge diesem digitalen Medium begegnen und ob sich die Lerninhalte auf diese Art und Weise tiefer „verankern“.

Material/Methoden

Aachener Studierende der Natur- und Ingenieurwissenschaften, die im Rahmen einer Vertiefungsrichtung oder eines Nebenfachs die mündliche Prüfung zur Veranstaltung „Einführung in die Medizin“ (2 Sem V+P, 6 SWS) absolvieren, bearbeiten zum Prüfungsthema EKG zwei Aufgaben auf einem Tablet. Zunächst müssen einem virtuell dargestellten Patienten 3 Elektroden für ein EKG nach Einthoven angelegt werden (Verschiebung der drei Standardelektroden via drag/drop auf einem Touchscreen). Sofern alle Elektroden richtig positioniert wurden, wird nach Start des virtuellen EKG-Schreibers einer von vier zuvor festgelegten EKG-Schriebe zur Analyse präsentiert (physiologisches EKG, AV-Block 1., 2., 3. Grades). Der Prüfling kann in beiden Prüfungsabschnitten jeweils zweimal digitale Hilfestellung erhalten und den Schrieb mit einem Stylus digital markieren und beschriften. Während der Prüfung erfolgt die Beobachtung durch den Prüfungsbeisitz. Anschließend an die Prüfung wird der Prüfling um eine Selbstauskunft zur Wahrnehmung dieses Prüfungsteils gebeten. Mithilfe des User Experience Questionnaire (UEQ) [5], einem etablierten Fragebogen zur Erfassung der User Experience eines Produkts, werden die Daten zur Evaluierung dieses Prüfungsmodus erhoben.

Ergebnisse

Nach der ersten von zwei vorgesehenen Erhebungen stehen folgende Ergebnisse zur Verfügung:
1. Die technische Seite funktioniert reibungslos. Kein Student hatte Probleme mit der Bedienung, selbst unter Prüfungsstressbedingungen.
2. Das System wird akzeptiert. In den Freitextrückmeldungen des ausgeteilten Fragebogens wird die Ausdehnung auf andere Prüfungsbereiche, wie z.B. Anatomie oder Physiologie, angeregt.
3. Unsere Wahrnehmung war zu negativ. In der Analyse des UEQ ist sichtbar, dass wir prüferseits alle Merkmale zu vorsichtig bzw. zu pessimistisch eingeschätzt haben. Vor allem rangiert die aufgabenbezogene (pragmatische) Attraktivität bei den Prüflingen vor der nicht-aufgabenbezogenen (hedonischen) Attraktivität – im Gegensatz zu unserer Einschätzung.

Diskussion/Schlussfolgerung

Der prüferseitige Aufwand vor und während der Prüfung ist sehr gering. Keiner der Prüflinge zeigte Vorbehalte gegen die Technologie, noch bestanden Zweifel in der Bedienung des Systems. Die Nutzung digitaler Medien in Mündlichen Prüfungen kann auch in mündlichen Prüfungsszenarien ermöglichen, eine praktische Tätigkeit besser abzubilden und zudem die Studierenden im beruflichen Alltag, in dem diese digitalen Medien selbstverständlich sind, abzuholen.

Referenzen

[1] Krathwohl DR. A Revision of Bloom's Taxonomy: An Overview. Theory Into Practice 2002, Vol. 41(4):212-218 (DOI: 10.1207/s15430421tip4104_2)

[2] Biggs J. Enhancing teaching through constructive alignment. Higher Education 1996, Vol. 32(3):347-364 (DOI: 10.1007/BF00138871)

[3] Projekt im Rahmen der Fellowships für Innovationen in der Hochschullehre: Blended Assessments – Praktische und theoretische Fähigkeiten kombiniert prüfen (https://www.stifterverband.org/lehrfellows/2016/baumann), zuletzt aufgerufen am 15.10.2017

[4] Karami M, Baumann M. Practical Testing in Oral Exams. Biomed Tech 2014; 59 (s1). (DOI 10.1515/bmt-2014-5015)

[5] User Experience Questionnaire (http://www.ueq-online.org), zuletzt aufgerufen am 15.10.2017

3-5 Keywords (aus: Personalentwicklung,<br> Studiengangentwicklung,<br> Institutionalisierung/<br>Strukturentwicklung, Organisations-<br>entwicklung, Bildungs-<br>politik, HD Praxis,<br>Fachdidaktik/Fachkultur, <br> HD Grundlagenforschung, <br>Angewandte Forschung, <br> Wertediskurs, Internationalisierung,<br> Netzwerke, ggf. andere Schlüsselbegriffe)

Prüfung, Angewandte Forschung, HD Praxis

Primary authors

Prof. Martin Baumann (RWTH Aachen University, Applied Medical Engineering) Mr Michael Gundlach (RWTH Aachen University, Applied Medical Engineering)

Co-authors

Ms Anke Brocker (RWTH Aachen University, Media Computing Group) Ms Kim Haps (RWTH Aachen University, Applied Medical Engineering) Mr Mazdak Karami (RWTH Aachen University, Medien für die Lehre)

Presentation materials

Peer reviewing

Paper