Viele Lehrende nutzen bei der Prüfungserstellung und der Verwaltung von Prüfungsfragen für Präsenzprüfungen Tools wie Microsoft Office. Da fällt es oft schwer, den Überblick über alle Fragen zu behalten, alle auf dem neuesten Stand zu halten bzw. neue Varianten abzuleiten. Noch komplizierter wird es, wenn mehrere Personen an der Prüfungserstellung beteiligt sind.

Genau dieser Herausfordernung nimmt sich das Tool Teach Center Exam an, eine Instanz der Lehr- und Lernplattform TeachCenter. Durch Anwendung des neuen Tools Exam Printer können Prüfungsfragen einfach von allen berechtigten Personen erstellt, editiert und verwaltet werden.

Mit dem Exam Printer können aus bestehenden Fragensammlungen Präsenzprüfungsbögen generiert und als PDF exportiert werden.

Die Nutzung der Fragensammlung im TeachCenter Exam bietet folgende Vorteile:

• Gewohnte TeachCenter-Umgebung für Lehrende der TU Graz zur Fragenerstellung und -Verwaltung
• Datensicherheit und Datenschutz in Bezug auf die Fragensammlung
• Zugriffsrechte auf die Fragensamlung gezielt vergeben
• Nutzung von bestehenden Fragensammlungen (ebenso von Online-Prüfungen)
• Nutzung verschiedenster Fragetypen (Freitext, Multiple Choice, parametrisierte Berechnung etc.)
• Strukturierte Fragensammlung (Kategorien, Tags)
• Versionierung der Fragen und Fragestatistiken zur kontinuierlichen Verbesserung der Qualität

Durch den Einsatz des Exam Printer-Tools ergeben sich weitere Vorteile:

• Nutzen der TeachCenter-Fragensammlung auch für Präsenzprüfungen
• Prüfung einmalig konfigurieren und auf Knopfdruck
• Präsenzprüfungsbögen mit Zufallsfragen generieren
• Hinterlegen und Drucken von Musterlösungen
• Individuelle Gestaltung des Prüfungsbogens

Der Weg zur Fragensammlung für Anwender*innen

Die Erstellung und Verwaltung von Prüfungsfragen erfolgt direkt in der Fragensammlung des TeachCenter (Exam), was eine zentrale Zugänglichkeit für alle Beteiligten (auch institutsübergreifend) erlaubt. Bei jeder Frage kann zudem die Musterlösung direkt im Anschluss an den Fragentext im Feld „Allgemeines Feedback“ oder „Bewerterinformation“ hinterlegt werden (Abb. 1). Möchte man später über den Exam Printer eine ganze Prüfung samt Musterlösung als Vorlage zur Bewertung exportieren, wird diese ebenso automatisch erstellt.

Werden bei der anfänglichen Erstellung der Fragen entsprechende Tags verwendet, kann man die eigene Fragensammlung spezifisch gliedern. Weiters ist bei der Prüfungserstellung, d. h. beim Hinzufügen von (Zufalls-)Fragen zu einer konkreten Test-Aktivität, das Filtern nach Tags möglich.

„answertime:x“ ist der wichtigste Tag, wobei x für die Beantwortungszeit in Minuten steht. Ist dieser Tag für alle in einer Prüfung verwendeten Fragen hinterlegt, zeigt das Exam Printer Tool die prognostizierte Gesamtzeit an. Das ist ein gutes Indiz dafür, ob die erstellte Prüfung in der vorgegebenen Prüfungszeit schaffbar ist.

Um den Schwierigkeitsgrad und die Schwerpunktssetzung der Prüfung bei der Erstellung besser erfassen zu können, können beispielsweise die Tags „difficulty:y“ und „type:z“ zugewiesen. Der zugewiesene Schwierigkeitsgrad y ist grundlegend für die Vergleichbarkeit von Prüfungen unterschiedlicher Termine, um ein gleichbleibendes Niveau zu gewährleisten. Z als charakterisierender Typ kann dabei spezifisch an die Lehrveranstaltung angepasst werden. Zentral empfehlen sich Typen wie calculation oder sketch. Weitere Tags können bei Bedarf frei ergänzt werden.

Neben Tags kann auch die ID-Nummer einer Frage hilfreich in der Erstellung sein. Insbesondere um die Frequenz der gestellten Frage über längere Zeiträume zu quantifizieren.

Ableitung einer Prüfung aus der Fragensammlung

Sollen die Prüfungsbögen später für eine Präsenzprüfung gedruckt werden, wird zuerst im TeachCenter-(Exam-)Kurs eine Test-Aktivität erstellt. Wie bei Online-Prüfungen werden auch bei späterer Nutzung des Exam Printers die Gliederung in verschiedene Abschnitte und Seiten vorgenommen und jedem Abschnitt beliebig viele Fragen aus der Fragensammlung zugeordnet (Abb. 2). Wie in den Beispielen ersichtlich, kann bei der Strukturierung auf die spezifischen Prüfungsanforderungen eingegangen werden. Nun müssen im Exam Printer nur noch die PDF-Exporteinstellungen vorgenommen werden. Zum Beispiel können hier das Deckblatt bearbeitet und Formatierungseinstellungen für Fragen festgelegt werden. Ist alles konfiguriert, kann mit einem einzelnen Klick eine Präsenzprüfung generiert werden. Eine Schritt-für-Schritt-Anleitung für den Exam Printer finden Sie auf der TELucation-Website.

Fragensammlung nach Zufallsprinzip

Eine weitere Automatisierungsmöglichkeit im Prüfungserstellungsprozess: Anstatt selbst ausgewählter Fragen können Zufallsfragen als Platzhalter in der Test-Aktivität hinzugefügt werden (Abb. 3). Damit die später daraus abgeleitete Prüfung mit konkreten Fragen möglichst genau auf die eigenen Anforderungen abgestimmt ist, kann die Zufallsfrage nach Fragekategorien und Tags gefiltert werden. Im Exam Printer wird nun mit einem Klick aus dieser Vorlage mit Zufallsfragen eine spezifische Prüfung erstellt, in der konkrete Fragen aus der Fragensammlung enthalten sind. Passt die Auswahl nicht, kann man ausgewählte Fragen austauschen, löschen oder neue Fragen hinzufügen. Abschließend kann der Prüfungsbogen sowie die Musterlösung als PDF exportiert werden (Abb. 4).

Ist eine Vorlage mit Zufallsfragen und den entsprechenden Exporteinstellungen einmal erstellt, können zukünftige Prüfungen mit einem Klick automatisch erstellt werden – eine große Zeitersparnis in der Prüfungserstellung.

Das sagen Anwender*innen

Mit der Anwendung des Exam Printers konnten wir am Institut nicht nur unsere Prozesse in der Lehre effizienter gestalten, sondern haben im Zuge der Nutzung des Tools auch die Prüfungsfragenerstellung optimiert. Eine definierte Methode und die konsequente Nutzung von Tags erleichtern die Verwaltung der Prüfungsfragensammlung und Prüfungszusammenstellung. In Summe verbessert der Exam Printer sowohl die Abläufe für Lehrende als auch die Qualität der Prüfungen für Studierende.

DI Clemens Faustmann, Institut für Maschinenelemente und Entwicklungsmethodik, 2024

Die Kombination von Exam Management und Exam Printer ist eine wertvolle Ergänzung in der Prüfungserstellung. Durch die Vorbereitung von standardisierten Templates, abgestimmt auf die jeweilige Lehrveranstaltung, kann die Grundform einer neuen Prüfung zeiteffizient generiert werden, ohne dass diese repetitiv gleichbleibt. Durch das Setzen entsprechender Tags ist die Überarbeitung dieser Grundform ebenso effizient möglich und nach wenigen Anpassungen ist die Prüfung auch schon fertig. Sicherlich ein Tool das im Bereich der Lehre Fuß fassen wird. Gerade im akademischen Umfeld wird es die notwendigen Kapazitäten für die Handhabe von Prüfungen reduzieren, ohne dabei Qualitätsverluste verantworten zu müssen.

Daniel Berger, BSc, Institut für Maschinenelemente und Entwicklungsmethodik, 2024

Ich biete für zwei Lehrveranstaltungen regelmäßig ca. 10 Prüfungstermine pro Jahr an und bei Bedarf schiebe ich auch einen Prüfungstermin ein. Nachdem ich die Fragensammlung mit Musterlösungen im TeachCenter mit starker Unterstützung unserer Studienassistenten erstellt habe, ist es mit dem Exam Printer auf Knopfdruck möglich, innerhalb weniger Minuten eine völlig neue Prüfung zu erstellen. In der Regel gehe ich die Fragen dann noch einmal durch, überprüfe, ob sie verständlich sind und die nötigen Bilder und Diagramme beinhalten. Danach drucke ich Prüfung und Musterlösung aus und bin nach längstens 20 Minuten bereit für die Prüfung. Mit dem Exam Printer habe ich nun ein sehr gut funktionierendes Werkzeug um mit sehr wenig Aufwand, schnell faire Prüfungen bereitstellen zu können.

Univ.-Prof. Norbert Enzinger, Institut für Werkstoffkunde, Fügetechnik und Umformtechnik, 2024