Leitfaden E-Assessment

• Die elektronischen Fragen passen zu den spezifischen Lernzielen und geforderten Kompetenzen (siehe Modulbeschreibung). Fachbegriffe werden dann verwendet, wenn ihre Kenntnis zu den Lernzielen gehört. Beispiele für Kennen, Verstehen und Anwenden [JPG, 200 KB]
• Die Fragen entsprechen dem Niveau des Studienabschnitts (z. B. Studienvorbereitung, Bachelor, Master).
• Gefragt wird nur in begründeten Ausnahmefällen nach deklarativem bzw. Faktenwissen; der Regelfall ist die Frage nach prozeduralem bzw. Anwendungswissen. Solche Fragen werden eher mit "Wie" oder "Warum" eingeleitet als mit "Was" oder "Welche". Beispiele für prozedurales Wissen [JPG, 105 KB], Beispiel zur Fragegestaltung [JPG, 130 KB], Beispiel zur Anwendung [JPG, 150 KB]
• Im Bereich Faktenwissen wird häufig nach verschiedenen Eigenschaften eines Konzepts oder Gegenstands gefragt. Für den praktischen Anwendungsfall ist die umgekehrte Fragenlogik oder die Beurteilung eines gegebenen Lösungsweges, z. B. hinsichtlich der korrekten Reihenfolge der Schritte, realistischer. Beispiel [JPG, 207 KB]
• Anwendungsfragen können leichter variiert werden als Faktenfragen. Beispiel [JPG, 133 KB]
• Die Fragen enthalten keine offensichtlichen oder abwegigen Lösungsalternativen, die auch ohne Fachkenntnis richtig zu beantworten sind. Beispiel [JPG, 52 KB]
• Innerhalb der Fragen sind keine Hinweise auf richtige Lösungen enthalten (Achtung: Schlüsselbegriffe). Wichtig: Eine Frage darf auch keinen Hinweis auf die Lösung einer anderen Frage geben. Beispiel zum Lösungshinweis [JPG, 84 KB], Beispiel zum Schlüsselbegriff [JPG, 135 KB]
• Alle Hinweise, die zum richtigen Beantworten der Frage nötig sind (z. B. auf wie viele Nachkommastellen gerundet werden soll, Unterscheidung nach Groß- und Kleinschreibung), werden in der Aufgabe angegeben. Beispiel [JPG, 79 KB]
• Es werden normalerweise keine Negativfragen verwendet. Falls dies doch sinnvoll ist, wird die Verneinung optisch kenntlich gemacht. Beispiel [JPG, 69 KB]
• Die Gestaltung der Frage darf nicht vom eigentlichen Inhalt ablenken bzw. die Beantwortung unnötig erschweren. Irrelevante Informationen werden nur gegeben, wenn dies für die Frage didaktisch sinnvoll ist. Beispiel zur Ablenkung [JPG, 170 KB], Beispiel zu irrelevanten Informationen [JPG, 146 KB]
• Fragen des Typs „Was würden Sie machen?“ werden vermieden, da es darauf keine eindeutig richtige Antwort gibt. Beispiel [JPG, 146 KB]
• Vorsicht mit Abkürzungen!

• Komplexere Fragen werden entsprechend der Logik des Lösungsweges aufgebaut bzw. nehmen die (idealtypische) Herangehensweise an die Aufgabe auf. Beispiel [JPG, 209 KB]
• Nach Möglichkeit sollte die Frage einen Anwendungsbezug aufweisen, z. B. indem von einem typischen Fall oder Problem ausgegangen wird. Aus diesen Fragen können bei gleichbleibendem Schwierigkeitsgrad leicht Varianten erstellt werden. Beispiel [JPG, 75 KB], komplexe Anwendungsaufgabe

• Die Punkteverteilung hängt nicht von der Anzahl der richtigen Lösungen ab, sondern von der inhaltlichen Bedeutung und vom Schwierigkeitsgrad der Frage. Beispiel [JPG, 129 KB]
• Wenn es möglich und sinnvoll ist, werden Teilpunkte vergeben. Beispiel [JPG, 87 KB]
• Minuspunkte werden nicht vergeben. Vorsicht: Andernfalls kann die Prüfung rechtlich angefochten werden! Beispiel [JPG, 296 KB]
• Die zu erreichenden Punkte sollten den Testteilnehmenden angezeigt werden, um die Gewichtung der Fragen im Assessment deutlich zu machen. Dabei sollte darauf geachtet werden, dass dies keinen Hinweis auf die Anzahl der richtigen Lösungen gibt.
• Die Punkteverteilung sollte nach der Erstellung des Assessments vergleichend geprüft werden, so dass sie dem Schwierigkeitsgrad der einzelnen Fragen gerecht wird.
• Verwendet man mehr Fragen, die jeweils weniger Punkte bringen, erhält man ein differenzierteres Bild über das Wissen des Prüflings als mit wenigen Fragen, die jeweils viele Punkte bringen.
• Eine manuelle Nachkorrektur ist auch bei Fragen mit automatischer Auswertung möglich.

z. B. Multiple Choice, Multiple Response, Pull Down

• Fragen mit Antwortvorgaben fragen keine reinen Fakten (z. B. Definitionen) ab, sondern lassen
  • Wissen anwenden (z. B. Berechnungen durchführen),
  • Vorgehensweisen beurteilen (z. B. die Anwendung mathematischer oder naturwissenschaftlicher Gesetze),
  • Textpassagen interpretieren bzw.
  • Vorgehensweisen begründen. Beispiel [JPG, 204 KB]
• Jede Frage hat einen spezifischen Fokus und fragt nicht mehrere Aspekte ab. Beispiel [JPG, 156 KB]
• Solche Fragen enthalten Antwortalternativen, die dicht an der richtigen Antwort liegen, bzw. teilweise gängige Fehlkonzepte beinhalten. Die Antwortmöglichkeiten dürfen sich nicht überschneiden. Beispiel Antwortalternativen [JPG, 57 KB], Beispiel Überschneidung [JPG, 87 KB]
• Wenn möglich, sollten die Aufgaben so formuliert werden, dass alle Antwortmöglichkeiten vorgegeben sind (z. B. nicht lösbar – eindeutig lösbar – mehrdeutig lösbar). Beispiel [JPG, 41 KB]
• Die Antwortmöglichkeiten sind inhaltlich homogen, etwa gleich lang und gleich komplex. Wissenschaftliche Fachbegriffe sollten gleichmäßig über die Antwortalternativen verteilt sein. Beispiel Komplexität [JPG, 197 KB], Beispiel Homogenität [JPG, 59 KB]
• Die Antwortmöglichkeiten enthalten keine absoluten Aussagen, wie „nie“, „immer“. Beispiel [JPG, 187 KB]
• Alle Antwortmöglichkeiten passen grammatikalisch zur Frage. Daher sind Fragen eher zu empfehlen als zu vervollständigende Sätze. Beispiel [JPG, 157 KB]
• Die Fragen sollen auch ohne die vorgegebenen Antwortmöglichkeiten beantwortbar sein. Beispiel [JPG, 37 KB]
• Vorsicht bei gegenteiligen Antwortalternativen! Die Wahrscheinlichkeit, dass eine Antwort des Gegensatzpaares richtig ist, ist hoch (ggf. zwei Gegensatzpaare verwenden). Beispiel [JPG, 166 KB]
• Wird „keine der Antworten“ als Lösungsalternative verwendet, sollte diese auch bei einigen (wenigen) Fragen die richtige Antwort sein.
• Haben die Antwortalternativen eine innere Logik, sollten sie in dieser Reihenfolge angeordnet werden (z. B. Zahlenwerte aufsteigend, Begriffe alphabetisch). Beispiel [JPG, 58 KB]
• Wenn es inhaltlich sinnvoll ist, sollten die Antwortmöglichkeiten zufällig angeordnet werden (u. U. mit Ausnahme der Antwortmöglichkeit „keine der Antworten“). Ist das nicht möglich, muss darauf geachtet werden, dass die richtige Antwort nicht anhand eines Musters identifiziert werden kann. Beispiel [JPG, 218 KB]
• Mehrere Multiple-Choice-Fragen können zu einer Matrix-Frage zusammengefasst werden. Beispiel [JPG, 141 KB]
• Bei Multiple-Response-Fragen (Multiple-Choice-Fragen mit der Möglichkeit, mehrere Antworten zu wählen) sollten die richtigen Antworten insgesamt nicht überwiegen. Die Anzahl der richtigen Antworten sollte zwischen den Aufgaben variieren.
• Die Frage sollte ausführlich und die Antwortmöglichkeiten eher kurz sein, damit die Prüflinge die Alternativen besser abwägen und überblicken können. Beispiel [JPG, 63 KB]
• Sind Fragen mit Antwortvorgaben besonders umfangreich oder komplex, ist ein Kommentarfeld sinnvoll. Dies kann wichtige Hinweise auf Fehler oder missverständliche Formulierungen in der Aufgabe liefern.

z. B. Pull Down, Drag and Drop, Ranking - Diese Fragetypen sind im Prinzip auch Fragen mit Antwortvorgaben.

• Bei Zuordnungsfragen sollte es mehr Auswahlmöglichkeiten geben als tatsächlich zugeordnet werden können. So wird verhindert, dass das letzte Paar allein deswegen als richtig erkannt wird, weil es übrig geblieben ist. Beispiel [JPG, 47 KB]
• Die zuzuordnenden Elemente liegen inhaltlich dicht beieinander. Es sind keine abwegigen Alternativen vorhanden. Beispiel [JPG, 50 KB]
• Bei Ranking-Fragen sollte die Anzahl der anzuordnenden Begriffe überschaubar bleiben.
• Aus der Aufgabenstellung bei Ranking-Fragen sollte klar ersichtlich sein, ob absteigend oder aufsteigend geordnet werden soll. Dafür kann z. B. angegeben werden, welche Nummer welchem Rangplatz entspricht.

• Die Anzahl der Lösungskästchen gibt die Anzahl der Lösungen nicht vor, um durch die Gestaltung der Frage keine Hinweise auf die richtige Lösung zu geben. Beispiel [JPG, 121 KB]
• Bei numerischen Fragen ist es sinnvoll, eine möglicherweise vorhandene Einheit oder ein Prozentzeichen in der Frage hinter dem Lösungskästchen anzugeben. Die Erfahrung hat gezeigt, dass die Teilnehmenden sonst vielfach unsicher sind, ob sie die Einheit mit eintragen sollen oder nicht. Beispiel [JPG, 56 KB]
• Hierbei sind besonders genaue Hinweise, wie die Lösung einzutragen ist, wichtig, da der Prüfling bei solchen Fragen mehr Freiheiten für seine Antwort hat als bei Fragen mit Antwortvorgaben. Ist es technisch möglich und inhaltlich sinnvoll, sollten Einstellungen wie „Groß- und Kleinschreibung ignorieren“ oder „Fehlertoleranz“ gewählt werden. Beispiel [JPG, 37 KB]
• Die Anzahl der richtigen Antworten für jede Lücke sollte begrenzt sein. Andernfalls ist die Frage nur mit unzumutbarem Aufwand automatisch auswertbar. Beispiel [JPG, 312 KB]

• Fragen dieses Typs können zwar nicht automatisch ausgewertet werden, sie bringen in der Korrektur aber trotzdem eine deutliche Zeitersparnis aufgrund der besseren Lesbarkeit und Struktur der Eingaben.

• Fragen mit Antwortvorgaben sollten sparsam verwendet werden. Fragetypen, bei denen die Nutzenden aktiver werden müssen (z. B. Lücken ausfüllen), sind generell zu bevorzugen. Jedoch kommt es natürlich auch auf die Frage im Einzelnen an: Welche Art von Wissen/Kompetenz wird geprüft? Welche Anforderungen werden an die Testteilnehmenden gestellt?
• Möglich ist auch eine Kombination von elektronischen Prüfungsteilen mit anderen Prüfungsformaten, wie herkömmlichen Papierfragen, Belegarbeiten, Programmieraufgaben.
• Besonders wichtige Hinweise – z. B. zu erlaubten Hilfsmitteln, zur Nutzung externer Software sowie zu Schreibweisen – können auf einem gesonderten Blatt vor der Klausur bekannt gegeben werden.
• Die Möglichkeit der Zufallsauswahl kann bei E-Klausuren dazu genutzt werden, unterschiedliche Fragereihenfolgen zu erzeugen, so dass die Möglichkeit zum Abschreiben minimiert wird. Dabei muss darauf geachtet werden, dass die Fragen nicht voneinander abhängen bzw. eine bestimmte Reihenfolge erfordern.
• Eine Zufallsauswahl aus einem Pool von Prüfungsfragen ist nur zulässig, wenn die Fragen vom Schwierigkeitsgrad und der Bepunktung her gleichwertig sind. Vorsicht: Andernfalls kann die Prüfung rechtlich angefochten werden!
• Die Studierenden sollten vor der Prüfung die Möglichkeit erhalten, sich mit dem E-Prüfungssystem vertraut zu machen, z. B. anhand einer Probeklausur. Der E-Assessment-Service stellt hierfür zwei Varianten einer fachunabhängigen Beispielklausur zur Verfügung:
  • Fragen nacheinander angeordnet
  • Fragen untereinander angeordnet
• Grundsätzlich sollte es möglich sein, während der gesamten Prüfungszeit alle Aufgaben zu bearbeiten. Wenn allerdings Ergebnisse der ersten Fragen zur Bearbeitung weiterer Aufgaben vorgegeben werden, darf es nicht möglich sein, zu den früheren Fragen zurückzuspringen.
• Bei Klausuren gibt ein Kommentarfeld den Studierenden die Möglichkeit, auf Schwierigkeiten bei der Beantwortung von Fragen hinzuweisen.

• Es hat sich bei nicht-prüfungsrelevanten Tests bewährt, kürzere Tests (ca. 5 Fragen zu einem abgegrenzten und benannten Thema) anzubieten, da die Teilnehmenden den Test sonst oft abbrechen. Um Lernabschnitte und Tests aufeinander abzustimmen, können ggf. mehrere kurze Selbsttests integriert werden oder die Lernabschnitte entsprechend in kürzere Einheiten gegliedert werden.
• Bei einem hinreichend großen Fragenpool können durch Zufallsauswahl verschiedene Testvarianten für die mehrfache Verwendung generiert werden, ohne dass die Ergebnisse allein dadurch besser werden, weil sich die Teilnehmenden an die richtigen Lösungen erinnern.
• Selbsttests stellen ein nach Themengebieten differenziertes Gesamtfeedback sowie ein aussagekräftiges Feedback für jede Frage zur Verfügung und geben damit eine Empfehlung zur weiteren Vorgehensweise.
• Auch das Fragenfeedback sollte erst am Ende des Tests, nicht nach jeder Frage gegeben werden, da auf diese Weise beim Lesen des Feedbacks eine weitere Auseinandersetzung mit dem Thema bzw. eine weitere Wiederholung stattfindet.
• Das Fragenfeedback ist ausführlich und differenziert nach richtigen, teilrichtigen und falschen Antworten. Bei nicht richtigen Antworten sollte auf häufige Fehlkonzepte bzw. dysfunktionale Vorgehensweisen hingewiesen werden.

• Bei Klausuren sollte zusätzlich zur Lehrperson ein technisch Verantwortlicher anwesend sein. Wird die Klausur in zwei Räumen geschrieben, ist mindestens eine dritte Aufsichtsperson nötig.
• Bei Klausuren sollten für die technische Einführung fünf Minuten zusätzlich zur Bearbeitungszeit eingeplant werden.