ILIAS der Justus-Liebig-Universität Gießen
  • Anmelden
Baumansicht ein

Brotkrumen-Navigation

Symbol Kategorie

Test und Fragenpool für Tests

ILIAS
Erstellen und verwalten
Zur Überprüfung des Lernerfolgs können Sie in ILIAS Tests einsetzen. Tests sind eigenständige Objekte und können außerhalb und innerhalb von Lerneinheiten im Magazin erstellt werden. Über das Drop-Down-Menü in der oberen rechten Ecke können Sie einen neuen Test hinzufügen. Auf der folgenden Seite können Sie dann auswählen, ob sie einen neuen Test erstellen, einen Test importieren oder einen bereits auf der Installation bestehenden Test kopieren wollen.
Fragenpools für Tests
Ein Fragenpool dient als Container für Fragen und muss angelegt werden, bevor ein Test erstellt werden kann. In einem Test können Sie Fragen aus verschiedenen Fragenpools verwenden. Wenn Sie einen Test importieren, müssen Sie die beinhalteten Fragen einem ihrer Fragenpools zuweisen. Möchten Sie, dass diese separat verfügbar sind, müssen Sie einen entsprechenden Fragenpool vor dem Import anlegen.
Fragenpools wiederverwenden
Fragen aus Fragenpools können in beliebig vielen Tests wieder verwendet werden. Sie könnten zum Beispiel für verschiedene Thematiken separate Fragenpools anlegen und diese dann in Tests kombinieren. Hier ist es ebenfalls möglich diese Fragen zufällig auswählen zu lassen, sie können dabei aber bestimmen, wieviele Fragen aus jedem Fragenpool verwendet werden sollen.
(Quelle: demo.ilias.de)

Dokumentation

  • Benutzerdokumentation für ILIAS 5.0: Benutzerdokumentation » 4 Die Arbeit mit verschiedenen Typen von Lernobjekten » 4.6 Tests bearbeiten
  • Benutzerdokumentation für ILIAS 5.0: Dokumentation für Autoren » 14 Tests erstellen und verwalten

Beispiele

Tests

Symbol Test
Demo-Test mit allen automatisch auswertbaren ILIAS-Fragetypen.
Symbol Test
mit Zufallsfragen aus dem Beispiel-Fragenpool
Symbol Test
mit Zufallsfragen aus dem Beispiel-Fragenpool
Symbol Test
Ein Test mit rein fiktiven Fragen und fiktiven Antworten

Fragenpools für Tests

Symbol Fragenpool für Tests
Wenn Sie in ILIAS eingeloggt sind, können Sie diesen Fragenpool selber um weitere Fragen erweitern, die Ihnen dann ggf. in einem erneuten Durchlauf des Beispiel-Selbsttests oder der Beispiel-E-Klausur gestellt werden.

Didaktische Szenarien und Methoden

Methoden

Symbol Kategorielink
E-Klausuren sind i.d.R. als Abschlussprüfung einer Lehrveranstaltung oder eines Moduls geeignet und fallen in die Kategorie der
Symbol Kategorielink
Sogenannte formative Tests begleiten den Lernprozess der Studierenden und können automatisiert ausgewertet werden.

Weiterführende Materialien

Weiterführende Materialien und Informationen

Symbol Datei
Leitfaden zu Prüfungsdidaktik, Fragengestaltung, Prüfungsrecht usw.
pdf   2,5 MB   16. Nov 2015, 14:41  
Symbol Weblink

E-Klausuren an Hochschulen : Didaktik – Technik – Systeme – Recht – Praxis

Michael Vogt, Stefan Schneider (2009)
Um dieses Objekt zu nutzen, müssen Sie angemeldet sein und entsprechende Zugriffsrechte besitzen.  
Symbol Datei
Die im Rahmen des Projekts „WM³ Weiterbildung Mittelhessen“ entstandene Broschüre beantwortet Ihnen erste Fragen.
pdf   4,3 MB   16. Mär 2015, 10:42  
Symbol Weblink
Handbücher des Instituts für Medizinische Lehre der Universität Bern, Abteilung für Assessment und Evaluation
Symbol Lernmodul ILIAS
 

Tipps und Tricks

Erstellung numerischer Fragen mit dezimalen Schranken
Bei numerischen Fragen kann man als Lösung über die Eingabe einer unteren und einer oberen Schranke ein Intervall festlegen, in dem sich die vom Prüfling eingegebene Antwort bewegen darf. Dies ist beispielsweise sinnvoll, um mögliche Rundungsfehler bei gestellten Rechenaufgaben abzufangen.
 
Sollen in einer numerischen Frage Dezimalzahlen als Schranken verwendet werden, so müssen diese bei der Fragenerstellung immer mit Dezimalpunkt (nicht mit Komma) eingegeben werden.
Dem Prüfling steht es bei der Eingabe der Antwort allerdings frei, ob er einen Dezimalpunkt oder ein Komma verwendet. Das System wandelt beim Abschicken der Antwort ein Komma automatisch in einen Dezimalpunkt um und vergleicht sie anschließend mit den eingegebenen Schranken.
 
Wenn man bei der Fragenerstellung bei der Eingabe der Schranken fälschlicherweise ein Komma eingibt, wird hier zwar nach dem Speichern der Frage auch ein Punkt angezeigt (dies ist ein Bug in ILIAS), im System ist allerdings dennoch ein Komma hinterlegt, was dazu führt, dass der Vergleich einer vom Prüfling eingegebenen Antwort mit den Schranken fehlschlägt und der Prüfling für die Frage 0 Punkte bekommt, selbst wenn die eingegebene Antwort richtig gewesen wäre.
Numerische Frage mit dezimalen Schranken (Erstellung)
Numerische Frage mit dezimalen Schranken (Erstellung)
 
 
 
 
 
\(\Longrightarrow\)
Numerische Frage mit dezimalen Schranken (Vorschau)
Numerische Frage mit dezimalen Schranken (Vorschau)
Erstellung von Anordnungsfragen
Anordnungsfragen werden nur dann als korrekt gewertet, wenn die komplette Anordung der Terme korrekt ist. Bei einzelnen Vertauschungen gibt es keine Teilpunkte.
Beispiel:
Ordnen Sie die Wörter alphabetisch in aufsteigender Reihenfolge an:
Nagel, Auto, Musik, Eimer, Tisch, Stuhl
Auto
Eimer
Musik
Nagel
Stuhl
Tisch
Tisch
Nagel
Auto
Musik
Eimer
Stuhl
Auto
Eimer
Nagel
Musik
Stuhl
Tisch
ist richtig und
ergibt 6 Punkte
ist falsch und
ergibt 0 Punkte
ist falsch und
ergibt 0 Punkte
(keine 4 Teilpunkte)
Daher empfiehlt es sich - abhängig von dem Fachgebiet und der konkreten Fragestellung - keine Anordnungsfragen mit mehr als 5 Termen zu verwenden. Ggf. sollte geprüft werden, ob sich bei einer Fragestellung mit einer größeren Anzahl von Termen nicht besser eine Zuordnungsfrage eignet.
Beispiel:
Ordnen Sie die Wörter alphabetisch in aufsteigender Reihenfolge an:
Nagel, Auto, Musik, Eimer, Tisch, Stuhl
1.
2.
3.
4.
5.
6.
Auto
Eimer
Musik
Nagel
Stuhl
Tisch
1.
2.
3.
4.
5.
6.
Tisch
Nagel
Auto
Musik
Eimer
Stuhl
1.
2.
3.
4.
5.
6.
Auto
Eimer
Nagel
Musik
Stuhl
Tisch
ist richtig und
ergibt 6 Punkte
ist falsch und
ergibt 0 Punkte
ist aufgrund der
Vertauschung
nur z.T. richtig und
ergibt 4 Punkte
Erstellung von Zuordnungsfragen

Zuordnungsmodus: Ein Term kann einer Definition zugeordnet werden (1:1)

Bei Zuordnungsfragen mit 1-zu-1-Zuordnung muss eine Zuordnung immer eindeutig sein.
Beispiel:
Darüber hinaus können Zuordnungsfragen mit Distraktoren angereichert werden, d.h. solchen Termen, die keiner Definition zuordenbar sind.
Bei der Fragenerstellung empfiehlt es sich - um die Übersicht zu behalten - die Distraktoren ans Ende zu stellen, da die Terme in den meisten Fällen ja ohnehin durchmischt werden sollten.
Beispiel:
Bewertung von Multiple-Choice-Fragen
Bei der Bewertung der Antwort-Optionen einer Multiple-Choice-Frage gibt es insgesamt vier Fälle, die man unterscheiden muss:
  • eine richtige Antwort, die vom Testteilnehmer ausgewählt wurde
  • eine richtige Antwort, die vom Testteilnehmer nicht ausgewählt wurde
  • eine falsche Antwort, die vom Testteilnehmer ausgewählt wurde
  • eine falsche Antwort, die vom Testteilnehmer nicht ausgewählt wurde
Die Bewertung einer richtigen Antwort, die vom Testteilnehmer ausgewählt wurde, sollte identisch sein mit der Bewertung einer falschen Antwort, die vom Testteilnehmer nicht ausgewählt wurde ("Bonus").
Umgekehrt sollte die Bewertung einer richtigen Antwort, die vom Testteilnehmer nicht ausgewählt wurde, identisch sein mit der Bewertung einer falschen Antwort, die vom Testteilnehmer ausgewählt wurde ("Malus").
Technisch lässt sich bei jeder Antwort-Option die Bewertung individuell einstellen, je nachdem, ob die Antwort-Option ausgewählt oder nicht ausgewählt wurde. Eine solch individuelle Einstellung ist allerdings sowohl fehleranfällig als auch gefährlich.
Um die Bewertungseinstellungen zu vereinfachen und zu vereinheitlichen, möchten wir hier 4 verschiedene, etablierte Bewertungsschemata vorstellen, die abhängig von dem Testszenario (Selbsttest, Einstufungstest, E-Klausur etc.), der Art der Fragestellung und ggf. weiteren Kriterien eingesetzt werden können.

Bewertungsschemata

  • Volle Punktzahl (VP)
    Alles oder nichts: Die volle Punktzahl wird vergeben, wenn alle Antwort-Optionen korrekt ausgewählt (bzw. nicht ausgewählt) wurden. Bei mindestens einem Fehler gibt es 0 Punkte.
    Bereits mit einer falschen Antwort macht man sich alle richtigen Antworten kaputt. Daher ist von diesem Bewertungsschema eher abzuraten, insbesondere bei mehr als 4 Antwort-Optionen.
    Bitte beachten Sie: Eine Vergabe von Teilpunkten (s.u.) führt in der Regel zu einer gerechteren und differenzierteren Bewertung.
    Im Gegensatz hierzu werden bei VP TeilnehmerInnen, die fast alles wissen (nur eine Antwort falsch haben), gleich gesetzt mit TeilnehmerInnen, die gar nichts wissen (alle Antworten falsch haben). Die A-priori-Wahrscheinlichkeit bei einer MC-Frage die volle Punktzahl zu erreichen liegt im Übrigen bei \( \frac{1}{2^n} \), d.h. bei z.B. 4 Antwort-Optionen läge die A-priori-Wahrscheinlichkeit bei nur 0,0625 %, dass man die volle Punktzahl erreicht. Im Umkehrschluss bedeutet dies, dass bei der Auswahl des Bewertungsschemas VP die A-priori-Wahrscheinlichkeit bei einer Frage mit 0 Punkten rauszugehen bei 99,9375 % liegt.
  • Halbpunktebewertung (HP)
    Bei genau einem Fehler wird die Hälfte der Gesamtpunktzahl vergeben. Bei mehr Fehlern gibt es 0 Punkte.
    Je nach Kontext (s.o.) bei mehr als 4 Antwort-Optionen nicht zu empfehlen, da das Bewertungsschema nicht mit der Anzahl der Antworten skaliert.
  • Empfehlung
    für E-Klausuren
    Automatische Teilpunktebewertung mit Punktabzug (ATP)
    Für jede korrekt ausgewählte (bzw. nicht ausgewählte) Antwort-Option werden gleichmäßig Teilpunkte der Gesamtpunktzahl vergeben. Bei falsch ausgewählten (bzw. nicht ausgewählten) Antwort-Optionen werden die Teilpunkte abgezogen.
    Sehr gerechtes und flexibles Bewertungsschema mit niedriger Ratewahrscheinlichkeit. Insbesondere zu empfehlen, wenn die Anzahl der Antwort-Optionen bei den Fragen des zugehörigen Tests sehr stark variiert, da das Bewertungsschema mit der Anzahl der Antworten skaliert.
  • Empfehlung
    für Selbsttests
    Automatische Teilpunktebewertung ohne Punktabzug (AT)
    Für jede korrekt ausgewählte (bzw. nicht ausgewählte) Antwort-Option werden gleichmäßig Teilpunkte der Gesamtpunktzahl vergeben. Bei falsch ausgewählten (bzw. nicht ausgewählten) Antwort-Optionen werden keine Punkte abgezogen.
    Empfohlen in erster Line für Selbsttests, da bei zufällig ausgewählten Antwort-Optionen die Wahrscheinlichkeit höher ist noch Teilpunkte zu erreichen, d.h. die Ratewahrscheinlichkeit ist vergleichsweise hoch.

Wichtige Voraussetzungen für die Anwendung der Bewertungsschemata

  • Die Antwort-Optionen müssen eindeutig richtig oder falsch sein.
  • Die Antwort-Optionen müssen unabhängig voneinander sein.
  • Die Antwort-Optionen sollten gleichwertig/gleich bedeutsam im Bezug auf die Gesamtfragestellung sein.
Im Folgenden finden Sie die Bewertungseinstellungen zu den verschiedenen Bewertungsschemata im Vergleich, abhängig von der Anzahl der Antwort-Optionen. Als Gesamtpunktzahl wurde hier der Einfachheit halber die Anzahl der Antwort-Optionen genommen (Bonus = 1). Je nach Schwierigkeitsgrad einer Fragestellung kann und sollte die Gesamtpunktzahl einer Frage im konkreten Fall natürlich variieren.
3 Antwort-Optionen
Gesamtpunktzahl: 3 (1 Teilpunkt pro korrekt ausgewählter (bzw. nicht ausgewählter) Antwort-Option, Bonus = 1)
VP
HP
ATP
AT
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
richtige Antwort
1
-2
1
-0.5
1
-1
1
0
richtige Antwort
1
-2
1
-0.5
1
-1
1
0
falsche Antwort
-2
1
-0.5
1
-1
1
0
1
Punktzahl, wenn alles richtig:
3
3
3
3
Punktzahl bei 1 Fehler:
0
1.5
1
2
Punktzahl bei 2 Fehlern:
0
0
0
1
4 Antwort-Optionen
Gesamtpunktzahl: 4 (1 Teilpunkt pro korrekt ausgewählter (bzw. nicht ausgewählter) Antwort-Option, Bonus = 1)
VP
HP
ATP
AT
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
richtige Antwort
1
-3
1
-1
1
-1
1
0
richtige Antwort
1
-3
1
-1
1
-1
1
0
falsche Antwort
-3
1
-1
1
-1
1
0
1
falsche Antwort
-3
1
-1
1
-1
1
0
1
Punktzahl, wenn alles richtig:
4
4
4
4
Punktzahl bei 1 Fehler:
0
2
2
3
Punktzahl bei 2 Fehlern:
0
0
0
2
Die grün hervorgehobenen Bewertungseinstellungen entsprechen dem Bewertungsschema einer k'Prim-Frage, bei der immer genau vier Antwort-Optionen zur Auswahl stehen.
Ab ILIAS 5.0 (voraussichtlich zum WiSe 2015/16) steht k'Prim auch als eigener Fragentyp zur Verfügung (siehe auch Multiple Choice Fragentyp „Kprim“ in ILIAS integriert).
5 Antwort-Optionen
Gesamtpunktzahl: 5 (1 Teilpunkt pro korrekt ausgewählter (bzw. nicht ausgewählter) Antwort-Option, Bonus = 1)
VP
HP
ATP
AT
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
richtige Antwort
1
-4
1
-1.5
1
-1
1
0
richtige Antwort
1
-4
1
-1.5
1
-1
1
0
richtige Antwort
1
-4
1
-1.5
1
-1
1
0
falsche Antwort
-4
1
-1.5
1
-1
1
0
1
falsche Antwort
-4
1
-1.5
1
-1
1
0
1
Punktzahl, wenn alles richtig:
5
5
5
5
Punktzahl bei 1 Fehler:
0
2.5
3
4
Punktzahl bei 2 Fehlern:
0
0
1
3
6 Antwort-Optionen
Gesamtpunktzahl: 6 (1 Teilpunkt pro korrekt ausgewählter (bzw. nicht ausgewählter) Antwort-Option, Bonus = 1)
VP
HP
ATP
AT
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
richtige Antwort
1
-5
1
-2
1
-1
1
0
richtige Antwort
1
-5
1
-2
1
-1
1
0
richtige Antwort
1
-5
1
-2
1
-1
1
0
falsche Antwort
-5
1
-2
1
-1
1
0
1
falsche Antwort
-5
1
-2
1
-1
1
0
1
falsche Antwort
-5
1
-2
1
-1
1
0
1
Punktzahl, wenn alles richtig:
6
6
6
6
Punktzahl bei 1 Fehler:
0
3
4
5
Punktzahl bei 2 Fehlern:
0
0
2
4
Punktzahl bei 3 Fehlern:
0
0
0
3
8 Antwort-Optionen
Gesamtpunktzahl: 8 (1 Teilpunkt pro korrekt ausgewählter (bzw. nicht ausgewählter) Antwort-Option, Bonus = 1)
VP
HP
ATP
AT
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
richtige Antwort
1
-7
1
-3
1
-1
1
0
richtige Antwort
1
-7
1
-3
1
-1
1
0
richtige Antwort
1
-7
1
-3
1
-1
1
0
richtige Antwort
1
-7
1
-3
1
-1
1
0
falsche Antwort
-7
1
-3
1
-1
1
0
1
falsche Antwort
-7
1
-3
1
-1
1
0
1
falsche Antwort
-7
1
-3
1
-1
1
0
1
falsche Antwort
-7
1
-3
1
-1
1
0
1
Punktzahl, wenn alles richtig:
8
8
8
8
Punktzahl bei 1 Fehler:
0
4
6
7
Punktzahl bei 2 Fehlern:
0
0
4
6
Punktzahl bei 4 Fehlern:
0
0
0
4
10 Antwort-Optionen
Gesamtpunktzahl: 10 (1 Teilpunkt pro korrekt ausgewählter (bzw. nicht ausgewählter) Antwort-Option, Bonus = 1)
VP
HP
ATP
AT
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
richtige Antwort
1
-9
1
-4
1
-1
1
0
richtige Antwort
1
-9
1
-4
1
-1
1
0
richtige Antwort
1
-9
1
-4
1
-1
1
0
richtige Antwort
1
-9
1
-4
1
-1
1
0
richtige Antwort
1
-9
1
-4
1
-1
1
0
falsche Antwort
-9
1
-4
1
-1
1
0
1
falsche Antwort
-9
1
-4
1
-1
1
0
1
falsche Antwort
-9
1
-4
1
-1
1
0
1
falsche Antwort
-9
1
-4
1
-1
1
0
1
falsche Antwort
-9
1
-4
1
-1
1
0
1
Punktzahl, wenn alles richtig:
10
10
10
10
Punktzahl bei 1 Fehler:
0
5
8
9
Punktzahl bei 2 Fehlern:
0
0
6
8
Punktzahl bei 5 Fehlern:
0
0
0
5
n Antwort-Optionen (verallgemeinerte Formel)
Gesamtpunktzahl: \(n \cdot x\) mit \(n\) = Anzahl der Antwort-Optionen (\(x\) Teilpunkte pro korrekt ausgewählter (bzw. nicht ausgewählter) Antwort-Option, Bonus = \(x\))
VP
HP
ATP
AT
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
Ausgewählt
Nicht
ausgewählt
richtige Antwort
\(x\)
\(f_n(x)\)
\(x\)
\(f_n(x)\)
\(x\)
\(-x\)
\(x\)
\(0\)
falsche Antwort
\(f_n(x)\)
\(x\)
\(f_n(x)\)
\(x\)
\(-x\)
\(x\)
\(0\)
\(x\)
Punktzahl, wenn alles richtig:
\(n \cdot x\)
\(n \cdot x\)
\(n \cdot x\)
\(n \cdot x\)
Punktzahl bei 1 Fehler:
\(0\)
\(n \cdot x\ /\ 2\)
\((n-2) \cdot x\)
\((n-1) \cdot x\)
Punktzahl bei \(n/2\) Fehlern:
\(0\)
\(0\)
\(0\)
\((n-2) \cdot x\)
Berechnung des Malus abhängig vom Bonus \(x\) und der Anzahl der Antworten \(n\):
VP:
\(f_n(x)\)
=
\(-(n-1) \cdot x\)
mit \(n\) = Anzahl der Antwort-Optionen
HP:
\(f_n(x)\)
=
\(-(n-2) \cdot x\ /\ 2\)
mit \(n\) = Anzahl der Antwort-Optionen
ATP:
\(f(x)\)
=
\(-x\)
AT:
\(f(x)\)
=
\(0\)
Test-Einstellungen
Empfohlene Einstellungen für Tests zur Lernbegleitung
...
Allgemeine Einstellungen
Auswertung
Alternative Feedback-Einstellungen:
Fragenspezifische Hinweise zur Beantwortung einer Frage
Sofortige Rückmeldung nach Beantwortung einer Frage ("Prüfen"-Button)
Ergebnisanzeige und Rückmeldungen erst nach Beendigung des Tests
Anzeige von Musterlösungen nach Beendigung des Tests
Empfohlene Einstellungen für Zugangs- oder Einstufungstests
...
Allgemeine Einstellungen
Auswertung
Empfohlene Einstellungen für Tests als authentische Vorbereitung zu einer E-Klausur
...
Allgemeine Einstellungen
Allgemeine Einstellungen
Allgemeine Einstellungen
Auswertung (für E-Klausuren ohne Einsichtnahme)
Auswertung
Auswertung
Auswertung (für E-Klausuren mit Einsichtnahme)
Auswertung
Auswertung
Eingabe eines Notenschemas
Bestanden/Nicht bestanden (Standardeinstellung, für Selbsttests)
Notenschema mit zwei Notenstufen: "bestanden" und "nicht bestanden".
Die Bestehensgrenze liegt standardmäßig bei 50%, kann aber beliebig verändert werden.
Notenschema
Notenschema
Notenschema gemäß den "Allgemeinen Bestimmungen für modularisierte und gestufte Studiengänge" der JLU Gießen (für E-Klausuren)
Notenschema mit sechs Notenstufen gemäß den "Allgemeinen Bestimmungen für modularisierte und gestufte Studiengänge" der Justus-Liebig-Universität Gießen, vgl.
Notenschema
Notenschema
oder
Notenschema
Notenschema
Weitere Notenschemata sind je nach Einsatzzweck beliebig konfigurierbar.