Vorbereitungen
Die hier beschriebenen Vorbereitungen beziehen sich auf eine Online-Studiendurchführung. Soll eine Studie offline durchgeführt werden, muss zuvor eine entsprechende Konfiguration vorgenommen werden. Diese wird detailliert im Kapitel: Einrichtung beschrieben.
Es kann sehr schwierig sein nachträglich Änderungen an einer Studie vorzunehmen. Eine Studie sollte deshalb im Vorfeld gut durchdacht und vorbereitet sein. Das IQB möchte an dieser Stelle Erfahrungen aus dem Praxisalltag einbringen und bewährte Wege hin zu einem gesicherten Studienablauf aufzeigen. Dazu dienen die nachfolgend genannten Punkte.
1. Prüfen der Aufgaben
Wenn im Nachhinein Aufgaben angepasst werden müssen, kann das mühselig sein. Es wird daher empfohlen alle Aufgaben hinsichtlich Darstellung und Funktion ausreichend zu prüfen. Bereits während der Entwurfsphase im Studio können entsprechende Vorabbetrachtungen im Team der Aufgabenentwickler*innen stattfinden. Es gibt auch im Testcenter die Möglichkeit die Aufgaben einem breiten Personenkreis zugänglich zu machen und Rückmeldungen einzusammeln, die zur Optimierung einer Aufgabe genutzt werden können. Hierfür stehen im Testcenter verschiedene Modi zur Verfügung. So können bspw. im Modus: run-review Kommentare zu einzelnen Aufgaben gespeichert werden.
2. Prüfen der Bedingungen vor Ort
Vor Studienbeginn ist es entscheidend die örtlichen Begebenheiten zu kennen. Ein System-Check kann ermitteln, welche Endgeräte, Browserversionen eingesetzt werden und wie hoch die Datenrate der Internetanbindung ist.
3. Prüfen der Anforderungen
Das Prüfen der Anforderungen vor Studienbeginn kann darüber entscheiden, ob eine Studie durchführbar ist.
4. Erstellen und konfigurieren der Testinhalte
Eine Studie besteht aus mehrerer Testdateien. Diese stellen in ihrer Gesamtheit die Testinhalte dar. Ablauf und Verhalten einer Studie müssen anpassbar sein. Mit Hilfe der Testinhalte kann jede Studie individuell angepasst werden.
Die Studienkonfiguration entscheidet, wie sich eine Studie verhält, welche Warnungen und Texte angezeigt werden und vieles mehr.
5. Anlegen eines Arbeitsbereichs/ Laden der Testinhalte
Eine Studie kann nur gestartet werden, wenn die Testinhalte in einen Arbeitsbereich des Testcenters geladen wurden. Ein Arbeitsbereich kann nur angelegt und verwaltet werden, wenn entsprechende Zugriffsrechte vorhanden sind.
6. Erprobung
Studienkonfiguration
Die Studienkonfiguration muss erprobt werden. Hierfür gibt es spezielle Modi, die verwendet werden können.
Speicherung der Antworten
Um sicherzustellen, dass alle Antwortdaten ordnungsgemäß gespeichert werden, sollte probeweise eine Anmeldung mit den Zugangsdaten einer Testperson stattfinden und die Studie durchgeführt werden. Anschließend kann geprüft werden, ob Antwort- und Logdaten im Arbeitsbereich gespeichert wurden. Wenn erfolgreich, sollten die Antwort- und Logdaten wieder gelöscht werden, da die Antwortdaten der Erprobung sonst im finalen Antwortdatensatz auftauchen. Mehr Informationen dazu sind im Kapitel: Arbeitsbereiche/ Antworten zu finden.
Gruppenmonitor
Soll ein Gruppenmonitor zu Teststeuerung eingesetzt werden, sollte auch der Gruppenmonitor gestartet werden und geprüft werden, ob die Steuerung einer Testperson durch den Test funktioniert.