Studie durchführen
Es kann sehr schwierig sein nachträglich Änderungen an einer Studie vorzunehmen. Eine Studie sollte deshalb im Vorfeld gut durchdacht und geplant sein. Das IQB möchte an dieser Stelle Erfahrungen aus dem Praxisalltag einbringen und bewehrte Wege hin zu einem gesicherten Studienablauf aufzeigen. Dazu dienen die nachfolgend genannten 7 Punkte.
1. Prüfen der Aufgaben
Wenn im Nachhinein Aufgaben angepasst werden müssen, kann das mühselig sein. Es wird daher empfohlen alle Aufgaben hinsichtlich Darstellung und Funktion ausreichend zu prüfen. Bereits während der Entwurfsphase im Studio können entsprechende Vorschauschleifen im Team der Aufgabenentwickler*innen stattfinden. Es gibt aber auch im Testcenter die Möglichkeit die Aufgaben einem breiten Personenkreis zugänglich zu machen und Rückmeldungen einzusammeln, die zur Optimierung einer Aufgabe genutzt werden können. Hierfür steht der Modus: run-review zur Verfügung. In diesem Modus können Kommentare zu jeder Aufgabe gespeichert werden. Die Kommentare können dann von den Aufgabenwickler*innen zur Optimierung genutzt werden.
2. Prüfen der Anforderungen
Es gibt Anforderungen, die zwingend erfüllt sein müssen, damit eine Studie durchgeführt werden kann. Zu diesen gehören die Systemanforderungen. Es gibt aber auch individuelle Anforderungen, die weniger klar umrissen zu der Aussage führen, ob eine Studie durchgeführt werden kann oder nicht. Hier kann das IQB nur Empfehlungen aussprechen (siehe gleichnamiges Kapitel). Ob die Anforderungen vor Ort erfüllt werden, kann mit einem System-Check ermittelt werden. Um individuelle Anforderungen an eine Studie, bspw. das Aussehen einer Aufgabe, zu prüfen, muss der System-Check entsprechend konfiguriert werden. Mehr dazu ist dem Kapitel: System-Check zu entnehmen.
3. Studienkonfiguration
Ist die Prüfung der Anforderungen mit positiven Ergebnis abgeschlossen, kann die Studienkonfiguration vorgenommen werden. Mehr dazu ist dem gleichnamigen Kapitel zu entnehmen.
4. Erprobung der Studienkonfiguration
Sind die Vorüberlegungen bzgl. der Studien-Konfiguration abgeschlossen und liegen die Testdateien für die Studie bereit, empfiehlt es sich die Konfigurationen zuvor mit mehreren Teilnehmern zu testen. Hierfür kann der Modus: run-simulation verwendet werden. So können ungünstige Konfigurationen schon im Vorfeld entdeckt werden. Mehr dazu ist dem Kapitel: Testinhalte / Testtaker-XML zu entnehmen.
5. Organisatorisches
Die Beteiligten brauchen rechtzeitig klare Anweisungen, wie die Studie vorbereitet, durchgeführt und ausgewertet wird. Hierzu sind zunächst eine Reihe von Fragen zu beantworten und ggf. bestimmte Schritte vorzuziehen. Mitunter müssen die Festlegungen in Dokumenten festgehalten und verschickt werden: allg. Handreichungen, Manual für die Testleitung, Anträge beim Datenschutz, Elternanschreiben, Zugangsdaten für die Testpersonen usw..
Welche Zusatzmaterialien werden vor Ort benötigt: Taschenrechner, Lineal, Notizpapier, Kopfhörer?
Soll es eine Hotline geben? Für welchen Zeitraum?
Wie hoch ist das Risiko für technische Probleme? Soll jemand aus der Systemadministration oder Programmierung ständig greifbar sein?
6. Durchführung
Nun kann die Studie durchgeführt werden. Mehr hierzu ist dem gleichnamigen Kapitel zu entnehmen.
7. Auswertung
Daten wie vorgesehen auswerten, Berichte schreiben, Rückmeldung an Schulen geben. Evaluieren: Dabei hilft die Vorstellung, dass man die gleiche Studie nächste Woche nochmal durchführen soll. Siehe hierzu auch das Kapitel: Datenauswertung.