Einführung

An dieser Stelle soll ein Grundverständnis für die an der Kodierung beteiligten IQB-Programmierungen erfolgen. Mehr Details sind den nachfolgenden Kapiteln zu entnehmen.

Der Schemer

Bei der Aufgabenerstellung im Studio werden Frageelemente in einer Unit angeordnet. Die Beantwortung dieser Frageelemente erzeugt Antwortwerte. Um Schlussfolgerungen hinsichtlich der Bewertung einer Antwort zu ziehen, werden die Antwortwerte Kategorien zugeordnet. Im einfachsten Fall gibt es die Kategorien richtig und falsch, sowie Kategorien für fehlende Werte. Die Zuordnung erfolgt durch die Erstellung von Regeln und Instruktionen. Diese sagen dann ganz grob ausgedrückt, diese Antwort ist falsch, diese Antwort ist richtig. Zur Erststellung solcher Regeln und Instruktion wird ein Verona-Modul mit dem Namen: Schemer verwendet.

Hier geht es zum GitHub-Repository der Schemer Programmierungen.

Bedienung

Das Schemer-Modul wird in das IQB-Studio eingebunden und kann über den Reiter: Kodierung bedient werden. Mehr zur Bedienung des Schemers ist hier zu finden.

Datenstruktur

Die festgelegten Werte zur Erstellungen eines Kodierschemas werden in spezifizierten Variablen fixiert. Die Spezifikation ist hier unter coding-scheme@iqb-standard@3.2/variableCodings zu finden. Mehr zu den Variablen, deren Bedeutung und Zustandsmöglichkeiten ist hier nachzulesen. Werden Aufgaben aus dem Studio exportiert, wird automatisch eine Datei mit der Endung: VOCS zur Aufgabe erzeugt, die die entsprechenden Variablen enthält. Mit Hilfe dieser Datei kann das Kodierschema anderen Anwendungen bereitgestellt werden. Nachfolgend wird aufgeführt in welchen Anwendungen diese Datei bzw. die enthaltenen Variablen benötigt werden.

IQB-Testcenter:

Im Testcenter wird das Kodierschema für das adaptive Testen benötigt. Die VOCS-Datei wird dazu einfach als Ressource zu einer Unit in das Testcenter geladen.

Kodierbox:

In die Kodierbox werden Antworten und Logs aus dem Testcenter, plus des zugehörigen Kodierschemas (VOCS-Dateien) geladen. Die eigentliche Kodierung der Antworten erfolgt dann anhand dieser Daten und des Autocoders.

IQB-Studio

Sobald im Studio ein Kodierschema erstellt und gespeichert wurden, kann im Reiter: “Vorschau” die Funktion der Kodierregeln überprüft werden. Zur Prüfung des Kodierschemas wird dabei auf die verwendeten Variablen zugegriffen.

Autocoder

Der Autocoder ist ein Sammelsurium an Klassen und Interfaces, die für die Kodierung notwendig sind. Sowohl die Kodierbox als auch die Kodiervorschau im Studio benötigt diese Klassen und Interfaces. Hier geht es zum entsprechenden GitHub-Repository.

Kodierbox

Hier findet die eigentliche Kodierung der Antworten mit Hilfe der Antwortdaten aus dem Testcenter und dem Kodierschema statt. Um die Kodierung zu prüfen, können die Antworten in einem sogenannten Replay-Modus wiedergegeben werden. Nach dem ersten Autocoder-Lauf wird eine Kodierliste für manuell zu kodierende Fälle erzeugt. In naher Zukunft wird diese Liste der IEA vorgelegt und zu einem späteren Zeitpunkt werden IQB-intern die manuellen Fälle von den Kodierer*innen bewertet. Im Anschluss an die manuelle Kodierung erfolgt ein zweiter Autocoder-Lauf, welcher dann einen primären Datensatz erzeugt. Dieser kann exportiert werden und für weitere wissenschaftliche Erkenntnisse transformiert und ausgewertet werden.

Hier geht es zum GitHub-Repo der Kodierbox Programmierungen.