Datenauswertung

Download

Um die Daten aus einer Testung oder einer Befragung zu erhalten, meldet man sich am Testcenter mit Admin-Rechten an und geht im betreffenden Arbeitsbereich auf den Tab “Ergebnisse/Antworten”:

Datensatz: Antworten, Logs und Kommentare herunterladen

Nach Auswahl der gewünschten Testgruppe(n) erhält man die Daten als CSV-Datei.

Download über API

Bei großen Datenmengen kann ein manueller Download recht mühsam sein. Besser ist die Nutzung der API - der Serverschnittstelle des Testcenters. Das Windows-Programm itc-ToolBox nutzt das API und bereitet für die Antwortformate des IQB die Daten auf.

Antworten

Die gegebenen Antworten werden mit einem Zeitstempel versehen in der Datenbank gespeichert. Das Testcenter speichert nicht bei jedem Tastendruck, sondern gesammelt in regelmäßigen Abständen. Sollte eine Unit erneut betreten werden (Neustart des Tests oder Zurückblättern), werden die Antworten wiederhergestellt.

Das Speichern und die Wiederherstellung betreffen auch allgemeine Zustände wie “Fortschritt Beantwortung” oder “Fortschritt Präsentation”. Auch der Stand des Abspielens einer Audiosequenz wird als Status gespeichert.

Das Format der Antworten ist nicht spezifiziert. Im Rahmen der Verona-Spezifikationen ist festgelegt, dass die Antwort auf mehrere Daten-Chunks verteilt sein kann, aber die Antworten selbst sind als String gespeichert. Datenstrukturen sind also dem Testcenter nicht bekannt1 und die nachfolgenden Verarbeitungsschritte müssen eine sinnvolle Interpretation der Antwortdaten übernehmen. Durch diese Offenheit wird die Datenverarbeitung erschwert, aber sie ist auch sehr flexibel.

Beispiel einer Antwort
Spaltenname Inhalt
groupname TestakerGroup1
loginname pankow
code
bookletname BOOKLET4
unitname Textmarker
responses {"elementCodes": "[{"id":"text_1","value":["468-659-#ffa06a","1541-1617-#f9f871","1617-1627-#9de8eb","1627-1726-#f9f871"],"status":"VALUE_CHANGED"},{"id":"button_1","status":"DISPLAYED"},{"id":"image_1","value":false,"status":"DISPLAYED"},{"id":"checkbox_1","value":false,"status":"DISPLAYED"},{"id":"checkbox_2","value":true,"status":"VALUE_CHANGED"},{"id":"radio_1","value":1,"status":"VALUE_CHANGED"}]"}
responseType iqb-standard@1.0
response-ts 1,64155E+12
laststate {"PLAYER":"RUNNING","RESPONSE_PROGRESS":"complete","PRESENTATION_PROGRESS":"complete"}

Logdaten

Logdaten sind zeitpunktbezogene Zustände. Sie dienen in wissenschaftlichen Erhebungen als wichtige Datenquelle. Darüber können Erkenntnisse erlangt werden, zu denen vorher kein Konzept, keine Hypothese existierte. Aus diesem explorativen Ansatz können neue Ideen für hypothesengeleitete Forschungsprojekte entstehen. Außerdem spielen Logdaten eine wichtige Rolle bei Reanalysen: Nachdem die Fragestellungen der durchgeführten Studie beantwortet sind, können später neue methodische Fortschritte eine erneute Analyse interessant machen. Logs als “Beifang” – also Daten ohne direkten Bezug zur ursprünglichen Studie – werden dann wichtig.

Aktuell gibt es in Deutschland in den großen Studien des Bildungsmonitorings keinen Bedarf für Logdaten. Als Datenquellen für die Kompetenzschätzungen dienen die Antworten, also der jeweils letzte Stand der Beantwortung der Items durch die Testperson. In Befragungen spielen Logdaten ebenfalls keine Rolle. Eine Auswertung der Logdaten erfolgt am IQB in folgenden Zusammenhängen:

  • Time-on-page: Psychometrisch ist die Verweildauer einer Testperson auf einer Seite interessant. Ein sehr kurzes Verweilen und Beantworten könnte auf eine geringe Testteilnahmemotivation schließen lassen. Es gibt zahlreiche Studien hierzu und das IQB wertet derartige Daten aus, jedoch hat noch kein methodischer Ansatz Eingang in nationale Large Scale Assessments gefunden.
  • Protokollierung technischer Parameter: Aus den Logdaten lassen sich Informationen gewinnen, die für die technische Verbesserung des Testsystems verwendet werden können. Dazu gehören z. B. Betriebssystem und andere Systeminformationen sowie Ladezeiten von Testinhalten. Aufgetretene Probleme könnten so besser untersucht werden.

Das Testcenter bietet zwei Möglichkeiten, Logdaten zu erzeugen:

  • Logging durch das Testcenter
  • Logging durch den Player: Über die Verona-Schnittstelle können Player Logdaten an den Host geben, und das Testcenter speichert diese Daten in die Datenbank

In einem Arbeitsbereich kann man die Logdaten herunterladen. Es handelt sich um eine CSV-Datei mit folgendem Inhalt:

Beispiel eines Logs
Spaltenname Inhalt
groupname IQB
loginname ID94
code e4r
bookletname ABIEVALBOOKLET_ST_MATHEMATIK_GN_WTR
unitname M02360
timestamp 1620629925532
logentry PLAYER = LOADING
PRESENTATION_PROGRESS = complete
RESPONSE_PROGRESS = none

Weiterverarbeitung

Die Antwortdaten werden vom Player erzeugt. Die Verona-Spezifikationen sehen hier keinen Standard vor. Es werden nur Daten als String transportiert, d. h. die beteiligten Komponenten müssen selbst dafür sorgen, die Daten zu parsen und zu validieren.

Das IQB hat für die Antworten ein Standardformat entwickelt. Die wichtigsten Player des IQB erzeugen diese universelle Antwortstruktur. Andere Tools und Webanwendungen, die das IQB entwickelt und auch unter MIT-Lizenz bereitstellt, setzen dieses Antwortformat voraus.

itc-ToolBox

Windows-Programm itc-ToolBox

Das Windows-Programm itc-ToolBox liest die Antwort- und Logdaten entweder als CSV oder im direkten Zugriff auf eine IQB-Testcenter-Installation und erstellt eine Excel-Datei. Hier sind alle Antworten tabellarisch geordnet. Außerdem finden sich Daten zu time-on-page und zu den Systemparametern (Betriebssystem, Browser usw.) der Testsitzungen in Formen von Logs. Wenn die Daten über den Direktzugriff auf eine Testcenter-Installation eingelesen werden, greift die itc-ToolBox auch die Größenangaben der Testinhalte ab und liefert einen Indikator für die Download-Geschwindigkeit in kBytes/sec.

Voraussetzung für die Nutzung der itc-ToolBox ist, dass der Player das IQB-Standardformat für die Speicherung der Antworten benutzt.

Kodierung

Das IQB stellt Bibliotheken in JavaScript bereit, die eine Weiterverarbeitung unterstützen:

  • responses: Hier finden sich die Datenstrukturen als Interfaces, die automatische Kodierung und die Erzeugung von Textfassungen vom Kodierschema.
  • coding-components: Html-Komponenten rund um das Kodieren. Hier findet sich auch der Schemer – die UI, mit der im IQB-Studio das Kodierschema einer Aufgabe interaktiv entwickelt wird.

Voraussetzung für die Nutzung der Bibliotheken ist, dass der Player das IQB-Standardformat für die Speicherung der Antworten benutzt.

Weitere Informationen zu den Programmierungen des IQB zur Kodierung finden Sie in dieser Dokumentation im Bereich Studio sowie separat an dieser Stelle.

IQB-Kodierbox

Die Webanwendung IQB-Kodierbox ist derzeit noch im Aufbau und wird auf den bisherigen IQB-Bibliotheken zur Kodierung aufbauen und diese erweitern. Als Webanwendung wird sie dem IQB und allen Interessierten vor allem die manuelle Kodierung ermöglichen. Außerdem werden Antwortdaten aus verschiedenen Quellen zusammengespielt und (nach Bedarf gefiltert, aggregiert, transformiert, formatiert) den anschießenden Analyseschritten zur Verfügung zu stellen.

Zurück nach oben

Fußnoten

  1. Eine Ausnahme bildet die adaptive Testdurchführung: Dann wird das IQB-Standardformat bei den Antworten angenommen und entsprechend eine Kodierung und Bewertung vorgenommen.↩︎