Missings

Begriff

Mit dem Begriff “Missings” werden Zustände in den Daten kodiert, die von einer normalen auswertbaren Antwort abweichen. Statt eines Wertes, der für die Antwort bzw. für den Code einer Antwort steht, wird in den Datensatz ein Wert eingetragen, der eine fehlerhafte bzw. von der erwarteten Beantwortung abweichende Situation beschreibt. Üblicherweise sind gültige, zulässige Antworten mit positiven Zahlen ausgedrückt, ein Missing jedoch mit einem negativen Wert.

Standard-Missings des IQB

flowchart TD
    C{Antwort im System\ngespeichert?} -->|JA| A{Item wurde\ngesehen?}
    A -->|JA| F{Item wurde \nbearbeitet?}
    style G fill:#ff9
    F -->|JA| H{Antwort ungültig,\nleer oder Spaßantwort?}
    A -->|NEIN| I{nachfolgend\nbearbeitete oder\ngesehene Items?}
    F -->|NEIN| J[missing\nby omission]
    I -->|JA| J
    I -->|NEIN| G[missing\nnot reached]
    style J fill:#ff9
    H -->|JA| K[missing\ninvalid response]
    style K fill:#ff9
    H -->|NEIN| L["Gültige Antwort\nAuswertung möglich"]
    style L fill:#af8

    C -->|NEIN| B{Technisches\nProblem?}
    B -->|JA| D[missing\ncoding impossible]
    style D fill:#ff9
    B -->|NEIN| E[missing\nby design]
    style E fill:#ff9

IQB-Missings
ID Label Beschreibung Code-Value
mir missing invalid response (1) Item wurde bearbeitet und (2a) leere Antwort oder (2b) sonstwie ungültige (Spaß-)Antwort -98
mbo missing by omission Item wurde nicht bearbeitet aber gesehen oder es wurde nicht gesehen, aber es gibt nachfolgend gesehene oder bearbeitete Items -99
mnr missing not reached (1) Item wurde nicht gesehen und (2) es folgen nur nicht gesehene Items -96
mci missing coding impossible (1) Item müsste/könnte bearbeitet worden sein und (2) Antwort ist aufgrund technischer Probleme nicht auswertbar -97
mbd missing by design Antwort liegt nicht vor, weil das Item der Testperson planmäßig nicht präsentiert wurde -94

Wann werden Missings gesetzt?

Die TBA-Webanwendung IQB-Testcenter sieht Missings nicht vor. Statt dessen wird neben dem Antwortwert ein Status geliefert. Im Rahmen der Kodierung kann der Status INVALID gesetzt werden, was grob dem Missing invalid response entspricht.

Vor der Datenanalyse müssen die Codes bzw. Scores aller Antworten sowie die jeweilige Status-Information zu einem einzelnen numerischen Wert transformiert werden. Dadurch entsteht die erforderliche zweidimensionale Datenmatrix (Person x Item). An dieser Stelle - also für die Vorbereitung der Analyse - werden Missings gesetzt: als numerische Werte, nach Konvention negativ (s. Tabelle oben).

Der Wert für invalid response ist bereits direkt verfügbar. Die anderen Missing-Werte erfordern zusätzliche Informationen:

  • Das Testheft - also die zeitliche Abfolge der Items - liefert die Information, welche Items nach dem jeweiligen Item folgen. Darüber kann dann not reached gesetzt werden.
  • Die Protokolle der Testdurchführung liefern die Information, ob es technische Probleme gegeben hat.

Weitere Informationen zu Datenstrukturen.

Technische Diskurse

Missing by Omission wenn leer?

Wenn eine Eingabe bearbeitet wurde und dann wieder herausgelöscht, könnte man überlegen, statt einer ungültigen Antwort eine beabsichtigte Auslassung (Omission) anzunehmen. Die Testperson wollte wohl den Ausgangszustand wiederherstellen. Hier gibt es einige Probleme:

  • Bei Interaktionenselementen kann man oft einen Wert als Vorbelegung festlegen. Ein Herauslöschen würde nicht den Anfangszustand wiederherstellen.
  • Der Aspect-Player hat ein Eingabeelement, das mit einem Satz ohne Satzzeichen vorbelegt ist. Die Testperson kann nur eingeschränkt Zeichen einfügen oder löschen. Der Wert der Eingabe ist stets mindestens die Vorbelegung. Die Option ‘leer’ gibt es nicht.
  • Bei einigen Interaktionselementen ist die Testperson vielleicht überzeugt, den Ausgangszustand wiederhergestellt zu haben, es gibt aber unsichtbare Reste der Bearbeitung (z. B. Textmarkierung, GeoGebra: Verschieben und Zurückschieben von Punkten). Das wird unfairerweise dann unsystematisch unterschiedlich bewertet.
Umsetzung

Ein bearbeiteter, aber leerer Wert wird als invalid bewertet. Dieses Standardverhalten kann durch eine Option im Kodierschema geändert werden, und es gibt auch eine Regel, die auf einen leeren Wert prüft. Dann ist es auch möglich, einen Code für einen leeren Wert zu vergeben.

Status DISPLAYED überspringen?

Das IQB-Testsystem registriert, wenn ein Interaktionselement in den Sichtbereich kommt: Status DISPLAYED. Wenn eine Interaktion erfolgte, wird der Status VALUE_CHANGED gesetzt (zum Status einer Antwort siehe hier). Es gibt nun Interaktionselemente, deren Ausgangswert mit hoher Wahrscheinlichkeit der gewünschte Endwert sein soll und das ist dann auch gelegentlich die richtige Antwort. Im Kodierprozess werden standardmäßig nur Antworten mit Status VALUE_CHANGED ausgewertet.

Umsetzung

Im Kodierschema gibt es eine Option, mit der man für eine Variable festlegen kann, dass der Wert auch bei DISPLAYED ausgewertet wird, also dann wie VALUE_CHANGED behandelt wird.

Wo ist das Item?

Wenn es als 17. Teilaufgabe ein Item mit der Instruktion “markiere im Text” gibt, weicht der Ort der Beantwortung (also die Interaktion “Markieren” im Stimulus) räumlich stark vom Ort des Items ab, wie er überlicherweise verstanden wird. Die Frage, ob das Item gesehen wurde, wird aktuell falsch beantwortet: Wenn der Stimulustext gesehen wurde.

Mögliche Umsetzung

Man könnte für Elemente der Unit, die keine Interaktionselemente sind, eine Art Dummy-Variable einrichten. Deren Wert ist unwichtig, aber sie liefert einen Status. Dann könnte ein Textelement (Instruktion des Items) mit in die Kodierung einfließen.