Arbeitsschritte
Die Schritte der Datenverarbeitung unterscheiden sich, je nachdem, ob eine genauere Analyse der Itemeigenschaften erfolgen soll (DIF, Distraktorenanalyse usw.) oder die Studie der Ermittlung von Personenkennwerten dient. Nachfolgend wird vom letzteren Fall ausgegangen, da für die Itemanalyse (Erprobung, Pilotierung) jederzeit nach Bedarf abgezweigt werden kann.
Rohdaten
- Bei Speicherplatzproblemen können alle Fälle herausgefiltert werden, die als Status
UNSEToderNOT_REACHEDgesetzt haben. Deren Werte (Values) sind grundsätzlich zu ignorieren und können aus den Antwortdaten entfernt werden. - Wenn für alle Testpersonen die Antworten für eine Variable leer sind, handelt es sich wahrscheinlich um ein Interaktionselement, das nur theoretisch einen Wert haben könnte, was aber in dieser Studie nicht genutzt wurde (z. B. ein Textelement kann theoretisch eine Markierung erhalten). Diese Variablen können komplett aus den Antwortdaten entfernt werden.
Alle anderen Fälle müssen in den ersten Autocoder-Lauf gegeben werden.
Erster Autocoder-Lauf
- Im Kodierschema kann festgelegt werden, dass ein Antwortstatus
DISPLAYEDsowie beiVALUE_CHANGEDein leerer Antwortwert relevant sind. In beiden Fällen wird regulär kodiert und der StatusCODING_COMPLETEvergeben. Sollten diese beiden Fälle nicht als relevant markiert worden sein, wirdDISPLAYEDnicht verändert und ein leerer Antwortwert vonVALUE_CHANGEDinINVALIDgeändert. - Kann eine Variable nicht abgeleitet werden, weil deren Basisvariablen keinen hinreichenden Status haben, leitet sich der Status der abgeleiteten Variable aus diesen Regeln ab.
- Es gibt nach dem Autocoder-Lauf Fehlerzustände, denen gezielt nachgegangen werden muss. Vielen der Fälle kann man begegnen, indem man das jeweilige Kodierschema ergänzt oder korrigiert.
Manuelle Kodierung
Alle Fälle für CODING_INCOMPLETE und CODING_ERROR werden manuell kodiert. Als Ergebnis der manuellen Kodierung sind als Status CODING_COMPLETE, CODING_ERROR (technisches Problem beim Kodieren) und INVALID möglich.
Zweiter Autocoder-Lauf
Nach der manuellen Kodierung folgt ein weiterer Autocoder-Lauf, da es ggf. abgeleitete Variablen gibt, die auf den nun verfügbaren Codes basieren. Eine Kodierung ist abgeschlossen, wenn die Antworten ausschließlich folgende Stati angenommen haben: UNSET, NOT_REACHED, DISPLAYED, INVALID, CODING_COMPLETE, CODING_ERROR und NO_CODING.
Die folgenden Stati dürfen nicht auftreten: VALUE_CHANGED, CODING_INCOMPLETE und DERIVE_ERROR. Eine Ausnahme bildet der Sonderfall, wenn für eine Variable NO_CODING festgelegt wurde. Dann bleibt deren Status VALUE_CHANGED erhalten.
Rekodierung (Itemmatrix)
Nach dem zweiten Autocoder-Lauf liegen die Antworten weiterhin in der Datenstruktur “Antwort” vor. Für eine Datenanalyse werden anschließend sämtliche Codes bzw. der daraus resultierenden Scores in eine Matrix Person x Item überführt.
Die Unit-Definition enthält eine Liste, wo zu jedem Item eine Variable benannt ist, die den Itemwert liefert (Basis- oder abgeleitete Variable). Sollte kein gültiger Code bzw. Score für die Itemvariable ermittelt worden sein, wird ein Missing-Code aus dem Status der Itemvariablen ermittelt.
Die nachfolgende Liste deckt Standardfälle als Orientierung ab.
| Status | Neuer Code | Beschreibung |
|---|---|---|
INVALID |
-98 | mir - missing invalid response |
CODING_ERROR |
-97 | mci - missing coding impossible |
UNSET, DISPLAYED |
-99 | mbo - missing by omission |
NOT_REACHED |
-96 oder -99 | mnr - missing not reached oder mbo - missing by omission |
Die Ermittlung von NOT_REACHED bezog sich bisher nur auf die jeweilige Unit. Für die Analyse muss diese Sicht jedoch auf das Testinstrument (Testheft) erweitert werden. Items von Units, die nicht in den Antwortdaten zu finden sind, aber beantwortet werden sollten, müssen neu in die Itemmatrix aufgenommen werden. Hierzu muss die Abfolge der Units (Sequenz) für jedes Testinstrument bekannt sein sowie ggf. Blockgrenzen bekannt sein. Welcher Missing-Code vergeben wird, richtet sich dann nach der Position der Unit bzw. danach, ob bis zum Ende des Tests bzw. des Blocks noch Antworten vorliegen.
Anschließend werden üblicherweise Items hinzugefügt, die den Personen nicht vorgelegt wurden und die also planmäßig nicht beantwortet wurden. Dies dient der Vervollständigung der Matrix für die Datenverarbeitung. Den Items wird der Code -94 (mbd - missing by design) zugewiesen.