System-Check

Es ist bitter, wenn man erst während der Studiendurchführung bemerkt, dass die Hardware oder die Software-Ausstattung für einen Online-Test nicht geeignet ist. Der System-Check ist ein Weg, vorab diese Eignung zu prüfen. Man kann natürlich nicht alle Probleme erkennen und vielleicht hat man für bestimmte Probleme auch keine Lösung parat, aber man kann die Ausfall- und damit die Frustrate deutlich senken.

Ein System-Check wird angelegt, indem eine XML-Datei mit einem spezifischen Inhalt in einen Arbeitsbereich hochgeladen wird. Das IQB-Testcenter erzeugt dann automatisch einen Link zu diesem System-Check auf der Startseite. Alle Besucher*innen der Webanwendung können dann ohne Anmeldung den System-Check ausführen. Wenn ein Kennwort eingegeben wird, kann man das Ergebnis des System-Checks auch auf dem Server speichern. Dann stehen über die Verwaltung des Arbeitsbereichs die Ergebnisse gebündelt als Tabelle zum Download bereit.

System-Check anlegen

Zunächst wird ein Arbeitsbereichs-Admin mit Schreibrechten zu einem Arbeitsbereich einer IQB-Testcenter-Installation benötigt. Dieser kann eine SystemCheck-XML Datei hochladen. Diese kann mit einem einfachen Texteditor erzeugt werden. Zu empfehlen wäre hier, einen Texteditor zu wählen, der automatisch die Syntax hervorhebt und Syntaxfehler anzeigt (z. B. Notepad++).

Grundstruktur

Das folgende XML-Beispiel erzeugt die kleinste Version eines System-Checks. Es werden nur Eigenschaften des Client-Systems angezeigt.

syscheck1.xml
<?xml version="1.0" encoding="utf-8"?>
<SysCheck xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
1          xsi:noNamespaceSchemaLocation="https://raw.githubusercontent.com/iqb-berlin/testcenter/15.1.9/definitions/vo_SysCheck.xsd">
2    <Metadata>
        <Id>SYSCHECK_TBA2</Id>
        <Label>System-Check TBA II Verzweigungen Test</Label>
    </Metadata>
3    <Config skipnetwork="true"></Config>
</SysCheck>
1
Verweis auf XML-Schema: Ein XML-Schema ist eine maschinenlesbare Liste aller möglichen Syntax-Elemente einer XML-Datei. Viele Text-Editoren benutzen die Angabe xsi:noNamespaceSchemaLocation zur Validierung, und auch das IQB-Testcenter prüft darüber, ob die Syntax korrekt ist. Bitte nutzen Sie die jeweils aktuelle Version.
2
Metadata: Die Id dient der internen Zuordnung der Ergebnisse, das Label wird angezeigt.
3
Das Config-Element ist hier nur notwendig, um den Netzwerktest zu unterdrücken.

Kleinste Version eines System-Checks

Kleinste Version eines System-Checks

Fehler beim Hochladen

Das Hochladen ist nur erfolgreich, wenn es sich um eine gültige System-Check-Konfiguration handelt. Sollte sich beim Editieren ein Fehler eingeschlichen haben, versucht das Testcenter mit einer Fehlermeldung zu helfen:

Fehlermeldung beim Hochladen

Fehlermeldung beim Hochladen

Angepasste Texte: CustomTexts

Einige Texte, die der System-Check den Nutzer*innen präsentiert, lassen sich ändern. Der Mechanismus hierzu ist auch an anderen Stellen der Textcenter-Konfiguration verfügbar und nennt sich CustomTexts.

syscheck2.xml
<?xml version="1.0" encoding="utf-8"?>
<SysCheck xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
          xsi:noNamespaceSchemaLocation="https://raw.githubusercontent.com/iqb-berlin/testcenter/15.1.9/definitions/vo_SysCheck.xsd">
    <Metadata>
        <Id>SYSCHECK_TBA2</Id>
        <Label>System-Check TBA II Verzweigungen Test</Label>
    </Metadata>
    <Config skipnetwork="true">
1        <CustomText key="syscheck_intro">
2            Bitte prüfen Sie genau die Angaben und vergleichen Sie sie mit den Vorgaben!
        </CustomText>
    </Config>
</SysCheck>
1
Über das Attribut key referenziert man einen bestimmten Eintrag
2
Im Inhalt des CustomText-Elementes wird der neue zu verwendende Text platziert.

System-Check mit angepasstem Text

System-Check mit angepasstem Text
Hinweis

Eine vollständige Liste mit den verfügbaren CustomTexts finden Sie hier. Suchen Sie nach dem Präfix syscheck_!

Netzwerkanbindung

syscheck3.xml
<?xml version="1.0" encoding="utf-8"?>
<SysCheck xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
          xsi:noNamespaceSchemaLocation="https://raw.githubusercontent.com/iqb-berlin/testcenter/15.1.9/definitions/vo_SysCheck.xsd">
    <Metadata>
        <Id>SYSCHECK_TBA2</Id>
        <Label>System-Check TBA II Verzweigungen Test</Label>
        <Description>Prüfung Studiendurchführbarkeit</Description>
    </Metadata>

    <Config skipnetwork="false">
1        <UploadSpeed
            min="1024"
            good="2048"
            maxDevianceBytesPerSecond="10000"
            maxErrorsPerSequence="0"
            maxSequenceRepetitions="15">
            100000, 200000, 400000, 800000
        </UploadSpeed>
2        <DownloadSpeed
            min="1024"
            good="2048"
            maxDevianceBytesPerSecond="200000"
            maxErrorsPerSequence="0"
            maxSequenceRepetitions="15">
            400000, 800000, 1600000, 3200000
        </DownloadSpeed>
        <CustomText key="syscheck_intro">
            Bitte prüfen Sie genau die Angaben und vergleichen Sie sie mit den Vorgaben!
        </CustomText>
    </Config>
</SysCheck>
1
Das Hochladen betrifft vor allem das Speichern der Antworten im Test, Parameter s. Tabelle 1
2
Das Herunterladen betrifft vor allem die Testinhalte, also die Units und Testhefte zu Beginn der Testung. Parameter s. Tabelle 1

Für die Nutzer*innen sieht das z. B. so aus:

Test der Netzwerkanbindung

Test der Netzwerkanbindung
Tabelle 1: Parameter des Netzwerk-Tests
Parameter Bedeutung im Test
min Mindestwert für die ermittelte Geschwindigkeit
good Wird dieser Wert bei der Messung erreicht, wird die Bewertung “gut” vergeben.
maxDevianceBytesPerSecond Wird der hier hinterlegte Wert bei der Messung überschritten, wird bis zum Wert von maxSequenceRepetitions wiederholt.
maxErrorsPerSequence Anzahl zulässiger Übertragungsfehler
maxSequenceRepetitions Legt fest wie oft eine Messung wiederholt wird, wenn der Wert in maxDevianceBytesPerSecond überschritten wurde.
100000, 200000, 400000, 800000 Die Zahlen gebet die zu testende Testheftgröße in Bit an. Diese Testheftgrößen werden nacheinander getestet. Darüber kann man die Passung des Tests zu den in der bestimmten Testung verwendeten Inhalten verbessern.

Speichern der Ergebnisse auf dem Server

<Config savekey="eckensteher" skipnetwork="false">

Wenn wie im obigen Beispiel ein savekey definiert wurde, kann die Person, die den System-Check durchführt, die Ergebnisse auf dem Server speichern. Ein entsprechender Button wird eingeblendet und das Kennwort wird abgefragt.

Einbinden einer Unit

Das IQB-Testcenter ist die Anwendung, mit der Testaufgaben bzw. Frageitems präsentiert werden und Antworten gespeichert werden. Der Programmcode für Präsentation und Interaktion ist über das Verona-Prinzip ausgelagert. Welche Player bzw. spezifischen Interaktionsmodelle verwendet werden, ist dem Testcenter und also auch dem System-Check nicht bekannt. Daher kann bei der Konfiguration eines System-Check ein Player und eine Unit eingebunden werden.

<Config unit="bsp_unit" savekey="saveme" skipnetwork="false">

Die Unit muss natürlich mit all ihren Dateien (xml, voud usw.) im Arbeitsbereich hochgeladen werden, auch der Player. Ansonsten wird der System-Check sofort mit einer Fehlermeldung abgebrochen.

Die Antworten der Units werden nicht gespeichert, denn es könnte sein, dass die Anzeige fehlschlägt. Statt dessen sollen durch den Fragenkatalog Erkenntnisse gesammelt werden, ob und wie die Unit funktioniert.

Fragenkatalog

Der System-Check verfügt über einen einfachen Formulargenerator, über den ein Fragekatalog präsentiert wird. In Verbindung mit dem Parameter savekey kann man so die Antworten der Units erhalten.

syscheck4.xml
<?xml version="1.0" encoding="utf-8"?>
<SysCheck xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
          xsi:noNamespaceSchemaLocation="https://raw.githubusercontent.com/iqb-berlin/testcenter/15.1.9/definitions/vo_SysCheck.xsd">
    <Metadata>
        <Id>SYSCHECK_TBA2</Id>
        <Label>System-Check TBA II Verzweigungen Test</Label>
        <Description>Prüfung Studiendurchführbarkeit</Description>
    </Metadata>

    <Config savekey="saveme" skipnetwork="true">
1        <Q id="1" type="header" prompt="Die folgenden Fragen helfen uns, die Ergebnisse des System-Checks einordnen zu können."></Q>
2        <Q id="2" type="radio" prompt="1. An welchem Gerät wurde der System-Check durchgeführt?">Tablet#Desktop/Laptop</Q>
        <Q id="3" type="radio" prompt="2. Wurde der System-Check in dem Raum durchgeführt, in dem die Erhebung voraussichtlich stattfindet?">Ja#Nein#Weiß ich nicht</Q>
        <Q id="4" type="radio" prompt="3. Wurde der System-Check während der Unterrichtszeit durchgeführt?">Ja#Nein</Q>
        <Q id="5" type="radio" prompt="4. Wie häufig gibt es Probleme mit der Netzwerkverbindung oder dem Internetzugang in diesem Raum?">Nie#Einmal im Jahr#Einmal im halben Jahr#Einmal im Quartal#Einmal im Monat#Einmal in der Woche#Mehrmals pro Woche#Weiß ich nicht</Q>
        <Q id="6" type="string" prompt="5. Gibt es sonstige technische Einschränkungen bezüglich der Geräte, die Sie gerne mitteilen möchten?"/>
    </Config>
</SysCheck>
1
type vom Wert “header” erzeugt eine Überschrift
2
type vom Wert “radio” erzeugt eine Auswahl. Die Optionen sind mit # zu trennen

Diese Konfiguration führt zu folgendem Ergebnis:

System-Check mit Fragenkatalog

System-Check mit Fragenkatalog

Weitere Inputfelder im Fragekatalog sehen so aus:

Werte für type innerhalb von <Q>
Parameter Bedeutung im Fragenkatalog
header Überschrift: Hervorgehobener Text für die Strukturierung der Fragen
string Einzeilige Texteingabe
text Mehrzeilige Texteingabe
check Ankreuzfeld
select Auswahl, als Klappbox dargestellt; die Optionen sind als Inhalt des <Q>-Elementes übergeben, jeweils mit einem Doppelkreuz getrennt (s. o. im Beispiel)
radio Auswahl - jede Option wird in einer neuen Zeile dargestellt; die Optionen sind als Inhalt des <Q>-Elementes übergeben, jeweils mit einem Doppelkreuz getrennt (s. o. im Beispiel)

Auswertung

Alle Personen, die Zugriff auf den Arbeitsbereich im Testcenter haben, in dem der Systemcheck definiert wurde, können die Daten herunterladen. Es handelt sich jeweils um eine CSV-Datei mit folgender Struktur:

Download von System-Check-Daten: Allgemeine Daten
Spaltenname Erläuterung Beispiel
SysCheck-Id ID des System-Checks entsprechend Metadaten SYSCHECK_VERA-TBA-2024
SysCheck Label des System-Checks entsprechend Metadaten System-Check für VERA-TBA-Erprobung 2024
DatumTS Zeitpunkt der Speicherung als JavaScript-TimeStamp 1716886457
Datum Zeitpunkt der Speicherung als Text 28.05.2024 10:54:17
FileName Interner Dateiname der Daten im System für Fehlersuche report_66559bb9a4c825.91698723.json
Download von System-Check-Daten: Spalten zum System und Netzwerk
Spaltenname Beispiel
Betriebsystem Windows
Betriebsystem-Version 10
Bildschirm-Auflösung 1536 x 864
Browser Chrome
Browser-Cookies aktiviert 1 (Wahr)
Browser-Plugins PDF Viewer, Chrome PDF Viewer, Chromium PDF Viewer, Microsoft Edge PDF Viewer, WebKit built-in PDF
Browser-Sprache de-DE
Browser-Version 125
CPU-Kerne 4
Fenster-Größe 810 x 1010
Gerätehersteller Apple
Gerätemodell iPad
Gerätetyp tablet
Zeitabweichung -1
Zeitzone Europe/Berlin
Downloadgeschwindigkeit 71.12 Mbit/s
Downloadgeschwindigkeit benötigt 8.19 kbit/s
Downloadbewertung good
Uploadgeschwindigkeit 4.46 Mbit/s
Uploadgeschwindigkeit benötigt 8.19 kbit/s
Uploadbewertung ok
Gesamtbewertung ok
Netzwerkprofil des Browsers nicht verfügbar
CPU-Architektur amd64
RoundTrip in Ms 50
Netzwerktyp nach Leistung 4g
Downlink MB/s 10
Download von System-Check-Daten: Spalten für Fragenkatalog Beispiel
Spaltenname Inhalt
1. An welchem Gerät wurde der System-Check durchgeführt? Desktop/Laptop
2. Wurde der System-Check in dem Raum durchgeführt, in dem die Erhebung voraussichtlich stattfindet? Ja
3. Wurde der System-Check während der Unterrichtszeit durchgeführt? Nein
4. Wie häufig gibt es Probleme mit der Netzwerkverbindung oder dem Internetzugang in diesem Raum? Weiß ich nicht

Planung und Diskussion

Was kann der System-Check leisten?

Ein System-Check kann keine Aussage darüber machen, ob die gewählte IT-Umgebung geeignet ist oder nicht. Der System-Check ermittelt nur den Ist-Zustand des Systems. Mithilfe dieser Daten muss entschieden werden, ob eine Eignung vorliegt oder nicht.

Ein positiver Abschluss des System-Checks ist keine Garantie dafür, dass am Tag der Durchführung alles glatt läuft. Die Leistungsfähigkeit der Internetverbindung beispielsweise hängt davon ab, was parallel in der Schule gerade an Bandbreite für andere Zwecke (z. B. automatische System-Aktualisierungen) belegt ist.

Im einfachsten Fall liefert ein System-Check nur wichtige Eckdaten, wie bspw. Browserversion und Betriebssystem. Diese können manchmal schon ausreichen, um eine Bewertung im Vorhinein zuzulassen.

Planung

Bzgl. Personen-, Aufgaben- und Anzahl der Testhefte ist jede Testung anders und stellt daher auch unterschiedliche Anforderungen an die IT-Systeme. Die Testleitung muss daher die Anforderungen an das IT-System individuell für ihre Testung ermitteln. Bspw. stellt eine Studiendurchführung mit nur einer Klasse eine andere Herausforderung dar, als eine Durchführung mit mehreren Klassen oder gar mehreren Schulen parallel. Hinsichtlich der Eignung einer Umgebung, dürfte die Bandbreite der Internetanbindung wohl eine zentrale Rolle spielen. Aber auch Betriebssystem, Browserversion und Bildschirmauflösung stellen wichtige Kriterien dar, die darüber entscheiden können, ob eine Studie als machbar eingestuft wird oder nicht.

Es sollten also seitens der Testleitung vor der Testdurchführung Überlegungen bzgl. der Anforderungen an die eigene Testung angestellt werden.

Vor der Konfiguration des System-Checks ist es günstig in Absprache mit den Personen vor Ort, so viele Informationen wie möglich zur Ausstattung einzuholen. Je mehr Informationen vorliegen, umso gezielter kann der System-Check im Vorfeld konfiguriert werden. Bsph. könnten folgende Themen schon im Vorfeld abgeklärt werden:

  • Welche Endgeräte kommen zum Einsatz? Handelt es sich ausschließlich um Tablets, Desktop-PC oder um eine Mischung aus beiden?
  • Gibt es Kopfhörer zur Wiedergabe von Audios und wie werden diese angebunden (Bluetooth, Klinke)?
  • Ist bekannt, ob es seitens des eigenen IT-Netzes besondere Beschränkungen bzgl. der Firewall gibt? Kommen spezielle Plugins in den Browsern zum Einsatz?
  • Falls Tablets zum Einsatz kommen: Verfügen diese über externe Tastaturen?

Auf Grundlage dieser Vorabinformationen können sich die Verantwortlichen weitere Fragen stellen, bevor es an die Konfiguration des Checks geht:

Gibt es im geplanten Testheft Aufgabe, die hinsichtlich Lesbarkeit und Funktionalität von der Bildschirmgröße und Bildschirmauflösung abhängen?

Wenn ja: Es sollte eine entsprechende Beispielaufgabe zur Ansicht mit in den System-Check eingebunden werden. Es können dann Fragen zu der Aufgabe formuliert werden, die während des Checks beantworten werden müssen. Hier könnte dann bspw. gefragt werden, ob ein Bild richtig in der Aufgabe dargestellt wurde.

Gibt es im Testheft Aufgaben mit Audios?

Wenn ja: Es sollte eine Aufgabe mit einem Audio-Element dem System-Check hinzugefügt werden und im Verlauf des Checks gefragt werden, ob das Audio zu hören war. So kann im Vorfeld sichergestellt werden, dass an den Endgeräten Audios wiedergegeben und vor allem gehört werden können. Man prüft also auch gleich noch die Peripherie, wie bspw. Kopfhörer mit.

Gibt es im Testheft Aufgaben mit Eingabefeldern oder ähnlichem?

Wenn ja und wenn auch Tablets zum Einsatz kommen sollen: Es sollte eine Aufgabe mit Eingabefeldern in den System-Check eingebunden werden und im Verlauf gefragt werden, ob Text oder auch Sonderzeichen in die Felder eingegeben werden konnten. Auf diese Weise können auch Tablet-Tastaturen und die IQB-eigene Tastatur zur Eingabe von Sonderzeichen getestet werden.

Gibt es im Testheft Aufgaben mit Drag-and-Drop-Elementen oder ähnlichem?

Wenn ja und wenn auch Tablets zum Einsatz kommen sollen: Es sollte eine Aufgabe mit solchen Elementen eingebunden werden. So kann sichergestellt werden, dass auch auf Tablets diese Elemente richtig funktionieren.

Soll ein Passwort zur Speicherung eines System-Check-Berichtes eingerichtet werden?

Wird eine System-Check-XML in einen Arbeitsbereich des Testcenters geladen, wird ein entsprechender Schalter auf der Anmeldeseite angezeigt. Der System-Check kann nun von jeder Person gestartet werden, auch von Fremdpersonen, die nichts mit der Studie zu tun haben. Ebenso kann ein Bericht am Ende des Checks gespeichert werden. Die Daten eines System-Checks könnten so durch Fremdeingriffe verfälscht werden und zu falschen Annahmen verleiten. Daher wird zwingend empfohlen in der Konfiguration des System-Checks ein Passwort zu vergeben. Der Bericht kann dann nur gespeichert werden, wenn das richtige Passwort eingegeben wurde.

Tipp

Im System-Check kann immer nur eine Unit zur Ansicht eingebunden werden. Gibt es viele Aufgabeninhalte, die geprüft werden sollen, empfiehlt es sich eine Aufgabe im IQB-Studio zu entwerfen, diese in Seiten zu unterteilen und einen breiten Querschnitt der verwendeten Aufgabenelemente darin zu verteilen. Im System-Check kann dann die Funktion jedes Elementes abgefragt werden.

Hinweise zur Durchführung

Verantwortliche vor Ort starten den System-Check an jedem Endgerät, welches an der Testungen teilnehmen soll. Ist im Vorfeld bekannt, dass alle Geräte hinsichtlich Betriebssystem, Browser und Bildschirmauflösung gleich ausgestattet sind, ist es ausreichend den Check nur an einem der Geräte durchzuführen. Am Ende jedes Checks muss ein Bericht gespeichert werden. Dazu muss (falls in System-Check-XML konfiguriert) ein Kennwort und ein sprechender Bezeichner für den Check eingegeben werden. Wird der System-Check mehrfach ausgeführt, wird ein bestehender Bericht im Arbeitsbereich um die entsprechenden Daten erweitert.

Hinweis

Um reelle Werte bei der Ermittlung der Internetgeschwindigkeit zu erhalten, sollte der System-Check unter Realbedingungen durchgeführt werden. Sprich es macht wenig Sinn den Check in den Ferien, nach Schulende oder am Wochenende durchzuführen.

Hinweise zur Auswertung

Die Auswertung sollte sich auf folgende Schwerpunkte beziehen:

Ist der Browser für die Studiendurchführung geeignet?

Im Kapitel Studiendurchführung/ Vorbetrachtungen, werden Systemanforderungen genannt, die hinsichtlich Browser- und Betriebssystem-Version zwingend erfüllt sein sollten.

Wie hoch ist die Auflösung des Wiedergabebildschirms?

Diese Frage spielt eine wichtige Rolle bzgl. der Darstellung und Lesbarkeit einer Aufgabe. Im System-Check können spezifische Fragestellungen zur Aufgabendarstellung konfiguriert werden. Die Auswertung der Antworten ergibt dann, ob die Aufgaben bzgl. der vorhandenen Bildschirme noch einmal angepasst werden müssen.

Welche Internet-Bandbreite wird für die Testung mindestens benötigt?

Ist die Bandbreite zu gering, kann im schlimmsten Fall die Testung am jeweiligen PC nicht durchgeführt werden. Die Interpretation der Netzwerkverbindung ist allerdings sehr unsicher. Man ist ja in der Durchführung nicht nur vom Computer abhängig, auf dem der Check läuft, sondern auch von der Last, die gerade durch andere Computer verursacht wird. Das kann dieselbe Testung sein, aber auch eine ungeplante Systemaktualisierung irgendwo anders im Haus, das einen umfangreichen Download auslöst.

Eine erste Warnung wird ausgelöst, wenn die Netzwerkverbindung stark schwankt. Für die Ermittlung einer als kritisch anzusehenden Bandbreite kann man folgendermaßen vorgehen:

  1. Ermittlung der Größe des größten Testheftes: Im Testcenter wird unter dem Reiter: Dateien des Arbeitsbereiches eine Spalte “Größe” angezeigt. Diese Größe ist bei allen Dateien die tatsächliche Größe der Datei. Eine Ausnahme stellen die Testtaker-Dateien dar. Hier wird die Summe aller Dateien angezeigt, die für dieses Testheft geladen werden müssen (Booklet-XML, Unit-XML, Unit-VOUD, Player-HTML).
  2. Festlegung der maximalen Zeit in Sekunden, nach der dieses Booklet geladen sein soll.
  3. Die Formel Testheft * 8 / Ladezeit ergibt den Mindestwert für den Download in MBit/s.

Dieses Verfahren ist einigermaßen verlässlich, weil die Ermittlung der Download-Geschwindigkeit das Ladeverhalten des Testcenters nachbildet. Die Pakete werden beispielsweise nacheinander geladen und nicht parallel.

Weiterentwicklung

Folgende Überlegungen gehen in die Weiterentwicklung des System-Checks ein:

  • Das IQB hat inzwischen weitere Erfahrungen bei der Ermittlung der technischen Kapazität einer Testcenter-Installation gesammelt. Dies wird in den Test der Netzwerkanbindung einfließen, damit die Ergebnisse aussagekräftiger werden. Es geht vor allem um den erwartbaren Speed.
  • Im Management einer Testvorbereitung ist es wichtig zu wissen, ob alle Schulen den System-Check absolviert haben. Im Moment ist die Durchführung eines System-Checks nicht an eine Testgruppe gebunden und man muss manuell die Ergebnisse den Schulen zuordnen. Besser wäre es, wenn die Schulen einen vorbereiteten Login benutzen, bevor sie den Test durchführen.
  • Es ist kaum möglich, alle Itemformate in einer Unit zu prüfen. Es sollte also mehrere Units einzubinden möglich sein und auch Antworten aus der Bearbeitung zu speichern. Denn es könnten auch technische Probleme beim Speichern der Antworten auftreten, was im Moment nicht vorab bemerkt wird.
Zurück nach oben