System Check

Was ist ein System-Check?

Es ist bitter, wenn man erst während der Studiendurchführung bemerkt, dass die Hardware oder die Software-Ausstattung für einen Online-Test nicht geeignet ist. Der System-Check ist ein Weg vorab diese Eignung zu prüfen. Man kann natürlich nicht alle Probleme erkennen und vielleicht hat man für bestimmte Probleme auch keine Lösung parat, aber man kann die Ausfall-/ und damit die Frustrate deutlich senken.

Wie wird ein System-Check gestartet?

Der System-Check wird in einer XML konfiguriert. Diese wird nach Abschluss der Konfiguration in den Arbeitsbereich der jeweiligen Studie geladen. Wird zur Anmeldeseite des Testcenters gewechselt, ist dann ein Schalter für den System-Check neben dem Schalter: Impressum/Datenschutz zu sehen. Wird der Schalter betätigt, wird eine Liste aller zur Verfügung stehenden System-Checks im Testcenter angezeigt. Nach Auswahl wird der jeweilige Check gestartet.

Hinweis

Es können mehrere System-Checks im Testcenter angelegt sein. Das System bietet dann eine Auswahl aller System-Checks an. Der System-Check Bericht wird dabei immer in dem Arbeitsbereich gespeichert, in dem sich die ausgeführte System-Check-XML befindet.

Ein System-Check kann beliebig oft wiederholt werden. Wurde ein Check bereits vollständig durchgeführt und ein entsprechender Bericht gespeichert, kann zu einem anderen Endgerät gewechselt werden und der selbe System-Check erneut gestartet werden. Wird ein Bericht zu diesem zweiten Check gespeichert, wird der vorhandene Bericht nur um die Daten des neuen Checks erweitert.

Was kann der System-Check leisten?

Ein System-Check kann keine Aussage darüber machen, ob die gewählte IT-Umgebung geeignet ist oder nicht. Der System-Check ermittelt nur den Ist-Zustand des Systems. Mithilfe dieser Daten muss entschieden werden, ob eine Eignung vorliegt oder nicht.

Ein positiver Abschluss des System-Checks ist keine Garantie dafür, dass am Tag der Durchführung alles glatt läuft. Die Leistungsfähigkeit der Internetverbindung beispielsweise hängt davon ab, was parallel in der Schule gerade an Bandbreite für andere Zwecke (z. B. automatische System-Aktualisierungen) belegt ist.

Im einfachsten Fall liefert ein System-Check nur wichtige Eckdaten, wie bspw. Browserversion und Betriebssystem. Diese können manchmal schon ausreichen, um eine Bewertung im Vorhinein zuzulassen.

Ablauf eines System-Checks:

Schritt 1: Nach dem Start werden zuerst einmal wichtige Informationen gesammelt. Dazu gehören:

  • Bildschirmauflösung
  • Browserversion
  • Betriebssystemversion
  • Browser-Cookies Abfrage
  • Browser-Plugins

Schritt 2: Ermittlung der Internetgeschwindigkeit (optional, kann auch ausgeschaltet werden)

Schritt 3: Ansicht einer Beispielaufgabe (optional).

Hinweis

Hier kann nur eine Aufgabe angelegt werden. Die Aufgabe kann aber aus mehreren Seite bestehen und somit viele Aufgabenfunktionen abbilden, die vielleicht nicht auf eine Seite passen würden.

Schritt 4: Befragungen (optional). Hier können individuelle Fragen zur Beispielaufgabe oder anderem angezeigt werden

Die Navigation durch alle Schritte des System-Checks sind selbsterklärend und verständlich gekennzeichnet.

Planung

Bzgl. Personen-, Aufgaben- und Anzahl der Testhefte ist jede Testung anders und stellt daher auch unterschiedliche Anforderungen an die IT-Systeme. Die Testleitung muss daher die Anforderungen an das IT-System individuell für ihre Testung ermitteln. Bspw. stellt eine Studiendurchführung mit nur einer Klasse eine andere Herausforderung dar, als eine Durchführung mit mehreren Klassen oder gar mehreren Schulen parallel. Hinsichtlich der Eignung einer Umgebung, dürfte die Bandbreite der Internetanbindung wohl eine zentrale Rolle spielen. Aber auch Betriebssystem, Browserversion und Bildschirmauflösung stellen wichtige Kriterien dar, die darüber entscheiden können, ob eine Studie als machbar eingestuft wird oder nicht.

Es sollten also seitens der Testleitung vor der Testdurchführung Überlegungen bzgl. der Anforderungen an die eigene Testung angestellt werden.

Vor der Konfiguration des System-Checks ist es günstig in Absprache mit den Personen vor Ort, so viele Informationen wie möglich zur Ausstattung einzuholen. Je mehr Informationen vorliegen, umso gezielter kann der System-Check im Vorfeld konfiguriert werden. Bsph. könnten folgende Themen schon im Vorfeld abgeklärt werden:

  • Welche Endgeräte kommen zum Einsatz? Handelt es sich ausschließlich um Tablets, Desktop-PC oder um eine Mischung aus beiden?
  • Gibt es Kopfhörer zur Wiedergabe von Audios und wie werden diese angebunden (Bluetooth, Klinke)?
  • Ist bekannt, ob es seitens des eigenen IT-Netzes besondere Beschränkungen bzgl. der Firewall gibt? Kommen spezielle Plugins in den Browsern zum Einsatz?
  • Falls Tablets zum Einsatz kommen: Verfügen diese über externe Tastaturen?

Auf Grundlage dieser Vorabinformationen können sich die Verantwortlichen weitere Fragen stellen, bevor es an die Konfiguration des Checks geht:

Gibt es im geplanten Testheft Aufgabe, die hinsichtlich Lesbarkeit und Funktionalität von der Bildschirmgröße und Bildschirmauflösung abhängen?

Wenn ja: Es sollte eine entsprechende Beispielaufgabe zur Ansicht mit in den System-Check eingebunden werden. Es können dann Fragen zu der Aufgabe formuliert werden, die während des Checks beantworten werden müssen. Hier könnte dann bspw. gefragt werden, ob ein Bild richtig in der Aufgabe dargestellt wurde.

Gibt es im Testheft Aufgaben mit Audios?

Wenn ja: Es sollte eine Aufgabe mit einem Audio-Element dem System-Check hinzugefügt werden und im Verlauf des Checks gefragt werden, ob das Audio zu hören war. So kann im Vorfeld sichergestellt werden, dass an den Endgeräten Audios wiedergegeben und vor allem gehört werden können. Man prüft also auch gleich noch die Peripherie, wie bspw. Kopfhörer mit.

Gibt es im Testheft Aufgaben mit Eingabefeldern oder ähnlichem?

Wenn ja und wenn auch Tablets zum Einsatz kommen sollen: Es sollte eine Aufgabe mit Eingabefeldern in den System-Check eingebunden werden und im Verlauf gefragt werden, ob Text oder auch Sonderzeichen in die Felder eingegeben werden konnten. Auf diese Weise können auch Tablet-Tastaturen und die IQB-eigene Tastatur zur Eingabe von Sonderzeichen getestet werden.

Gibt es im Testheft Aufgaben mit Drag-and-Drop-Elementen oder ähnlichem?

Wenn ja und wenn auch Tablets zum Einsatz kommen sollen: Es sollte eine Aufgabe mit solchen Elementen eingebunden werden. So kann sichergestellt werden, dass auch auf Tablets diese Elemente richtig funktionieren.

Soll ein Passwort zur Speicherung eines System-Check-Berichtes eingerichtet werden?

Wird eine System-Check-XML in einen Arbeitsbereich des Testcenters geladen, wird ein entsprechender Schalter auf der Anmeldeseite angezeigt. Der System-Check kann nun von jeder Person gestartet werden, auch von Fremdpersonen, die nichts mit der Studie zu tun haben. Ebenso kann ein Bericht am Ende des Checks gespeichert werden. Die Daten eines System-Checks könnten so durch Fremdeingriffe verfälscht werden und zu falschen Annahmen verleiten. Daher wird zwingend empfohlen in der Konfiguration des System-Checks ein Passwort zu vergeben. Der Bericht kann dann nur gespeichert werden, wenn das richtige Passwort eingegeben wurde.

Tipp

Im System-Check kann immer nur eine Beispielaufgabe zur Ansicht eingebunden werden. Gibt es viele Aufgabeninhalte, die geprüft werden sollen, empfiehlt es sich eine Aufgabe im IQB-Studio zu entwerfen, diese in Seiten zu unterteilen und einen breiten Querschnitt der verwendeten Aufgabenelemente darin zu verteilen. Im System-Check kann dann die Funktion jedes Elementes abgefragt werden.

Tipp

Weitere Anregungen bzgl. der System-Check Planung sind auch dem Kapitel: Studiendurchführung: Vorbetrachtungen zu entnehmen.

Sind die Vorüberlegungen abgeschlossen, kann mit der Konfiguration des System-Checks begonnen werden.

Konfiguration

Die Konfiguration findet in einer XML statt. Der Name der XML ist beliebig, die Struktur (welche Elemente, welche Attribute) hingegen nicht. Diese richtet sich nach einer Schema-Definition und muss zwingend eingehalten werden. Die Schema-Definition ist auf der IQB-GitHub-Startseite unter dem Reiter: Spezifikationen im Abschnitt: IQB-Testcenter: Input System-Check-Xml zu finden.

Der Inhalt der nachfolgenden System-Check-XML kann kopiert und entsprechend erweitert werden. Anschließend kann die Datei in einen Arbeitsbereich geladen werden. Nach Wechsel zur Anmeldeseite des Testcenters kann der System-Check gestartet werden.

Hinweis

Ist eine Aufgabe eingebunden, muss die Aufgabe und alle in der Aufgaben-XML deklarierten Ressourcen (Aufgaben-VOUD, Player etc.) mit in den Arbeitsbereich geladen werden.

<?xml version="1.0" encoding="utf-8"?>
<SysCheck xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
          xsi:noNamespaceSchemaLocation="https://raw.githubusercontent.com/iqb-berlin/testcenter/15.0.1/definitions/vo_SysCheck.xsd">
    <Metadata>
        <Id>SYSCHECK_TBA2</Id>
        <Label>System-Check TBA II Verzweigungen Test</Label>
        <Description>Prüfung Studiendurchführbarkeit</Description>
    </Metadata>

    <Config unit="bsp_unit" savekey="saveme" skipnetwork="false">
        <UploadSpeed min="1024" good="2048" maxDevianceBytesPerSecond="10000" maxErrorsPerSequence="0" maxSequenceRepetitions="15">
        100000, 200000, 400000, 800000
        </UploadSpeed>
        <DownloadSpeed min="1024" good="2048" maxDevianceBytesPerSecond="200000" maxErrorsPerSequence="0" maxSequenceRepetitions="15">
        400000, 800000, 1600000, 3200000
        </DownloadSpeed>

        <Q id="1" type="header" prompt="Abschnitt I: Allgemeine Fragen."/>
        <Q id="2" type="radio" prompt="1. Wer ist an der Schule die Ansprechperson für technische Fragen?">der Schulkoordinator/die Schulkoordinatorin selbst#eine andere Person (Eingabe nächstes Feld)#es gibt keine Ansprechperson</Q>
        <Q id="3" type="header" prompt="Abschnitt II: Fragen zur Beispielaufgabe."/>
        <Q id="4" type="text" prompt="1. Funktioniert die Textmarkierung auf der linken Seite?"/>
        <Q id="5" type="text" prompt="2. Ist das Bild auf der linken Seite neben dem Text zu sehen?"/>
        <Q id="6" type="text" prompt="3. Ist das Audio zu hören?"/>
        <Q id="7" type="text" prompt="4. Ist das Video zu sehen?"/>
    </Config>
</SysCheck>

Nachfolgend werden die Inhalte dieser XML näher erklärt.

Metadaten

Element Beschreibung
Label Eindeutiges Label. Dieses erscheint als Bezeichner für den System-Check in der System-Check Auswahl.
Description Beschreibung des System-Checks. Erscheint auch unterhalb des Bezeichners des System-Checks in der System-Check Auswahl.

Config

Attribut Beschreibung
unit ID der anzuzeigenden Aufgabe während des System-Checks.
savekey Kennwort zum Speichern des System-Check Berichtes
skipnetwork Ein-bzw. Ausschalten Ermittlung der Internetgeschwindigkeit

UploadSpeed

Attribut Beschreibung
min Mindestwert für die ermittelte Geschwindigkeit
good Wird dieser Wert bei der Messung erreicht, wird die Bewertung "gut" vergeben.
maxDevianceBytesPerSecond Wird der hier hinterlegte Wert bei der Messung überschritten, wird bis zum Wert von maxSequenceRepetitions wiederholt.
maxErrorsPerSequence
maxSequenceRepetitions Legt fest wie oft eine Messung wiederholt wird, wenn der Wert in maxDevianceBytesPerSecond überschritten wurde.

Die Daten: 100000, 200000, 400000, 800000 geben die zu testende Testheftgröße in Bit an. Diese Testheftgrößen werden nacheinander getestet.

DownloadSpeed

Attribut Beschreibung
min Mindestwert für die ermittelte Geschwindigkeit
good Wird dieser Wert bei der Messung erreicht, wird die Bewertung "gut" vergeben.
maxDevianceBytesPerSecond Wird der hier hinterlegte Wert bei der Messung überschritten, wird bis zum Wert von maxSequenceRepetitions wiederholt.
maxErrorsPerSequence
maxSequenceRepetitions Legt fest wie oft eine Messung wiederholt wird, wenn der Wert in maxDevianceBytesPerSecond überschritten wurde.

Die Daten: 400000, 800000, 1600000, 3200000 geben die zu testende Testheftgröße in Bit an. Diese Testheftgrößen werden nacheinander getestet.

Q

Attribut Beschreibung
id Legt eine Id für die Frage fest.
type Legt den Typ der Frage fest. Es gibt: header: Überschrift Abschnitt; text: Mehrzeiliges Textfeld; string: Einzeiliges Textfeld; radio: Radiobutton mit parametrierbaren Optionen über das Datenfeld.
prompt Legt den Text zum gewählten Fragetyp, siehe type, fest.

Durchführung

Verantwortliche vor Ort starten den System-Check an jedem Endgerät, welches an der Testungen teilnehmen soll. Ist im Vorfeld bekannt, dass alle Geräte hinsichtlich Betriebssystem, Browser und Bildschirmauflösung gleich ausgestattet sind, ist es ausreichend den Check nur an einem der Geräte durchzuführen. Am Ende jedes Checks muss ein Bericht gespeichert werden. Dazu muss (falls in System-Check-XML konfiguriert) ein Kennwort und ein sprechender Bezeichner für den Check eingegeben werden. Wird der System-Check mehrfach ausgeführt, wird ein bestehender Bericht im Arbeitsbereich um die entsprechenden Daten erweitert.

Hinweis

Um reelle Werte bei der Ermittlung der Internetgeschwindigkeit zu erhalten, sollte der System-Check unter Realbedingungen durchgeführt werden. Sprich es macht wenig Sinn den Check in den Ferien, nach Schulende oder am Wochenende durchzuführen.

Auswertung

Der System-Check Bericht kann nach Abschluss eines System-Checks im CSV-Format aus dem Arbeitsbereich unter dem Reiter: System-Check Berichte heruntergeladen werden. Die Auswertung sollte sich auf folgende Schwerpunkte beziehen:

Ist der Browser für die Studiendurchführung geeignet?

Im Kapitel Studiendurchführung/ Vorbetrachtungen, werden Systemanforderungen genannt, die hinsichtlich Browser- und Betriebssystem-Version zwingend erfüllt sein sollten.

Wie hoch ist die Auflösung des Wiedergabebildschirms?

Diese Frage spielt eine wichtige Rolle bzgl. der Darstellung und Lesbarkeit einer Aufgabe. Im System-Check können spezifische Fragestellungen zur Aufgabendarstellung konfiguriert werden. Die Auswertung der Antworten ergibt dann, ob die Aufgaben bzgl. der vorhandenen Bildschirme noch einmal angepasst werden müssen.

Welche Internet-Bandbreite wird für die Testung mindestens benötigt?

Ist die Bandbreite zu gering, kann im schlimmsten Fall die Testung am jeweiligen PC nicht durchgeführt werden. Die Interpretation der Netzwerkverbindung ist allerdings sehr unsicher. Man ist ja in der Durchführung nicht nur vom Computer abhängig, auf dem der Check läuft, sondern auch von der Last, die gerade durch andere Computer verursacht wird. Das kann dieselbe Testung sein, aber auch eine ungeplante Systemaktualisierung irgendwo anders im Haus, das einen umfangreichen Download auslöst.

Eine erste Warnung wird ausgelöst, wenn die Netzwerkverbindung stark schwankt. Für die Ermittlung einer als kritisch anzusehenden Bandbreite kann man folgendermaßen vorgehen:

  1. Ermittlung der Größe des größten Booklets: Im Testcenter wird unter dem Reiter: Dateien des Arbeitsbereiches eine Spalte “Größe” angezeigt. Diese Größe ist bei allen Dateien die tatsächliche Größe der Datei. Eine Ausnahme stellen die Dateien zur Testheft-Definition dar. Hier wird die Summe aller Dateien angezeigt, die für dieses Testheft geladen werden müssen (Testheft-XML, Aufgaben-XMLs, Aufgaben-VOUDs, Player-HTML).
  2. Festlegung der maximalen Zeit in Sekunden, nach der dieses Booklet geladen sein soll.
  3. Die Formel Testheft * 8 / Ladezeit ergibt den Mindestwert für den Download in MBit/s.

Dieses Verfahren ist einigermaßen verlässlich, weil die Ermittlung der Download-Geschwindigkeit das Ladeverhalten des Testcenters nachbildet. Die Pakete werden beispielsweise nacheinander geladen und nicht parallel.

Zurück nach oben