Testleitung und Testauswertung

Um die Vergleichbarkeit der Ergebnisse zu gewährleisten, müssen alle Schüler/innen bei der Testdurchführung die gleichen Rahmenbedingungen vorfinden. Dazu wird der Testablauf im Rahmen der Überprüfung der Bildungsstandards standardisiert und Personen, die als Testleiter/innen fungieren, werden bei einer Schulung mit diesen Abläufen vertraut gemacht. Die Auswertung der Daten erfolgt im Anschluss an die Überprüfung zentral am BIFIE (Department BISTA/Salzburg).

Die Standardisierung des Testablaufs ist eine wesentliche Voraussetzung dafür, dass die Standardüberprüfungen für alle Schüler/innen unter möglichst identischen Rahmenbedingungen stattfinden und valide Ergebnisse erbringen.

Eine Schlüsselrolle spielen dabei die Testleiter/innen, welche für die Testdurchführung in einer Klasse verantwortlich sind.

Interne Testleitung

Das BMBF (nunmehr BMB) hat entschieden, dass die Tests im Rahmen der Überprüfung der Bildungsstandards von Lehrerinnen und Lehrern der eigenen Schule geleitet werden sollen (= interne Testleitung). Dazu nominiert der Schulleiter oder die Schulleiterin für jede 4. Klasse eine/n Testleiter/in aus den Lehrpersonen der Schule. Für diese Auswahl gelten bestimmte Richtlinien:

  • Auf der 4. Schulstufe soll diese Lehrperson die zu testende Klasse nicht unterrichten.
  • Auf der 8. Schulstufe kommen Personen für die interne Testleitung infrage, die
    • Lehrkräfte der jeweiligen Schule sind
    • das jeweilige Testfach nicht unterrichten
    • die Schüler/innen im Schuljahr der Testung – wenn möglich – auch in keinem anderen Schulfach unterrichten.

Die Schulungen der internen Testleiter/innen bezüglich der Testabwicklung erfolgen regional durch entsprechende Fortbildungsveranstaltungen der Pädagogischen Hochschulen. Diese Veranstaltungen werden von speziell durch das BIFIE ausgebildeten Testleiter-Trainer/innen gehalten.

Externe Testleitung und Qualitätsprüfer/innen

Als Qualitätssicherungsmaßnahme wird in 7 % aller Klassen eine externe Testleitung eingesetzt und in 3 % der intern getesteten Klassen die Überprüfung durch eine/n Qualitätsprüfer/in beobachtet. Die Schulen und Klassen, an denen eine externe Testleitung oder eine Qualitätsprüfung zum Einsatz kommt, werden vom BIFIE zufällig ausgewählt.

Externe Testleiter/innen sind in der Testadministration geschulte Lehrpersonen, die den Test nicht an der eigenen, sondern an einer anderen Schule durchführen. Qualitätsprüfer/innen sind ebenfalls Lehrpersonen, die die Testleiterschulung absolviert haben. Sie erhalten darüber hinaus ein spezielles Training für die Qualitätsprüfung und besuchen dann im Auftrag des BIFIE eine Schule am Tag der Standardüberprüfung. Ihre Aufgabe besteht darin, die Abläufe zu beobachten und zu protokollieren und auf die korrekte Einhaltung der durch das BIFIE festgelegten standardisierten Abläufe zu achten.

Die Testsitzungen selbst werden an den von Qualitätsprüferinnen oder -prüfern besuchten Schulen von internen Testleiterinnen oder -leitern durchgeführt.

Standardisierung des Testablaufs

Bezüglich des standardisierten Testablaufs werden die Testleiter/innen eingeschult, ihre wichtigste Arbeitsunterlage bei der Testdurchführung selbst ist das Testleiter-Handbuch. Es beschreibt den Ablauf im Detail, dazu gehören z. B.:

  • die Vorbereitung des Testraums (Anordnung der Tische)
  • die Zuordnung der Schüler/innen zu ihren Arbeitsplätzen
  • die wortwörtlichen Anweisungen zu den Testteilen (Instruktionen)
  • die genaue Einhaltung der Testzeit
  • eine Protokollierung spezieller Vorkommnisse
  • etc.

Testauswertung

Die in den Tests gewonnenen Daten werden auf zwei verschiedene Arten verarbeitet.

  • Multiple-Choice-Items (Fragen zum Ankreuzen) werden eingescannt und elektronisch weiterverarbeitet.
  • Die halboffenen und offenen Items (Zahlen, Wörter, kürzere und längere Textteile und Texte) werden eingescannt, von externen und eigens ausgebildeten Personen beurteilt und danach weiterverarbeitet. Dieser Prozess wird als "Coding" sowie "Rating" bezeichnet.

Coding

Um halboffene und offene Schülerantworten einer weiteren elektronischen Datenverarbeitung zugänglich zu machen, werden diese Schüleraufgaben nach dem Scannen mithilfe der Scannersoftware herausgefiltert. Anschließend können die Schülerantworten direkt am Bildschirm nach vorgegebenen Richtlinien in Zifferncodes übersetzt werden. Dieser Prozess des Übersetzens wird als Coding bezeichnet. Personen, die diese „Übersetzungstätigkeit“ durchführen, werden als Coder bezeichnet. Coder werden im Vorfeld durch BIFIE-Mitarbeiter/innen geschult. Diese Ausbildungsphase enthält neben der Einführung in die verbindlichen Beurteilungsrichtlinien (Coding Guide) Trainingsmaterialien sowie praktische Übungsphasen. Der Codingprozess wird laufend einer Qualitätsprüfung unterzogen. Das Anforderungsprofil für Coder umfasst: eine abgeschlossene oder vor dem Abschluss stehende Lehramtsausbildung an der Universität oder Pädagogischen Hochschule, Unterrichtspraxis im Testfach sowie Zuverlässigkeit, Genauigkeit und Vertrautheit im Umgang mit Computern.

Rating

In Deutsch und Englisch verfassen die Schüler/innen zur Überprüfung der Schreibkompetenz ganze Texte. Nach Rücksendung der Testunterlagen an das BIFIE werden zunächst jene Antworten aussortiert, die unausgefüllt oder offensichtlich nicht im Sinne der Aufgabenstellung (Gekritzel, Ein-Wort-Beiträge etc.) bearbeitet worden sind. Die Beurteilung der Texte erfolgt durch sogenannte Raters. Die Ausbildung zum Rater umfasst sowohl Präsenzzeiten (Workshops) als auch eine Online-Phase, in der die Raters das Beurteilen nach den vorgegebenen Richtlinien üben und in den Workshops ihre Fragen und Anregungen dazu diskutieren können. Die laufende Qualitätssicherung erfolgt mittels sogenannter Double-Ratings (2 Raters beurteilen denselben Schülertext) und Multiple-Ratings (alle Raters beurteilen dieselben Texte). Hierdurch kann die Beurteilungsübereinstimmung zwischen den Raters kontrolliert werden. Voraussetzung für die Tätigkeit als Rater ist eine abgeschlossene Lehramtsausbildung an der Universität, Pädagogischen Akademie oder Pädagogischen Hochschule in Deutsch bzw. Englisch sowie aktuelle Erfahrungen in der Bewertung und Korrektur von deutschsprachigen bzw. englischen Schülertexten der Sekundarstufe I.

In Deutsch und Englisch werden darüber hinaus für die Beurteilung der mündlichen Leistungen der Schüler/innen sogenannte Assessors eingesetzt. Sie bewerten unter Zuhilfenahme eines Kriterienkatalogs Sprechleistungen (Deutsch, 4. und 8. Stufe; Englisch, 8. Stufe). Assessoren sind erfahrene Lehrer/innen. Sie werden ebenfalls in einer mehrphasigen Fortbildung in die Durchführung von Sprechtests und die Bewertung von Sprechperformanzen eingewiesen. 

Sollten Sie Interesse an diesen spannenden Tätigkeiten haben, dann kontaktieren Sie uns unter office.salzburg@bifie.at oder erkundigen Sie sich an der Pädagogischen Hochschule nach dem entsprechenden Fortbildungsangebot.

Im Anschluss an die Beurteilung der Schülerantworten findet die Auswertung und Analyse der Daten statt. Zunächst werden die Daten skaliert. Zur Skalierung der Leistungsdaten wird das Rasch-Modell (vgl. Rost, 2004) verwendet. Mittels Rasch-Modell wird ein Testwert für jeden Schüler/jede Schülerin ermittelt. Dies geschieht im Fall von Schreiben und Sprechen auch unter Berücksichtigung der Strenge/Milde der Person, die die Sprechleistung bzw. Texte bewertet hat.