Ausgangs­messung für die Über­prüfung der Bildungs­standards auf der 8. Schulstufe

Ausgangsmessung für die Überprüfung der Bildungsstandards auf der 8. Schulstufe

Im Frühjahr 2009 fand an 204 Schulen der Sekundarstufe I eine Ausgangsmessung (sogenannte Baseline-Testung) statt. Sie liefert Informationen, über welche Kompetenzen die Schüler/innen am Ende der 8. Schulstufe etwa zum Zeitpunkt der gesetzlichen Verordnung der Bildungsstandards – also vor deren Implementierung im Unterricht – verfügten und bildet damit eine wichtige Vergleichsbasis für die ab 2012 stattfindenden Standardüberprüfungen.

Funktion und Ziel der Baseline-Testung

Im April und Mai 2009 wurde im Hinblick auf die Standardüberprüfungen ab 2012 an 204 Schulen der Sekundarstufe I (HS und AHS) eine Baseline-Testung (Ausgangsmessung) über die auf der 8. Schulstufe vorhandenen Kompetenzen durchgeführt.

Die Baseline-Testung ist keine vollständige Erhebung, sondern basiert auf einer Stichprobe. Im Gegensatz zur Standardüberprüfung findet eine Baseline-Testung nur einmalig statt. Die Baseline-Testung auf der 8. Schulstufe verfolgte drei wesentliche Ziele:

  1. Die Baseline-Testung lieferte Informationen, über welche Kompetenzen die Schüler/innen am Ende der Sekundarstufe bereits verfügten, bevor Bildungsstandards im Unterricht implementiert waren. Die Daten aus der Baseline-Testung dienten als Vergleichsbasis für die zukünftigen Standarderhebungen und sollten Aufschluss über die Wirksamkeit der Implementierungsmaßnahmen der Bildungsstandards geben.
  2. Im Rahmen der Baseline-Testung wurden bereits pilotierte Items nochmals in einer größeren Stichprobe eingesetzt. Weiters wurden die Kontextfragebögen hinsichtlich Verständlichkeit und Umfang überprüft.  Insbesondere jene Fragebogenteile, die ab 2011/12 einen fairen Vergleich der Schulen erlaubten und die sinnvolle Informationen für die Qualitätsentwicklung an den Schulen liefern sollten, mussten in einer großflächigen Studie sorgfältig validiert und methodisch geprüft werden. Denn nur validierte, d. h. erprobte, geprüfte und methodisch einwandfreie Fragen durften ab 2012/13 in der Gesamterhebung der Schulen zum Einsatz kommen (vgl. BGBl. I Nr. 1/2009).
  3. Die Baseline-Testung ermöglichte zudem die Erprobung bestimmter methodischer und logistischer Abläufe der zukünftigen Standardüberprüfungen, z. B. die Testinstruktionen, das Testdesign, die Skalierung  sowie gewisse Rückmeldeprozeduren.

Die Ergebnisse aus der Baseline-Testung und aus den Kontextfragebögen sollten Informationen zu folgenden Fragestellungen liefern:

  • Welchen Kompetenzstand haben die Schüler/innen in den Fächern Deutsch, Englisch und Mathematik?
  • Wie können den Schulen möglichst „faire und informative Vergleiche“ rückgemeldet werden, um die Schulentwicklungsprozesse zu fördern?

Unter „fairen“ Vergleichen versteht man den Vergleich von tatsächlich Vergleichbarem, etwa Schulen mit ähnlichen Voraussetzungen (z. B. städtisch/ländlich, hoher/niedriger Anteil an Schülerinnen und Schülern mit Migrationshintergrund).

Zuständigkeit und Verantwortung bei der Baseline-Testung auf der 8. Schulstufe

Das Bundesministerium für Unterricht, Kunst und Kultur (BMUKK, nunmehr BMBWF) beauftragte das BIFIE mit der Durchführung der Baseline-Testung sowie mit den Erhebungen zu den Bildungsstandards ab dem Schuljahr 2011/12. Die wissenschaftliche Entwicklung und Konzeption der Erhebungsinstrumente (Tests und Fragebögen), die Stichprobenziehung sowie die Durchführung der Baseline-Testung, die Erhebung und Aufbereitung der Daten sowie die Rückmeldung der Ergebnisse verantwortete das BIFIE am Standort Salzburg. Darüber hinaus stand für den direkten Kontakt mit den einzelnen Schulen in jedem Bundesland eine Bundeslandkoordinatorin/ein Bundeslandkoordinator zur Verfügung.

Datenschutz

Das BIFIE hält sich streng an die Vorgaben des Datenschutzgesetzes 2000 und verarbeitet Daten zu wissenschaftlichen Zwecken im gesetzlichen Auftrag des BMUKK (nunmehr BMBWF). Ebenso sind alle Mitarbeiter/innen des Bundesinstituts BIFIE per BIFIE-Gesetz (BGBl. I Nr. 25/2008, § 3 Abs. 2) zur absoluten Verschwiegenheit verpflichtet. Dadurch ist ein sorgfältiger, sensibler Umgang mit den Daten gewährleistet.

Für die Durchführung der Baseline-Testung erhielt das BIFIE von den zufällig ausgewählten Schulen anonymisierte Schülerlisten für jede teilnehmende Klasse. Diese Listen beinhalteten neben einer laufenden Nummer das Geburtsdatum der Schüler/innen. Es wurden keine Namen der Schüler/innen an das BIFIE übermittelt. Die Erhebung des Geburtsdatums erfolgte, um die korrekte Zuordnung des Testmaterials zu ermöglichen. Durch diese Vorgehensweise bestand weder am BIFIE noch an der Schule die Möglichkeit der Zuordnung von Schülerangaben/Testergebnissen zu den Namen der Schüler/innen. Für das BIFIE ist das der Fall, weil es nicht im Besitz der Namen der Schüler/innen ist. Die Schulen wiederum haben keinen Zugriff auf die Angaben der Schüler/innen in den Testheften und Schülerfragebögen.

Die Testung

Stichprobe

Insgesamt nahmen an der Baseline-Testung auf der 8. Schulstufe an drei verschiedenen Testtagen 205 Schulen und 10.843 Schüler/innen teil. Die Auswahl der Schulen erfolgte nach dem Prinzip einer geschichteten Zufallsstichprobe. An jedem Schulstandort wurden bis zu drei Klassen für den Test zufällig ausgewählt.

Es handelt sich bei dieser Testung um die größte flächendeckend organisierte Überprüfung von Kompetenzen, die nach TIMSS 95 in Österreich stattgefunden hat.

Testtermine

Aus Gründen der Gültigkeit und Vergleichbarkeit der gewonnenen Ergebnisse war es notwendig, die Kompetenzfeststellung im jeweiligen Bereich (Deutsch, Englisch und Mathematik) österreichweit in allen beteiligten Schulen am selben Testtag durchzuführen. In Absprache mit dem BMUKK (nunmehr BMBWF) wurden folgende Erhebungstermine festgesetzt:

Englisch: Mittwoch, 22. April 2009
Deutsch: Dienstag, 28. April 2009
Mathematik: Donnerstag, 7. Mai 2009

Unter besonderen Umständen bestand die Möglichkeit, einen Ersatztermin wahrzunehmen.

Testablauf

Die Testungen wurden von speziell dafür geschulten Personen (in der Regel Lehrpersonen von anderen Schulen) durchgeführt. Während des Tests musste eine Lehrperson der Schule für die Testleiterin/den Testleiter erreichbar sein. In der Klasse war jedoch während der Testung keine schulinterne Lehrperson anwesend. Die Testungen fanden vormittags statt und dauerten (inklusive Pausen) pro Testtag maximal 2,5 Stunden. Die maximale Testzeit an einem Testtag betrug zweimal ca. 45 (Mathematik) oder dreimal ca. 40 (Deutsch und Englisch) Minuten, dazwischen gab es eine Pause.

Testinhalt

In den Tests wurden sowohl schriftliche als auch mündliche Testverfahren eingesetzt. Die Testaufgaben bezogen sich auf die in der Verordnung genannten Kompetenzen und Kompetenzbereiche.

  • Deutsch: In Deutsch wurden von den Schülerinnen und Schülern drei verschiedene Testhefte zu den Bereichen Lesen, Schreiben und Rechtschreib-/Sprachbewusstsein bearbeitet. Dabei kamen vor allem Multiple-Choice-Formate und halboffene Antwortformate zum Einsatz.
  • Englisch: In Englisch mussten drei verschiedene Testhefte zu den Bereichen Reading, Listening und Writing bearbeitet werden. In den Bereichen Reading und Listening wurden Multiple-Choice-Formate eingesetzt, für den Testbereich Writing mussten zwei Texte geschrieben werden. An einigen Schulen wurde auch der Kompetenzbereich Speaking getestet. Dabei mussten die Schüler/innen paarweise 15 Minuten zu vorgegebenen Themen sprechen.
  • Mathematik: Die Schüler/innen bearbeiteten in 90 Minuten ein Testheft mit einer Pause von 10 Minuten. Dabei wurden neben dem Multiple-Choice-Format halboffene und offene Antwortformate verwendet.

Kontextfragebögen

Durch die Kontextfragebögen wurden Informationen erhoben, die zur Erfassung der Rahmenbedingungen des Lernens, zur Erklärung von Schülerleistungen sowie zur sinnvollen Rückmeldung der Ergebnisse notwendig waren.

  • Schülerfragebogen: Der Schülerfragebogen erfasst Informationen, die dazu beitragen, die festgestellten Schülerleistungen fair zu vergleichen. Dadurch können unterschiedliche Rahmenbedingungen des Lernens bei der Rückmeldung der Ergebnisse berücksichtigt werden. Der Schülerfragebogen liefert zudem wichtige Ausgangsdaten für die Qualitätsentwicklung an Schulen. Der Schülerfragebogen umfasst einerseits allgemeine Hintergrundinformationen (z. B. Geschlecht und Migrationshintergrund) sowie fachspezifische Fragen zu den getesteten Fächern Deutsch, Englisch und Mathematik (z. B. Zeit, die für das Lernen in Mathematik aufgewendet wird). Die Beantwortung des Fragebogens erfolgte im Anschluss an den dritten Testtag und nahm etwa 20 Minuten in Anspruch.
  • Schulleiterfragebogen: Der Schulleiterfragebogen bildet die Grundlage für die Schulrückmeldung und ermöglicht damit einen fairen Vergleich zwischen Schulen mit ähnlichen Voraussetzungen. Es werden ausschließlich auf die Schule bezogene Daten erhoben, nicht erhoben werden persönliche Informationen zur Schulleiterin/zum Schulleiter. Der Schulleiterfragebogen erhebt allgemeine Informationen zur Schule (z. B. Schulgröße), zu Schülerinnen und Schülern sowie zu den Lehrkräften. Die Beantwortung des Fragebogens nahm etwa 20 Minuten in Anspruch.

Die Fragebögen können in unserem Materialienbereich unter Erhebungsmaterialien und Fragebögen abgerufen werden.

Datenverarbeitung

Die in den Tests gewonnenen Daten wurden auf zwei verschiedene Arten verarbeitet. Multiple-Choice- und  halboffene Formate wurden eingescannt und elektronisch weiterverarbeitet. Die offenen Antwortformate (längere und kürzere Texte und Textteile) wurden von externen und eigens ausgebildeten Expertinnen und Experten beurteilt und elektronisch weiterverarbeitet.

Rückmeldung der Ergebnisse

Jede getestete Schülerin/jeder getestete Schüler erhielt bei der Testung einen Code, mit dem sie/er die individuellen Testergebnisse ab Jänner 2010 über das Internet anonym abrufen konnte. Diese Daten unterliegen den geltenden Datenschutzbestimmungen und dürfen „nicht auf eine bestimmte Schülerin oder auf einen bestimmten Schüler zurückgeführt werden können, außer durch diese oder diesen selbst“ (BGBl. I Nr. 1/2009). Die (Klassen-)Lehrer/innen erhielten anonymisierte und aggregierte Ergebnisse ihrer Klasse, für die Schulleiter/innen wurde ein Bericht über die Schule (mit Vergleichswerten) und über die Klassen/Gruppen in aggregierter (zusammenfassender) Form erstellt. Da es sich bei der Baseline-Testung um eine Erhebung an einer Stichprobe handelt, wurden keine Bezirks- und Landesberichte an die Schulaufsicht erstellt.

In unserem Materialienbereich finden Sie Musterrückmeldungen an Schüler/innen, Lehrer/innen und Schulleiter/innen.

Information und Kommunikation

Durch die Einbeziehung der Schulpartner in den Diskussionsprozess bzw. durch die regelmäßige Weitergabe von Informationen sollte eine möglichst hohe Transparenz geschaffen werden. Dabei kamen nachstehende Informationswege zum Einsatz:

  • Das Bundesministerium für Unterricht, Kunst und Kultur (BMUKK, nunmehr BMBWF) wurde als Auftraggeber der Bildungsstandards laufend vom BIFIE über alle aktuellen Entwicklungen informiert.
  • Das BMUKK informierte die LSR/SSR-Präsidentinnen und -Präsidenten über die bevorstehenden Testtermine und ersuchte sie um Unterstützung der Baseline-Testung.
  • Auch das BIFIE  informierte die LSR/SSR-Präsidentinnen und -Präsidenten sowie die Schulbehörden bzw. Schulaufsichtsorgane (LSI/BSI) über die Baseline-Testung und deren Ablauf.
  • Schulleiter/innen, Lehrer/innen, Schüler/innen und Eltern der in der Stichprobe gezogenen Schulen (Klassen) erhielten vonseiten des BIFIE zeitgerecht alle Informationen bezüglich Inhalt und Vorgehensweise bei der Baseline-Testung 2009.

Weiterführende Informationen