Ausgangs­messung für die Über­prüfung der Bildungs­standards auf der 4. Schulstufe

Ausgangsmessung für die Überprüfung der Bildungsstandards auf der 4. Schulstufe

Im Frühjahr 2010 fand an 267 Volksschulen eine Ausgangsmessung (die sogenannte Baseline-Testung) statt. Sie lieferte Informationen, über welche Kompetenzen die Schüler/innen am Ende der 4. Schulstufe etwa zum Zeitpunkt der gesetzlichen Verordnung der Bildungsstandards – also vor deren Implementierung im Unterricht – verfügten und bildete damit eine wichtige Vergleichsbasis für die ab 2013 stattfindenden Standardüberprüfungen.

Funktion und Ziel der Baseline-Testung

Im April und Mai 2010 wurde an 267 österreichischen Volksschulen eine Baseline-Testung (Ausgangsmessung) über die auf der 4. Schulstufe vorhandenen Kompetenzen durchgeführt.

Die Baseline-Testung ist keine vollständige Erhebung, sondern basiert auf einer Stichprobe. Im Gegensatz zur Standardüberprüfung findet eine Baseline-Testung nur einmalig statt. Die Baseline-Testung auf der 4. Schulstufe verfolgte drei wesentliche Ziele:

  1. Die Baseline-Testung lieferte Informationen, über welche Kompetenzen die Schüler/innen am Ende der Volksschule bereits verfügten, bevor Bildungsstandards im Unterricht implementiert waren. Die Daten aus der Baseline-Testung dienen als Vergleichsbasis für die zukünftigen Standarderhebungen und sollen Aufschluss über die Wirksamkeit der Implementierungsmaßnahmen der Bildungsstandards geben.
  2. Im Rahmen der Baseline-Testung wurde neben bereits validierten Items eine Reihe neuer Items erprobt. Dabei handelte es sich um Testitems für die Kompetenzbereiche Einsicht in Sprache durch Sprachbetrachtung (inkl. Rechtschreiben), Lesen sowie Verfassen von Texten. Die Testitems wurden im Auftrag des BIFIE von der Universität Klagenfurt entwickelt. Weiters wurden die Kontextfragebögen hinsichtlich Verständlichkeit und Umfang überprüft. Insbesondere jene Fragebogenteile, die 2012/13 einen fairen Vergleich der Schulen erlauben und sinnvolle Informationen für die Qualitätsentwicklung an den Schulen liefern sollten, mussten in einer großflächigen Studie sorgfältig validiert und methodisch geprüft werden. Denn nur validierte, d. h. erprobte, geprüfte und methodisch einwandfreie Fragen durften ab 2012/13 in der Gesamterhebung der Schulen zum Einsatz kommen (vgl. BGBl. I Nr. 1/2009).
  3. Die Baseline-Testung ermöglichte zudem die Erprobung bestimmter methodischer und logistischer Abläufe der zukünftigen Standardüberprüfungen, z. B. die Testinstruktionen, das Testdesign, die Skalierung  sowie gewisse Rückmeldeprozeduren.

Die Ergebnisse aus der Baseline-Testung und aus den Kontextfragebögen sollten Informationen zu folgenden Fragestellungen liefern:

  • Welchen Kompetenzstand haben die Schüler/innen in den Fächern Deutsch/Lesen/Schreiben und Mathematik?
  • Wie können den Schulen möglichst „faire und informative Vergleiche“ rückgemeldet werden, um die Schulentwicklungsprozesse zu fördern?

Unter „fairen“ Vergleichen versteht man den Vergleich von tatsächlich Vergleichbarem, etwa Schulen mit ähnlichen Voraussetzungen (z. B. städtisch/ländlich, hoher/niedriger Anteil an Schülerinnen und Schülern mit Migrationshintergrund).

Zuständigkeit und Verantwortung bei der Baseline-Testung auf der 4. Schulstufe

Das Bundesministerium für Unterricht, Kunst und Kultur (BMUKK, nunmehr BMBWF) beauftragte das BIFIE mit der Durchführung der Baseline-Testung sowie mit den Erhebungen zu den Bildungsstandards ab dem Schuljahr 2011/12. Die wissenschaftliche Entwicklung und Konzeption der Erhebungsinstrumente (Tests und Fragebögen), die Stichprobenziehung sowie die Durchführung der Baseline-Testung, die Erhebung und Aufbereitung der Daten sowie die Rückmeldung der Ergebnisse verantwortete das BIFIE am Standort Salzburg. Darüber hinaus stand für den direkten Kontakt mit den einzelnen Schulen in jedem Bundesland eine Bundeslandkoordinatorin/ein Bundeslandkoordinator zur Verfügung.

Datenschutz

Das BIFIE hält sich streng an die Vorgaben des Datenschutzgesetzes 2000 und verarbeitet Daten zu wissenschaftlichen Zwecken im gesetzlichen Auftrag des BMUKK (nunmehr BMBWF). Ebenso sind alle Mitarbeiter/innen des Bundesinstituts BIFIE per BIFIE-Gesetz (BGBl. I Nr. 25/2008, § 3 Abs. 2) zur absoluten Verschwiegenheit verpflichtet. Dadurch ist ein sorgfältiger, sensibler Umgang mit den Daten gewährleistet.

Für die Durchführung der Baseline-Testung erhielt das BIFIE von den zufällig ausgewählten Schulen anonymisierte Schülerlisten für jede teilnehmende Klasse. Diese Listen beinhalteten neben einer laufenden Nummer das Geburtsdatum der Schüler/innen. Es wurden keine Namen der Schüler/innen an das BIFIE übermittelt. Die Erhebung des Geburtsdatums erfolgte, um die korrekte Zuordnung des Testmaterials zu ermöglichen. Durch diese Vorgehensweise besteht weder am BIFIE noch an der Schule die Möglichkeit der Zuordnung von Schülerangaben/Testergebnissen zu den Namen der Schüler/innen. Für das BIFIE ist das der Fall, weil es nicht im Besitz der Namen der Schüler/innen ist. Die Schulen wiederum haben keinen Zugriff auf die Angaben der Schüler/innen in den Testheften und Schülerfragebögen.

Die Testung

Stichprobe

Insgesamt nahmen an der Baseline-Testung an drei verschiedenen Testtagen 9487 Schüler/innen aus 500 Klassen und 267 Schulen teil. Die Auswahl der Schulen erfolgte nach dem Prinzip einer geschichteten Zufallsstichprobe. An jedem Schulstandort wurden bis zu drei Klassen für den Test zufällig ausgewählt.

Testtermine

Aus Gründen der Gültigkeit und Vergleichbarkeit der gewonnenen Ergebnisse war es notwendig, die Kompetenzfeststellung im jeweiligen Bereich (Deutsch/Lesen/Schreiben, Mathematik) österreichweit in allen beteiligten Schulen am selben Testtag durchzuführen. Aus Gründen der Belastbarkeit wurde der Bereich Deutsch auf zwei Testtermine aufgeteilt. In Absprache mit dem BMUKK (nunmehr BMBWF) wurden folgende Erhebungstermine festgesetzt:

Deutsch/Teil 1: Dienstag, 20. April 2010
Deutsch/Teil 2: Mittwoch, 28. April 2010
Mathematik: Donnerstag, 6. Mai 2010

Unter besonderen Umständen bestand die Möglichkeit, einen Ersatztermin wahrzunehmen.

Testablauf

Die Testungen wurden von speziell dafür geschulten Personen (in der Regel Lehrpersonen von anderen Schulen) durchgeführt. Der Einsatz dieser externen Testleiter/innen führte einerseits zu einer Minimierung des Aufwands für die Schulen und gewährleistete andererseits eine objektive, standardisierte Testdurchführung. Während des Tests musste eine Lehrperson der Schule für die Testleiterin/den Testleiter erreichbar sein. In der Klasse war jedoch während der Testung keine schulinterne Lehrperson anwesend. Die Testungen fanden vormittags statt und dauerten (inklusive Pausen) pro Testtag maximal zwei Stunden. Die reine Testzeit an jedem Testtag betrug jeweils 2 x 40 Minuten, dazwischen gab es eine Pause.

Testinhalt

In den Tests wurden ausschließlich schriftliche Testverfahren eingesetzt. Die Testaufgaben bezogen sich auf die in der Verordnung genannten Kompetenzen und Kompetenzbereiche.

  • Deutsch: In Deutsch bearbeiteten die Schüler/innen Aufgaben aus den Bereichen Verfassen von Texten, Rechtschreiben, Sprachbetrachtung und Lesen. Dabei kamen vor allem Multiple-Choice-Formate und offene Antwortformate zum Einsatz.
  • Mathematik: In Mathematik wurden allgemeine mathematische Kompetenzen (Modellieren, Operieren, Kommunizieren und Problemlösen) sowie inhaltliche mathematische Kompetenzen (Arbeiten mit Zahlen, Arbeiten mit Operationen, Arbeiten mit Größen sowie Arbeiten mit Ebene und Raum) getestet. Zur Beantwortung waren überwiegend Multiple-Choice-, halboffene sowie offene Antwortformate vorgegeben.

Kontextfragebögen

Durch die Kontextfragebögen wurden Informationen erhoben, die zur Erfassung der Rahmenbedingungen des Lernens, zur Erklärung von Schülerleistungen sowie zur sinnvollen Rückmeldung der Ergebnisse notwendig waren.

  • Schülerfragebogen: Der Schülerfragebogen erfasst Informationen, die dazu beitragen, die festgestellten Schülerleistungen fair zu vergleichen. Dadurch können unterschiedliche Rahmenbedingungen des Lernens bei der Rückmeldung der Ergebnisse berücksichtigt werden. Der Schülerfragebogen liefert zudem wichtige Ausgangsdaten für die Qualitätsentwicklung an Schulen. Der Schülerfragebogen umfasst einerseits allgemeine Hintergrundinformationen (z. B. Geschlecht und Migrationshintergrund) sowie fachspezifische Fragen zu Deutsch/Lesen/Schreiben und Mathematik (z. B. Zeit, die für das Lernen in Mathematik aufgewendet wird). Die Beantwortung des Fragebogens erfolgte im Anschluss an den ersten Testtag und nahm etwa 20 Minuten in Anspruch.
  • Elternfragebogen: Der Elternfragebogen dient einerseits dazu, die Belastung der Schüler/innen möglichst gering zu halten. Zudem gibt es Merkmale, die für eine sinnvolle Rückmeldung der Ergebnisse erfasst werden müssen, die aber von Schülerinnen und Schülern dieses Alters schwer bzw. nur ungenau abfragbar sind. Damit eine möglichst geringe Belastung der Schüler/innen bei einer gleichzeitig möglichst hohen Genauigkeit der Ergebnisse gewährleistet werden kann, wurden auch die Eltern/Erziehungsberechtigten gebeten, einen Fragebogen auszufüllen. Der Elternfragebogen umfasst einerseits allgemeine Hintergrundinformationen (z. B. Beruf und Bildungshintergrund der Eltern) sowie Fragen über Informationsstand und Einstellung gegenüber Bildungsstandards. Die Beantwortung des Fragebogens nahm etwa 20 Minuten in Anspruch.
  • Lehrerfragebogen: Der Lehrerfragebogen liefert Informationen für die Analyse von Faktoren, die das Lernen in den Testklassen möglicherweise beeinflussen können. Es werden ausschließlich auf die getestete Klasse bezogene Daten erhoben, nicht erhoben werden persönliche Informationen zur Lehrperson. Der Lehrerfragebogen gliedert sich in einen allgemeinen Teil (z. B. Zusammensetzung der getesteten Klasse) sowie in Fragen zum Unterricht (z. B. Kompetenzorientierung im Unterricht und Rahmenbedingungen des Unterrichts). Die Beantwortung des Fragebogens nahm etwa 20 Minuten in Anspruch.
  • Schulleiterfragebogen: Der Schulleiterfragebogen bildet die Grundlage für die individuelle Schulrückmeldung und ermöglicht damit einen fairen Vergleich zwischen Schulen mit ähnlichen Voraussetzungen. Es werden ausschließlich auf die Schule bezogene Daten erhoben, nicht erhoben werden persönliche Informationen zur Schulleiterin/zum Schulleiter. Der Schulleiterfragebogen erhebt allgemeine Informationen zur Schule (z. B. Schulgröße), zu Schülerinnen und Schülern sowie zu den Lehrkräften. Die Beantwortung des Fragebogens nahm etwa 20 Minuten in Anspruch.

Datenverarbeitung

Die in den Tests gewonnenen Daten wurden auf zwei verschiedene Arten verarbeitet. Multiple-Choice-Formate wurden eingescannt und elektronisch weiterverarbeitet. Die halboffenen und offenen Antwortformate (kürzere und längere Textteile und Texte) wurden von externen und eigens ausgebildeten Expertinnen und Experten beurteilt und elektronisch weiterverarbeitet.

Rückmeldung der Ergebnisse

Jede getestete Schülerin/jeder getestete Schüler erhielt bei der Testung einen Zufallscode, mit dem sie/er die individuellen Testergebnisse ab Dezember 2010 über das Internet anonym abrufen konnte. Diese Daten unterliegen den geltenden Datenschutzbestimmungen und dürfen „nicht auf eine bestimmte Schülerin oder auf einen bestimmten Schüler zurückgeführt werden können, außer durch diese oder diesen selbst“ (BGBl. I Nr. 1/2009). Die (Klassen-)Lehrer/innen erhielten anonymisierte und aggregierte Ergebnisse ihrer Klasse und die Schulleiter/innen erhielten einen Bericht über die Schule (mit Vergleichswerten) und über die Klassen in aggregierter (zusammenfassender) Form. Da es sich bei der Baseline-Testung um eine Erhebung an einer Stichprobe handelt, wurden keine Bezirks- und Landesberichte an die Schulaufsicht erstellt.

Im Herbst 2010 hat das BIFIE Informationsveranstaltungen für Schulaufsichtsbeamte und für die Schulleiter/innen der getesteten Schulen durchgeführt, um diese über Form und Inhalte der Rückmeldungen sowie deren Verwendung für die Schulentwicklung zu informieren.

In unserem Materialienbereich finden Sie Musterrückmeldungen an Schüler/innen, Lehrer/innen und Schulleiter/innen.

Information und Kommunikation

Durch die Einbeziehung der Schulpartner in den Diskussionsprozess bzw. durch die regelmäßige Weitergabe von Informationen soll eine möglichst hohe Transparenz geschaffen werden. Dabei kommen nachstehende Informationswege zum Einsatz:

  • Das Bundesministerium für Unterricht, Kunst und Kultur (BMUKK, nunmehr BMBWF) wurde als Auftraggeber der Bildungsstandards laufend vom BIFIE über alle aktuellen Entwicklungen informiert.
  • Das BMUKK informierte die LSR/SSR-Präsidentinnen und -Präsidenten über die bevorstehenden Testtermine und ersuchte sie um Unterstützung der Baseline-Testung.
  • Auch das BIFIE  informierte die LSR/SSR-Präsidentinnen und -Präsidenten sowie die Schulbehörden bzw. Schulaufsichtsorgane (LSI/BSI) über die Baseline-Testung und deren Ablauf.
  • Schulleiter/innen, Lehrer/innen, Schüler/innen und Eltern der in der Stichprobe gezogenen Schulen (Klassen) erhielten vonseiten des BIFIE zeitgerecht alle Informationen bezüglich Inhalt und Vorgehensweise bei der Baseline-Testung 2010. Dadurch konnte ein weitestgehend reibungsloser und standardisierter Ablauf an den Schulen gewährleistet werden.
  • Das BIFIE hat die Bundeselternvertreter/innen am 1. Dezember 2009 zu einer ausführlichen Informationsrunde über Inhalt und Vorgangsweise bei den laufenden Erhebungen des BIFIE eingeladen. Dabei war auch die Baseline-Testung ein wichtiges Thema.

Weiterführende Informationen