Zyklus­bericht – 5 Jahre flächen­decken­de Bildungs­standard­über­prüfun­gen in Öster­reich




Ergebnisse der Überprüfung im Überblick

Ergebnisse der Standardüberprüfung Mathematik, 8. Schulstufe (2017) im Überblick

Im Frühjahr 2017 haben rund 72.700 Schüler/innen an ca. 1400 Neuen Mittelschulen (NMS), Hauptschulen (HS) und allgemeinbildenden höheren Schulen (AHS) an der Überprüfung der Bildungsstandards im Fach Mathematik auf der 8. Schulstufe teilgenommen. Die Kompetenzen in Mathematik wurden nach 2012 nun zum zweiten Mal flächendeckend überprüft, sodass ein Vergleich der Ergebnisse zwischen den Überprüfungen 2012 und 2017 möglich ist.

Die Ergebnisse der Standardüberprüfung geben Schulen und dem Schulsystem objektivierte Auskunft darüber, wie gut die nachhaltige Vermittlung von grundlegenden Kompetenzen gelingt und bieten eine wichtige Basis für gezielte und produktive Qualitätsentwicklung am Schulstandort.

Schulleiter/innen, Lehrer/innen und Schüler/innen bis hin zu pädagogischen und politischen Entscheidungsträgerinnen und Entscheidungsträgern konnten die für sie relevanten individualisierten Rückmeldungen mit den entsprechenden Zugangscodes von 20. Februar bis Ende September 2018 über eine Onlineplattform abrufen. Für Schulleiter/innen stehen die Berichte auf der Erhebungsplattform PLATO zur Verfügung und können somit weiterhin abgerufen werden.

Für die Öffentlichkeit werden die zusammengefassten Ergebnisse der Standardüberprüfung 2017 auf Bundes- und Landesebene über die BIFIE-Website bereitgestellt. Diese können im Bereich Bundes- und Landesergebnisberichte zu den Standardüberprüfungen abgerufen werden.

Für Interessierte steht auf der BIFIE-Website außerdem jeweils ein Musterexemplar mit fiktiven Werten des Schulberichts, der Rückmeldung an die Lehrer/innen sowie der Schülerrückmeldung zur Verfügung.

Die Kompetenzen der Schüler/innen in Mathematik am Ende der 8. Schulstufe

Schüler/innen, die die Bildungsstandards in Mathematik am Ende der 8. Schulstufe erreichen, können mathematische Fertigkeiten in realitätsnahen und variablen Situationen zur Lösung von Aufgaben oder Problemen anwenden. So sollten Schüler/innen etwa Tabellen nicht nur im Schulbuch lesen, sondern auch einem Fahrplan auf dem Bahnhof die relevanten Informationen entnehmen können.

Bei der Kompetenzmessung im Frühjahr 2017 wurde Folgendes wissenschaftlich gesichert festgestellt:

  • 52 % der Schüler/innen erreichen die Bildungsstandards. Sie verfügen über die entsprechenden mathematischen Kompetenzen und können diese Fähigkeiten und Fertigkeiten in variablen Situationen flexibel einsetzen.
  • 6 % der Schüler/innen übertreffen die Bildungsstandards und somit die Anforderungen.
  • 27 % der Jugendlichen erreichen die Standards teilweise und können ihre mathematischen Kenntnisse in bekannten Kontexten einsetzen.
  • 15 % haben Mühe mit den einfachsten Mathematikaufgaben und erreichen die Bildungsstandards nicht. Die persönliche und schulische Entwicklung dieser Schüler/innen ist dadurch ernsthaft gefährdet.

Im Vergleich zur ersten Erhebung in Mathematik im Jahr 2012 verringerte sich der Anteil jener, die die Standards nicht erreichen, um 2 Prozentpunkte (2012: 17 %). Ein tendenzieller Anstieg (1 Prozentpunkt) ist umgekehrt bei Spitzenschülerinnen und -schülern zu verzeichnen, die die Bildungsstandards übertreffen.

In Punkten ausgedrückt hat sich das Ergebnis mit einem Wert bei der Überprüfung 2017 von 542 Punkten österreichweit um durchschnittlich 7 Punkte gegenüber 2012 verbessert. Seit der Ausgangsmessung im Jahr 2009 (etwa zum Zeitpunkt der Einführung von Bildungsstandards) ist der Mittelwert für Gesamtösterreich um 42 Punkte gestiegen.

Mathematikkompetenz kann nach Handlungsbereichen (Welche mathematischen Prozesse sind zum Lösen einer Aufgabe erforderlich?) und Inhaltsbereichen (Welcher mathematische Inhalt liegt der Aufgabe zugrunde?) strukturiert werden. Die Veränderungen seit der Überprüfung 2012 sind über alle Handlungs- und Inhaltsbereiche hinweg von ähnlicher Größenordnung.

Geschlechter- und Chancengerechtigkeit

Burschen schneiden im Fach Mathematik im Schnitt etwas besser ab als Mädchen. Der Vorsprung beträgt 7 Punkte.

Schüler/innen mit Migrationshintergrund weisen im Schnitt niedrigere Kompetenzen auf als Jugendliche ohne Migrationshintergrund. Der Unterschied beträgt 64 Punkte, reduziert sich jedoch auf 39 Punkte, wenn nur Jugendliche mit und ohne Migrationshintergrund mit jeweils gleichem Sozialstatus verglichen werden.

Es gibt einen starken Zusammenhang zwischen dem Bildungsabschluss der Eltern und den Leistungen ihrer 14-jährigen Kinder. Vergleicht man Jugendliche, deren Eltern maximal Pflichtschulabschluss haben, mit Schülerinnen und Schülern, deren Eltern eine Hochschule absolvierten, so ergibt sich eine Mittelwertdifferenz von 101 Punkten. Damit sind Leistungsunterschiede aufgrund unterschiedlicher Bildungsherkunft größer als jene aufgrund von Migrationsstatus oder Erstsprache. Diese Unterschiede entsprechen grob geschätzt bis zu drei Lernjahren, wenn man davon ausgeht, dass ein Lernjahr etwa 30 Punkte ausmacht.

Im Vergleich zur ersten flächendeckenden Erhebung im Jahr 2012 sind die Geschlechterunterschiede gleich geblieben, die Unterschiede nach Migrationshintergrund und Bildungsabschluss der Eltern haben sich minimal verringert. Soziale Benachteiligung im Bildungsbereich stellt damit nach wie vor eine große Herausforderung für Schule und Unterricht dar.

Ergebnisse in den Schulsparten

Die Entscheidung, in der Sekundarstufe 1 eine allgemeinbildende Pflichtschule (APS – NMS oder im Jahr 2013 auch noch die Hauptschule) oder eine allgemeinbildende höhere Schule (AHS) zu besuchen, hängt unter anderem von der in der Grundschule erbrachten Leistung ab. So zeigte die Standardüberprüfung Mathematik am Ende der 4. Schulstufe im Jahr 2013, dass es etwa 17 % der Schüler/innen am Übergang zur APS an elementaren Kompetenzen in Mathematik mangelt, während dies nur auf 2 % der Schüler/innen am Übergang zur AHS-Unterstufe zutrifft. Die Unterschiede, die bereits zu Beginn der 5. Schulstufe zwischen APS und AHS bestehen, setzen sich bis zum Ende der 8. Schulstufe fort und spiegeln im Wesentlichen die Selektionsmechanismen am Übergang von der Volksschule in die Sekundarstufe 1 wider. In den AHS erreichen am Ende der 8. Schulstufe 71 % der Schüler/innen die Bildungsstandards in Mathematik, 13 % übertreffen sie sogar – in den APS erreichen 42 % die Standards und 2 % übertreffen diese. Schüler/innen mit sehr niedriger Mathematikkompetenz befinden sich erwartungsgemäß fast ausschließlich in den APS. Während 21 % der APS-Schüler/innen die Bildungsstandards nicht erreichen, betrifft dies in den AHS nur 2 %. Das unterschiedliche Ausmaß der Kompetenzerreichung in den AHS und APS zeigt sich auch in den einzelnen Handlungs- und Inhaltsbereichen.

Ergebnisse in den Bundesländern

Die teilweise relativ großen Unterschiede in der Zusammensetzung der Schülerschaft erklären zu einem großen Teil auch die unterschiedlichen Ergebnisse in den Bundesländern. Allerdings zeigen sich im Vergleich der Ergebnisse von 2012 und 2017 unterschiedliche Entwicklungen.

Bildungsstandards erreicht und übertroffen: Oberösterreich und Salzburg haben die höchsten Anteile an Jugendlichen, die die Standards erreichen (56 % bzw. 57 %) und übertreffen (8 % bzw. 6 %), gefolgt von der Steiermark (54 % erreicht, 7 % übertroffen), Tirol (55 % erreicht, 6 % übertroffen), Niederösterreich (54 % erreicht, 6 % übertroffen) und Vorarlberg (54 % erreicht bzw. 5 % übertroffen). Das Burgenland (52 % erreicht bzw. 4 % übertroffen), Kärnten (50 % erreicht, 4 % übertroffen) und Wien (43 % erreicht bzw. 5 % übertroffen) sind die Bundesländer mit den geringsten Anteilen.

Bildungsstandards nicht erreicht: Umgekehrt gibt es die niedrigsten Anteile an Risikoschülerinnen und -schülern in Oberösterreich, Salzburg und Tirol (jeweils 12 %) sowie in Niederösterreich, der Steiermark und Vorarlberg (jeweils 13 %). Im Burgenland und in Kärnten erreichen jeweils 15 % der Schüler/innen die Bildungsstandards nicht, in Wien sind es 23 %.

Im Vergleich zur Überprüfung im Jahr 2012 zeigen sich relational die größten Veränderungen in Vorarlberg mit einem um 16 Punkte höheren Mittelwert, der Steiermark (+15 Punkte) und Kärnten (+10 Punkte). Während die positiven Entwicklungen der Schülerleistungen in Vorarlberg, der Steiermark und Kärnten sowohl in den APS- als auch den AHS-Ergebnissen zu beobachten sind, sind die im Gesamten positiven Trends in den übrigen Bundesländern vor allem auf die APS zurückzuführen. Besonders deutlich ist der Punktezuwachs in den APS in Wien mit 19 Punkten. Die AHS-Schülerleistungen sind hingegen im Burgenland (–9 Punkte), in Oberösterreich, Tirol und Wien (je –4 Punkte) im Vergleich zu 2012 gesunken.

Rückmeldung an Schulen

Als Grundlage für Schul- und Unterrichtsentwicklung bekommen etwa 1400 Schulleiter/innen und mehr als 4000 Lehrer/innen Feedback zu den Kompetenzen ihrer Schüler/innen in Mathematik sowie zu relevanten Kontextfaktoren wie der Freude an Mathematik oder dem Wohlbefinden in der Schule. Die Ergebnisrückmeldung gibt Auskunft darüber, in welchem Ausmaß die Schüler/innen die in den Bildungsstandards definierten Lernziele erreichen, wie das Ergebnis im Vergleich zu allen anderen Schulen und im Vergleich zu Schulen, die unter ähnlichen Rahmenbedingungen arbeiten, liegt. Die Ergebnisse der Bildungsstandardüberprüfung sollen von Lehrpersonen, Schulleitungen, Schulaufsicht und Schuladministration als produktiver Beitrag für Qualitätsentwicklungsprozesse am jeweiligen Schulstandort genutzt werden. Die regelmäßige Überprüfung und die Rückmeldung von Bildungsstandards leisten somit einen wesentlichen Beitrag zur innovativen (Weiter-)Entwicklung der Schul- und Unterrichtskultur in Österreich.

Weiterführende Informationen und Hotline für Rückfragen




Allge­meine Infor­mati­onen zur Über­prüfung

Allgemeine Informationen zur Standardüberprüfung Mathematik auf der 8. Schulstufe (2017)

Mit dem Schuljahr 2016/17 startete der zweite Überprüfungszyklus der Bildungsstandards. Die Standardüberprüfungen finden in einem Fünf-Jahres-Zyklus statt, wobei jedes Jahr ein bestimmtes Fach auf einer Schulstufe überprüft wird. Der neue Zyklus startete mit der Überprüfung in Mathematik auf der 8. Schulstufe. Die Standardüberprüfung fand im Mai 2017 statt. Hierbei wurden zum zweiten Mal die Kompetenzen aller Schüler/innen der 8. Schulstufe in Mathematik überprüft.

Zweiter Zyklus der Standardüberprüfungen
2017 2018 2019
8. Schulstufe Überprüfung Mathematik Überprüfung Englisch
4. Schulstufe Überprüfung Mathematik

Wann und wo wurden die Ergebnisse veröffentlicht?

Die öffentlich zugänglichen Berichte der Standardüberprüfung Mathematik auf der 8. Schulstufe wurden am 20. Februar 2018 auf der BIFIE-Website veröffentlicht. Der Bundesergebnisbericht und die Landesergebnisberichte stehen auf der Seite der gesammelten Ergebnisberichte als Downloads zur Verfügung.

Schulleiter/innen, Lehrer/innen und Schüler/innen bis hin zu pädagogischen und politischen Entscheidungsträgerinnen und Entscheidungsträgern konnten die für sie relevanten individualisierten Rückmeldungen mit den entsprechenden Zugangscodes von 20. Februar bis Ende September 2018 über eine Onlineplattform abrufen. Für Schulleiter/innen stehen die Berichte auf der Erhebungsplattform PLATO zur Verfügung und können somit weiterhin abgerufen werden. Musterrückmeldungen mit fiktiven Werten sind als Downloads frei zugänglich.

Wann fand die Standardüberprüfung statt?

Um die Vergleichbarkeit der gewonnenen Ergebnisse zu gewährleisten, ist es notwendig, die Kompetenzfeststellung österreichweit an allen beteiligten Schulen möglichst am selben Testtag durchzuführen. Durch das Bundesministerium für Bildung (BMB, nunmehr BMBWF) wurde der 11. Mai 2017 als regulärer Testtermin festgesetzt. In begründeten Ausnahmefällen konnten Schulen den Ersatztermin am 16. Mai 2017 in Anspruch nehmen.

Wer nahm an der Überprüfung teil?

Laut Bildungsstandard-Verordnung erfolgte die Standardüberprüfung auf der 8. Schulstufe an allen öffentlichen und privaten mit auf Dauer verliehenem Öffentlichkeitsrecht ausgestatteten Volksschuloberstufen, Hauptschulen, NMS und AHS. Gemäß BIFIE-Gesetz nahmen dabei alle Schüler/innen der 8. Schulstufe an der Überprüfung teil. Ausgenommen waren lediglich:

  • Schüler/innen, die im Testfach nach dem Lehrplan der Sonderschule oder nach dem Lehrplan einer niedrigeren Schulstufe unterrichtet wurden.
  • Schüler/innen, die den Status einer außerordentlichen Schülerin/eines außerordentlichen Schülers hatten.
  • Schüler/innen mit Körper- oder Sinnesbehinderung, sofern sie selbst mit den im Unterricht und bei der Standardüberprüfung zur Verfügung stehenden Unterrichts- oder Hilfsmitteln die gestellten Aufgaben nicht hätten lösen können.

Was wurde in Mathematik wie überprüft?

Den Bildungsstandards für Mathematik liegt ein Kompetenzmodell zugrunde, das die Kompetenzen in Mathematik strukturiert – und zwar nach dem Inhalt einer mathematischen Problemstellung (Inhaltsbereich) und der „Handlung“, die zur Lösung erforderlich ist (Handlungsbereich):

Inhaltsbereiche Handlungsbereiche
Zahlen und Maße Darstellen, Modellbilden
Variable, funktionale Abhängigkeiten Rechnen, Operieren
Geometrische Figuren und Körper Interpretieren
Statistische Darstellungen und Kenngrößen Argumentieren, Begründen

Dieses Kompetenzmodell bildete auch die Grundlage für die Mathematik-Items. Jedes Item, das bei der Standardüberprüfung zum Einsatz kam, wurde jeweils einem Inhalts- und einem Handlungsbereich zugeordnet (damit ist klar, welche Kompetenz ein Item misst).

Jeder Schüler/jede Schülerin bearbeitete bei der Überprüfung zwei Testhefte, wofür 90 Minuten Zeit zur Verfügung standen (mit einer Pause nach dem ersten Testheft).

Antwortformate

Im Rahmen der Überprüfungen wurden Test-Items mit folgenden unterschiedlichen Antwortformaten eingesetzt:

Offenes Antwortformat

Beim offenen Antwortformat generierten die Schüler/innen ihre Antwort selbst. Diese Items überließen es vollständig der Schülerin/dem Schüler, wie sie/er die Aufgabenstellung löste. Die Aufgabenlösung konnte verbal frei gestaltet werden. Die Schüler/innen begründeten z. B. ihre Meinung oder beschrieben ihren Lösungsweg.

Halboffenes Antwortformat

Auch halboffene Items überließen die Antwortformulierung der Schülerin/dem Schüler. Die Aufgabe wurde jedoch im Unterschied zum offenen Item so präzise gestellt, dass die Antwort mit geringem Aufwand als richtig oder falsch bewertet werden konnte. Solche Items verlangten von den Schülerinnen und Schülern kurze Antworten, wie z. B. eine Zahl oder eine Konstruktion.

Geschlossenes Antwortformat

Beim geschlossenen Antwortformat standen den Schülerinnen und Schülern zu einer Frage mehrere vorformulierte Antworten zur Auswahl. Die Antworten werden eingescannt und elektronisch weiterverarbeitet.

  • Richtig-falsch-Items (zum Ankreuzen) bestanden aus einer Aussage und zwei Antwortalternativen („richtig“ oder „falsch“/“ja“ oder „nein“), von denen eine zutraf. Um die Ratewahrscheinlichkeit zu minimieren, wurden solche Items nur blockweise vorgelegt.
  • Multiple-Choice-Items (zum Ankreuzen): Die Schülerin/der Schüler musste aus mehreren zur Wahl gestellten Antwortmöglichkeiten diejenige auswählen, die er/sie für richtig hielt.

Wie lief die Überprüfung in der Klasse ab?

Die Standardüberprüfung begann am Testtag in der Regel mit dem Beginn des Vormittagsunterrichts und dauerte (einschließlich Instruktionen, Erklärungen und Pausen) etwa drei Unterrichtseinheiten.

Hier zur Illustration schematisch der Ablauf der Überprüfung:

Testablauf M8-Standardüberprüfung

Testablauf M8-Standardüberprüfung

Als Testzeit wurde eine Dauer von 90 Minuten festgelegt. Damit wurde die Testzeit je Schüler/in so kurz wie möglich gehalten und gleichzeitig sichergestellt, dass ausreichend Informationen von jeder Schülerin und jedem Schüler vorliegen, um zuverlässige und informative Rückmeldungen über die Ergebnisse an alle Zielgruppen (Schüler/innen, Lehrer/innen, Schulleitungen) geben zu können.

Im Anschluss an den Test bearbeiteten die Schüler/innen einen kurzen Kontextfragebogen. Er gibt Auskunft über das Vorhandensein und das Ausmaß jener Faktoren, die zur Erklärung des Kompetenzerwerbs beitragen können. Sowohl das Bundesministerium für Bildung (BMB, nunmehr BMBWF) als auch die Schulpartner wurden über den Inhalt des Fragebogens vom BIFIE informiert.

Wer führte die Überprüfung durch?

Die Überprüfung wurde im Sinne einer objektiven Testdurchführung von geschulten Testleiterinnen und Testleitern standardisiert durchgeführt. Diesbezüglich wurde zwischen internen und externen Testleiterinnen und Testleitern unterschieden. In etwa 93 % der Klassen wurde die Überprüfung von Lehrerinnen und Lehrern der eigenen Schule administriert („interne Testleitung“). Als Qualitätssicherungsmaßnahme führten an einer Stichprobe von etwa 7 % der Klassen Lehrer/innen einer anderen Schule die Überprüfung durch („externe Testleitung“).

Wie wurde der Datenschutz sichergestellt?

Im Zuge der Standardüberprüfung wurden vom BIFIE ausschließlich indirekt personenbezogene Daten erhoben. Die Datenerhebung erfolgte mit zweigeteiltem Schlüssel auf Schülerebene: Das heißt, das BIFIE hat Zugang zur Schüler-ID und zu den Ergebnissen, nicht aber zu den Schülernamen. Die Schulleitung kennt die Schüler-ID und die dazugehörigen Schülernamen, kann den einzelnen Schülerinnen und Schülern jedoch keine Ergebnisse zuordnen.

Das BIFIE hielt sich mit diesem Vorgehen an die Vorgaben des Datenschutzgesetzes und an die Empfehlungen der Datenschutzbehörde.

Weiterführende Informationen




Ergebnisberichte




Freigegebene Items




Ausgangs­messung für die Über­prüfung der Bildungs­standards auf der 8. Schulstufe

Ausgangsmessung für die Überprüfung der Bildungsstandards auf der 8. Schulstufe

Im Frühjahr 2009 fand an 204 Schulen der Sekundarstufe I eine Ausgangsmessung (sogenannte Baseline-Testung) statt. Sie liefert Informationen, über welche Kompetenzen die Schüler/innen am Ende der 8. Schulstufe etwa zum Zeitpunkt der gesetzlichen Verordnung der Bildungsstandards – also vor deren Implementierung im Unterricht – verfügten und bildet damit eine wichtige Vergleichsbasis für die ab 2012 stattfindenden Standardüberprüfungen.

Funktion und Ziel der Baseline-Testung

Im April und Mai 2009 wurde im Hinblick auf die Standardüberprüfungen ab 2012 an 204 Schulen der Sekundarstufe I (HS und AHS) eine Baseline-Testung (Ausgangsmessung) über die auf der 8. Schulstufe vorhandenen Kompetenzen durchgeführt.

Die Baseline-Testung ist keine vollständige Erhebung, sondern basiert auf einer Stichprobe. Im Gegensatz zur Standardüberprüfung findet eine Baseline-Testung nur einmalig statt. Die Baseline-Testung auf der 8. Schulstufe verfolgte drei wesentliche Ziele:

  1. Die Baseline-Testung lieferte Informationen, über welche Kompetenzen die Schüler/innen am Ende der Sekundarstufe bereits verfügten, bevor Bildungsstandards im Unterricht implementiert waren. Die Daten aus der Baseline-Testung dienten als Vergleichsbasis für die zukünftigen Standarderhebungen und sollten Aufschluss über die Wirksamkeit der Implementierungsmaßnahmen der Bildungsstandards geben.
  2. Im Rahmen der Baseline-Testung wurden bereits pilotierte Items nochmals in einer größeren Stichprobe eingesetzt. Weiters wurden die Kontextfragebögen hinsichtlich Verständlichkeit und Umfang überprüft.  Insbesondere jene Fragebogenteile, die ab 2011/12 einen fairen Vergleich der Schulen erlaubten und die sinnvolle Informationen für die Qualitätsentwicklung an den Schulen liefern sollten, mussten in einer großflächigen Studie sorgfältig validiert und methodisch geprüft werden. Denn nur validierte, d. h. erprobte, geprüfte und methodisch einwandfreie Fragen durften ab 2012/13 in der Gesamterhebung der Schulen zum Einsatz kommen (vgl. BGBl. I Nr. 1/2009).
  3. Die Baseline-Testung ermöglichte zudem die Erprobung bestimmter methodischer und logistischer Abläufe der zukünftigen Standardüberprüfungen, z. B. die Testinstruktionen, das Testdesign, die Skalierung  sowie gewisse Rückmeldeprozeduren.

Die Ergebnisse aus der Baseline-Testung und aus den Kontextfragebögen sollten Informationen zu folgenden Fragestellungen liefern:

  • Welchen Kompetenzstand haben die Schüler/innen in den Fächern Deutsch, Englisch und Mathematik?
  • Wie können den Schulen möglichst „faire und informative Vergleiche“ rückgemeldet werden, um die Schulentwicklungsprozesse zu fördern?

Unter „fairen“ Vergleichen versteht man den Vergleich von tatsächlich Vergleichbarem, etwa Schulen mit ähnlichen Voraussetzungen (z. B. städtisch/ländlich, hoher/niedriger Anteil an Schülerinnen und Schülern mit Migrationshintergrund).

Zuständigkeit und Verantwortung bei der Baseline-Testung auf der 8. Schulstufe

Das Bundesministerium für Unterricht, Kunst und Kultur (BMUKK, nunmehr BMBWF) beauftragte das BIFIE mit der Durchführung der Baseline-Testung sowie mit den Erhebungen zu den Bildungsstandards ab dem Schuljahr 2011/12. Die wissenschaftliche Entwicklung und Konzeption der Erhebungsinstrumente (Tests und Fragebögen), die Stichprobenziehung sowie die Durchführung der Baseline-Testung, die Erhebung und Aufbereitung der Daten sowie die Rückmeldung der Ergebnisse verantwortete das BIFIE am Standort Salzburg. Darüber hinaus stand für den direkten Kontakt mit den einzelnen Schulen in jedem Bundesland eine Bundeslandkoordinatorin/ein Bundeslandkoordinator zur Verfügung.

Datenschutz

Das BIFIE hält sich streng an die Vorgaben des Datenschutzgesetzes 2000 und verarbeitet Daten zu wissenschaftlichen Zwecken im gesetzlichen Auftrag des BMUKK (nunmehr BMBWF). Ebenso sind alle Mitarbeiter/innen des Bundesinstituts BIFIE per BIFIE-Gesetz (BGBl. I Nr. 25/2008, § 3 Abs. 2) zur absoluten Verschwiegenheit verpflichtet. Dadurch ist ein sorgfältiger, sensibler Umgang mit den Daten gewährleistet.

Für die Durchführung der Baseline-Testung erhielt das BIFIE von den zufällig ausgewählten Schulen anonymisierte Schülerlisten für jede teilnehmende Klasse. Diese Listen beinhalteten neben einer laufenden Nummer das Geburtsdatum der Schüler/innen. Es wurden keine Namen der Schüler/innen an das BIFIE übermittelt. Die Erhebung des Geburtsdatums erfolgte, um die korrekte Zuordnung des Testmaterials zu ermöglichen. Durch diese Vorgehensweise bestand weder am BIFIE noch an der Schule die Möglichkeit der Zuordnung von Schülerangaben/Testergebnissen zu den Namen der Schüler/innen. Für das BIFIE ist das der Fall, weil es nicht im Besitz der Namen der Schüler/innen ist. Die Schulen wiederum haben keinen Zugriff auf die Angaben der Schüler/innen in den Testheften und Schülerfragebögen.

Die Testung

Stichprobe

Insgesamt nahmen an der Baseline-Testung auf der 8. Schulstufe an drei verschiedenen Testtagen 205 Schulen und 10.843 Schüler/innen teil. Die Auswahl der Schulen erfolgte nach dem Prinzip einer geschichteten Zufallsstichprobe. An jedem Schulstandort wurden bis zu drei Klassen für den Test zufällig ausgewählt.

Es handelt sich bei dieser Testung um die größte flächendeckend organisierte Überprüfung von Kompetenzen, die nach TIMSS 95 in Österreich stattgefunden hat.

Testtermine

Aus Gründen der Gültigkeit und Vergleichbarkeit der gewonnenen Ergebnisse war es notwendig, die Kompetenzfeststellung im jeweiligen Bereich (Deutsch, Englisch und Mathematik) österreichweit in allen beteiligten Schulen am selben Testtag durchzuführen. In Absprache mit dem BMUKK (nunmehr BMBWF) wurden folgende Erhebungstermine festgesetzt:

Englisch: Mittwoch, 22. April 2009
Deutsch: Dienstag, 28. April 2009
Mathematik: Donnerstag, 7. Mai 2009

Unter besonderen Umständen bestand die Möglichkeit, einen Ersatztermin wahrzunehmen.

Testablauf

Die Testungen wurden von speziell dafür geschulten Personen (in der Regel Lehrpersonen von anderen Schulen) durchgeführt. Während des Tests musste eine Lehrperson der Schule für die Testleiterin/den Testleiter erreichbar sein. In der Klasse war jedoch während der Testung keine schulinterne Lehrperson anwesend. Die Testungen fanden vormittags statt und dauerten (inklusive Pausen) pro Testtag maximal 2,5 Stunden. Die maximale Testzeit an einem Testtag betrug zweimal ca. 45 (Mathematik) oder dreimal ca. 40 (Deutsch und Englisch) Minuten, dazwischen gab es eine Pause.

Testinhalt

In den Tests wurden sowohl schriftliche als auch mündliche Testverfahren eingesetzt. Die Testaufgaben bezogen sich auf die in der Verordnung genannten Kompetenzen und Kompetenzbereiche.

  • Deutsch: In Deutsch wurden von den Schülerinnen und Schülern drei verschiedene Testhefte zu den Bereichen Lesen, Schreiben und Rechtschreib-/Sprachbewusstsein bearbeitet. Dabei kamen vor allem Multiple-Choice-Formate und halboffene Antwortformate zum Einsatz.
  • Englisch: In Englisch mussten drei verschiedene Testhefte zu den Bereichen Reading, Listening und Writing bearbeitet werden. In den Bereichen Reading und Listening wurden Multiple-Choice-Formate eingesetzt, für den Testbereich Writing mussten zwei Texte geschrieben werden. An einigen Schulen wurde auch der Kompetenzbereich Speaking getestet. Dabei mussten die Schüler/innen paarweise 15 Minuten zu vorgegebenen Themen sprechen.
  • Mathematik: Die Schüler/innen bearbeiteten in 90 Minuten ein Testheft mit einer Pause von 10 Minuten. Dabei wurden neben dem Multiple-Choice-Format halboffene und offene Antwortformate verwendet.

Kontextfragebögen

Durch die Kontextfragebögen wurden Informationen erhoben, die zur Erfassung der Rahmenbedingungen des Lernens, zur Erklärung von Schülerleistungen sowie zur sinnvollen Rückmeldung der Ergebnisse notwendig waren.

  • Schülerfragebogen: Der Schülerfragebogen erfasst Informationen, die dazu beitragen, die festgestellten Schülerleistungen fair zu vergleichen. Dadurch können unterschiedliche Rahmenbedingungen des Lernens bei der Rückmeldung der Ergebnisse berücksichtigt werden. Der Schülerfragebogen liefert zudem wichtige Ausgangsdaten für die Qualitätsentwicklung an Schulen. Der Schülerfragebogen umfasst einerseits allgemeine Hintergrundinformationen (z. B. Geschlecht und Migrationshintergrund) sowie fachspezifische Fragen zu den getesteten Fächern Deutsch, Englisch und Mathematik (z. B. Zeit, die für das Lernen in Mathematik aufgewendet wird). Die Beantwortung des Fragebogens erfolgte im Anschluss an den dritten Testtag und nahm etwa 20 Minuten in Anspruch.
  • Schulleiterfragebogen: Der Schulleiterfragebogen bildet die Grundlage für die Schulrückmeldung und ermöglicht damit einen fairen Vergleich zwischen Schulen mit ähnlichen Voraussetzungen. Es werden ausschließlich auf die Schule bezogene Daten erhoben, nicht erhoben werden persönliche Informationen zur Schulleiterin/zum Schulleiter. Der Schulleiterfragebogen erhebt allgemeine Informationen zur Schule (z. B. Schulgröße), zu Schülerinnen und Schülern sowie zu den Lehrkräften. Die Beantwortung des Fragebogens nahm etwa 20 Minuten in Anspruch.

Die Fragebögen können in unserem Materialienbereich unter Erhebungsmaterialien und Fragebögen abgerufen werden.

Datenverarbeitung

Die in den Tests gewonnenen Daten wurden auf zwei verschiedene Arten verarbeitet. Multiple-Choice- und  halboffene Formate wurden eingescannt und elektronisch weiterverarbeitet. Die offenen Antwortformate (längere und kürzere Texte und Textteile) wurden von externen und eigens ausgebildeten Expertinnen und Experten beurteilt und elektronisch weiterverarbeitet.

Rückmeldung der Ergebnisse

Jede getestete Schülerin/jeder getestete Schüler erhielt bei der Testung einen Code, mit dem sie/er die individuellen Testergebnisse ab Jänner 2010 über das Internet anonym abrufen konnte. Diese Daten unterliegen den geltenden Datenschutzbestimmungen und dürfen „nicht auf eine bestimmte Schülerin oder auf einen bestimmten Schüler zurückgeführt werden können, außer durch diese oder diesen selbst“ (BGBl. I Nr. 1/2009). Die (Klassen-)Lehrer/innen erhielten anonymisierte und aggregierte Ergebnisse ihrer Klasse, für die Schulleiter/innen wurde ein Bericht über die Schule (mit Vergleichswerten) und über die Klassen/Gruppen in aggregierter (zusammenfassender) Form erstellt. Da es sich bei der Baseline-Testung um eine Erhebung an einer Stichprobe handelt, wurden keine Bezirks- und Landesberichte an die Schulaufsicht erstellt.

In unserem Materialienbereich finden Sie Musterrückmeldungen an Schüler/innen, Lehrer/innen und Schulleiter/innen.

Information und Kommunikation

Durch die Einbeziehung der Schulpartner in den Diskussionsprozess bzw. durch die regelmäßige Weitergabe von Informationen sollte eine möglichst hohe Transparenz geschaffen werden. Dabei kamen nachstehende Informationswege zum Einsatz:

  • Das Bundesministerium für Unterricht, Kunst und Kultur (BMUKK, nunmehr BMBWF) wurde als Auftraggeber der Bildungsstandards laufend vom BIFIE über alle aktuellen Entwicklungen informiert.
  • Das BMUKK informierte die LSR/SSR-Präsidentinnen und -Präsidenten über die bevorstehenden Testtermine und ersuchte sie um Unterstützung der Baseline-Testung.
  • Auch das BIFIE  informierte die LSR/SSR-Präsidentinnen und -Präsidenten sowie die Schulbehörden bzw. Schulaufsichtsorgane (LSI/BSI) über die Baseline-Testung und deren Ablauf.
  • Schulleiter/innen, Lehrer/innen, Schüler/innen und Eltern der in der Stichprobe gezogenen Schulen (Klassen) erhielten vonseiten des BIFIE zeitgerecht alle Informationen bezüglich Inhalt und Vorgehensweise bei der Baseline-Testung 2009.

Weiterführende Informationen




Ausgangs­messung für die Über­prüfung der Bildungs­standards auf der 4. Schulstufe

Ausgangsmessung für die Überprüfung der Bildungsstandards auf der 4. Schulstufe

Im Frühjahr 2010 fand an 267 Volksschulen eine Ausgangsmessung (die sogenannte Baseline-Testung) statt. Sie lieferte Informationen, über welche Kompetenzen die Schüler/innen am Ende der 4. Schulstufe etwa zum Zeitpunkt der gesetzlichen Verordnung der Bildungsstandards – also vor deren Implementierung im Unterricht – verfügten und bildete damit eine wichtige Vergleichsbasis für die ab 2013 stattfindenden Standardüberprüfungen.

Funktion und Ziel der Baseline-Testung

Im April und Mai 2010 wurde an 267 österreichischen Volksschulen eine Baseline-Testung (Ausgangsmessung) über die auf der 4. Schulstufe vorhandenen Kompetenzen durchgeführt.

Die Baseline-Testung ist keine vollständige Erhebung, sondern basiert auf einer Stichprobe. Im Gegensatz zur Standardüberprüfung findet eine Baseline-Testung nur einmalig statt. Die Baseline-Testung auf der 4. Schulstufe verfolgte drei wesentliche Ziele:

  1. Die Baseline-Testung lieferte Informationen, über welche Kompetenzen die Schüler/innen am Ende der Volksschule bereits verfügten, bevor Bildungsstandards im Unterricht implementiert waren. Die Daten aus der Baseline-Testung dienen als Vergleichsbasis für die zukünftigen Standarderhebungen und sollen Aufschluss über die Wirksamkeit der Implementierungsmaßnahmen der Bildungsstandards geben.
  2. Im Rahmen der Baseline-Testung wurde neben bereits validierten Items eine Reihe neuer Items erprobt. Dabei handelte es sich um Testitems für die Kompetenzbereiche Einsicht in Sprache durch Sprachbetrachtung (inkl. Rechtschreiben), Lesen sowie Verfassen von Texten. Die Testitems wurden im Auftrag des BIFIE von der Universität Klagenfurt entwickelt. Weiters wurden die Kontextfragebögen hinsichtlich Verständlichkeit und Umfang überprüft. Insbesondere jene Fragebogenteile, die 2012/13 einen fairen Vergleich der Schulen erlauben und sinnvolle Informationen für die Qualitätsentwicklung an den Schulen liefern sollten, mussten in einer großflächigen Studie sorgfältig validiert und methodisch geprüft werden. Denn nur validierte, d. h. erprobte, geprüfte und methodisch einwandfreie Fragen durften ab 2012/13 in der Gesamterhebung der Schulen zum Einsatz kommen (vgl. BGBl. I Nr. 1/2009).
  3. Die Baseline-Testung ermöglichte zudem die Erprobung bestimmter methodischer und logistischer Abläufe der zukünftigen Standardüberprüfungen, z. B. die Testinstruktionen, das Testdesign, die Skalierung  sowie gewisse Rückmeldeprozeduren.

Die Ergebnisse aus der Baseline-Testung und aus den Kontextfragebögen sollten Informationen zu folgenden Fragestellungen liefern:

  • Welchen Kompetenzstand haben die Schüler/innen in den Fächern Deutsch/Lesen/Schreiben und Mathematik?
  • Wie können den Schulen möglichst „faire und informative Vergleiche“ rückgemeldet werden, um die Schulentwicklungsprozesse zu fördern?

Unter „fairen“ Vergleichen versteht man den Vergleich von tatsächlich Vergleichbarem, etwa Schulen mit ähnlichen Voraussetzungen (z. B. städtisch/ländlich, hoher/niedriger Anteil an Schülerinnen und Schülern mit Migrationshintergrund).

Zuständigkeit und Verantwortung bei der Baseline-Testung auf der 4. Schulstufe

Das Bundesministerium für Unterricht, Kunst und Kultur (BMUKK, nunmehr BMBWF) beauftragte das BIFIE mit der Durchführung der Baseline-Testung sowie mit den Erhebungen zu den Bildungsstandards ab dem Schuljahr 2011/12. Die wissenschaftliche Entwicklung und Konzeption der Erhebungsinstrumente (Tests und Fragebögen), die Stichprobenziehung sowie die Durchführung der Baseline-Testung, die Erhebung und Aufbereitung der Daten sowie die Rückmeldung der Ergebnisse verantwortete das BIFIE am Standort Salzburg. Darüber hinaus stand für den direkten Kontakt mit den einzelnen Schulen in jedem Bundesland eine Bundeslandkoordinatorin/ein Bundeslandkoordinator zur Verfügung.

Datenschutz

Das BIFIE hält sich streng an die Vorgaben des Datenschutzgesetzes 2000 und verarbeitet Daten zu wissenschaftlichen Zwecken im gesetzlichen Auftrag des BMUKK (nunmehr BMBWF). Ebenso sind alle Mitarbeiter/innen des Bundesinstituts BIFIE per BIFIE-Gesetz (BGBl. I Nr. 25/2008, § 3 Abs. 2) zur absoluten Verschwiegenheit verpflichtet. Dadurch ist ein sorgfältiger, sensibler Umgang mit den Daten gewährleistet.

Für die Durchführung der Baseline-Testung erhielt das BIFIE von den zufällig ausgewählten Schulen anonymisierte Schülerlisten für jede teilnehmende Klasse. Diese Listen beinhalteten neben einer laufenden Nummer das Geburtsdatum der Schüler/innen. Es wurden keine Namen der Schüler/innen an das BIFIE übermittelt. Die Erhebung des Geburtsdatums erfolgte, um die korrekte Zuordnung des Testmaterials zu ermöglichen. Durch diese Vorgehensweise besteht weder am BIFIE noch an der Schule die Möglichkeit der Zuordnung von Schülerangaben/Testergebnissen zu den Namen der Schüler/innen. Für das BIFIE ist das der Fall, weil es nicht im Besitz der Namen der Schüler/innen ist. Die Schulen wiederum haben keinen Zugriff auf die Angaben der Schüler/innen in den Testheften und Schülerfragebögen.

Die Testung

Stichprobe

Insgesamt nahmen an der Baseline-Testung an drei verschiedenen Testtagen 9487 Schüler/innen aus 500 Klassen und 267 Schulen teil. Die Auswahl der Schulen erfolgte nach dem Prinzip einer geschichteten Zufallsstichprobe. An jedem Schulstandort wurden bis zu drei Klassen für den Test zufällig ausgewählt.

Testtermine

Aus Gründen der Gültigkeit und Vergleichbarkeit der gewonnenen Ergebnisse war es notwendig, die Kompetenzfeststellung im jeweiligen Bereich (Deutsch/Lesen/Schreiben, Mathematik) österreichweit in allen beteiligten Schulen am selben Testtag durchzuführen. Aus Gründen der Belastbarkeit wurde der Bereich Deutsch auf zwei Testtermine aufgeteilt. In Absprache mit dem BMUKK (nunmehr BMBWF) wurden folgende Erhebungstermine festgesetzt:

Deutsch/Teil 1: Dienstag, 20. April 2010
Deutsch/Teil 2: Mittwoch, 28. April 2010
Mathematik: Donnerstag, 6. Mai 2010

Unter besonderen Umständen bestand die Möglichkeit, einen Ersatztermin wahrzunehmen.

Testablauf

Die Testungen wurden von speziell dafür geschulten Personen (in der Regel Lehrpersonen von anderen Schulen) durchgeführt. Der Einsatz dieser externen Testleiter/innen führte einerseits zu einer Minimierung des Aufwands für die Schulen und gewährleistete andererseits eine objektive, standardisierte Testdurchführung. Während des Tests musste eine Lehrperson der Schule für die Testleiterin/den Testleiter erreichbar sein. In der Klasse war jedoch während der Testung keine schulinterne Lehrperson anwesend. Die Testungen fanden vormittags statt und dauerten (inklusive Pausen) pro Testtag maximal zwei Stunden. Die reine Testzeit an jedem Testtag betrug jeweils 2 x 40 Minuten, dazwischen gab es eine Pause.

Testinhalt

In den Tests wurden ausschließlich schriftliche Testverfahren eingesetzt. Die Testaufgaben bezogen sich auf die in der Verordnung genannten Kompetenzen und Kompetenzbereiche.

  • Deutsch: In Deutsch bearbeiteten die Schüler/innen Aufgaben aus den Bereichen Verfassen von Texten, Rechtschreiben, Sprachbetrachtung und Lesen. Dabei kamen vor allem Multiple-Choice-Formate und offene Antwortformate zum Einsatz.
  • Mathematik: In Mathematik wurden allgemeine mathematische Kompetenzen (Modellieren, Operieren, Kommunizieren und Problemlösen) sowie inhaltliche mathematische Kompetenzen (Arbeiten mit Zahlen, Arbeiten mit Operationen, Arbeiten mit Größen sowie Arbeiten mit Ebene und Raum) getestet. Zur Beantwortung waren überwiegend Multiple-Choice-, halboffene sowie offene Antwortformate vorgegeben.

Kontextfragebögen

Durch die Kontextfragebögen wurden Informationen erhoben, die zur Erfassung der Rahmenbedingungen des Lernens, zur Erklärung von Schülerleistungen sowie zur sinnvollen Rückmeldung der Ergebnisse notwendig waren.

  • Schülerfragebogen: Der Schülerfragebogen erfasst Informationen, die dazu beitragen, die festgestellten Schülerleistungen fair zu vergleichen. Dadurch können unterschiedliche Rahmenbedingungen des Lernens bei der Rückmeldung der Ergebnisse berücksichtigt werden. Der Schülerfragebogen liefert zudem wichtige Ausgangsdaten für die Qualitätsentwicklung an Schulen. Der Schülerfragebogen umfasst einerseits allgemeine Hintergrundinformationen (z. B. Geschlecht und Migrationshintergrund) sowie fachspezifische Fragen zu Deutsch/Lesen/Schreiben und Mathematik (z. B. Zeit, die für das Lernen in Mathematik aufgewendet wird). Die Beantwortung des Fragebogens erfolgte im Anschluss an den ersten Testtag und nahm etwa 20 Minuten in Anspruch.
  • Elternfragebogen: Der Elternfragebogen dient einerseits dazu, die Belastung der Schüler/innen möglichst gering zu halten. Zudem gibt es Merkmale, die für eine sinnvolle Rückmeldung der Ergebnisse erfasst werden müssen, die aber von Schülerinnen und Schülern dieses Alters schwer bzw. nur ungenau abfragbar sind. Damit eine möglichst geringe Belastung der Schüler/innen bei einer gleichzeitig möglichst hohen Genauigkeit der Ergebnisse gewährleistet werden kann, wurden auch die Eltern/Erziehungsberechtigten gebeten, einen Fragebogen auszufüllen. Der Elternfragebogen umfasst einerseits allgemeine Hintergrundinformationen (z. B. Beruf und Bildungshintergrund der Eltern) sowie Fragen über Informationsstand und Einstellung gegenüber Bildungsstandards. Die Beantwortung des Fragebogens nahm etwa 20 Minuten in Anspruch.
  • Lehrerfragebogen: Der Lehrerfragebogen liefert Informationen für die Analyse von Faktoren, die das Lernen in den Testklassen möglicherweise beeinflussen können. Es werden ausschließlich auf die getestete Klasse bezogene Daten erhoben, nicht erhoben werden persönliche Informationen zur Lehrperson. Der Lehrerfragebogen gliedert sich in einen allgemeinen Teil (z. B. Zusammensetzung der getesteten Klasse) sowie in Fragen zum Unterricht (z. B. Kompetenzorientierung im Unterricht und Rahmenbedingungen des Unterrichts). Die Beantwortung des Fragebogens nahm etwa 20 Minuten in Anspruch.
  • Schulleiterfragebogen: Der Schulleiterfragebogen bildet die Grundlage für die individuelle Schulrückmeldung und ermöglicht damit einen fairen Vergleich zwischen Schulen mit ähnlichen Voraussetzungen. Es werden ausschließlich auf die Schule bezogene Daten erhoben, nicht erhoben werden persönliche Informationen zur Schulleiterin/zum Schulleiter. Der Schulleiterfragebogen erhebt allgemeine Informationen zur Schule (z. B. Schulgröße), zu Schülerinnen und Schülern sowie zu den Lehrkräften. Die Beantwortung des Fragebogens nahm etwa 20 Minuten in Anspruch.

Datenverarbeitung

Die in den Tests gewonnenen Daten wurden auf zwei verschiedene Arten verarbeitet. Multiple-Choice-Formate wurden eingescannt und elektronisch weiterverarbeitet. Die halboffenen und offenen Antwortformate (kürzere und längere Textteile und Texte) wurden von externen und eigens ausgebildeten Expertinnen und Experten beurteilt und elektronisch weiterverarbeitet.

Rückmeldung der Ergebnisse

Jede getestete Schülerin/jeder getestete Schüler erhielt bei der Testung einen Zufallscode, mit dem sie/er die individuellen Testergebnisse ab Dezember 2010 über das Internet anonym abrufen konnte. Diese Daten unterliegen den geltenden Datenschutzbestimmungen und dürfen „nicht auf eine bestimmte Schülerin oder auf einen bestimmten Schüler zurückgeführt werden können, außer durch diese oder diesen selbst“ (BGBl. I Nr. 1/2009). Die (Klassen-)Lehrer/innen erhielten anonymisierte und aggregierte Ergebnisse ihrer Klasse und die Schulleiter/innen erhielten einen Bericht über die Schule (mit Vergleichswerten) und über die Klassen in aggregierter (zusammenfassender) Form. Da es sich bei der Baseline-Testung um eine Erhebung an einer Stichprobe handelt, wurden keine Bezirks- und Landesberichte an die Schulaufsicht erstellt.

Im Herbst 2010 hat das BIFIE Informationsveranstaltungen für Schulaufsichtsbeamte und für die Schulleiter/innen der getesteten Schulen durchgeführt, um diese über Form und Inhalte der Rückmeldungen sowie deren Verwendung für die Schulentwicklung zu informieren.

In unserem Materialienbereich finden Sie Musterrückmeldungen an Schüler/innen, Lehrer/innen und Schulleiter/innen.

Information und Kommunikation

Durch die Einbeziehung der Schulpartner in den Diskussionsprozess bzw. durch die regelmäßige Weitergabe von Informationen soll eine möglichst hohe Transparenz geschaffen werden. Dabei kommen nachstehende Informationswege zum Einsatz:

  • Das Bundesministerium für Unterricht, Kunst und Kultur (BMUKK, nunmehr BMBWF) wurde als Auftraggeber der Bildungsstandards laufend vom BIFIE über alle aktuellen Entwicklungen informiert.
  • Das BMUKK informierte die LSR/SSR-Präsidentinnen und -Präsidenten über die bevorstehenden Testtermine und ersuchte sie um Unterstützung der Baseline-Testung.
  • Auch das BIFIE  informierte die LSR/SSR-Präsidentinnen und -Präsidenten sowie die Schulbehörden bzw. Schulaufsichtsorgane (LSI/BSI) über die Baseline-Testung und deren Ablauf.
  • Schulleiter/innen, Lehrer/innen, Schüler/innen und Eltern der in der Stichprobe gezogenen Schulen (Klassen) erhielten vonseiten des BIFIE zeitgerecht alle Informationen bezüglich Inhalt und Vorgehensweise bei der Baseline-Testung 2010. Dadurch konnte ein weitestgehend reibungsloser und standardisierter Ablauf an den Schulen gewährleistet werden.
  • Das BIFIE hat die Bundeselternvertreter/innen am 1. Dezember 2009 zu einer ausführlichen Informationsrunde über Inhalt und Vorgangsweise bei den laufenden Erhebungen des BIFIE eingeladen. Dabei war auch die Baseline-Testung ein wichtiges Thema.

Weiterführende Informationen




Standard­überprüfung Mathematik, 8. Schul­stufe (2012)

Standardüberprüfung Mathematik, 8. Schulstufe (2012)

Mit dem Schuljahr 2011/12 startete der erste Überprüfungszyklus der Bildungsstandards auf der 8. Schulstufe. Am Beginn der österreichweiten, flächendeckenden und verpflichtenden Standardüberprüfungen stand das Fach Mathematik. Im Jahr 2013 folgte die Überprüfung in Englisch, 2014 in Deutsch.

Wann und wo wurden die Ergebnisse veröffentlicht?

Die öffentlich zugänglichen Berichte der Standardüberprüfung Mathematik auf der 8. Schulstufe wurden am 11. Dezember 2012 auf der BIFIE-Website veröffentlicht.

Ab diesem Zeitpunkt konnten auch die Ergebnisse für Schulaufsicht, Schulleitung, Lehrer/innen und Schüler/innen mit den entsprechenden Zugangscodes auf der Online-Plattform des Instituts abgerufen werden.

Wann fand die Standardüberprüfung statt?

Die Überprüfung fand am 23. Mai 2012 an allen Volksschul-Oberstufen, Hauptschulen und allgemeinbildenden höheren Schulen statt. In begründeten Ausnahmefällen konnte der Ersatztermin am 31. Mai 2012 in Anspruch genommen werden.

Was wurde in Mathematik wie überprüft?

Den Bildungsstandards für Mathematik lag ein Kompetenzmodell zugrunde, das die Kompetenzen in Mathematik strukturiert – und zwar nach dem Inhalt einer mathematischen Problemstellung (Inhaltsbereich) und der „Handlung“, die zur Lösung erforderlich ist (Handlungsbereich):

Inhaltsbereiche Handlungsbereiche
Zahlen und Maße Darstellen, Modellbilden
Variable, funktionale Abhängigkeiten Rechnen, Operieren
Geometrische Figuren und Körper Interpretieren
Statistische Darstellungen und Kenngrößen Argumentieren, Begründen

Dieses Kompetenzmodell bildete auch die Grundlage für die Mathematik-Items. Jedes Item, das bei der Standardüberprüfung zum Einsatz kam, war jeweils einem Inhalts- und einem Handlungsbereich zugeordnet (damit war klar, welche Kompetenz ein Item misst).

Jede Schülerin/jeder Schüler bearbeitete bei der Überprüfung ein Testheft mit etwa 45 bis 50 Aufgaben, für die 90 Minuten Zeit zur Verfügung standen (mit einer Pause nach der Hälfte der Zeit). Insgesamt wurden ca. 250 Items verwendet, damit die durch die Bildungsstandards definierten Kompetenzen durch den Test möglichst breit abgedeckt wurden.

Antwortformate

Im Rahmen der Überprüfungen wurden Testitems mit folgenden unterschiedlichen Antwortformaten eingesetzt:

Offenes Antwortformat

Beim offenen Antwortformat generierten die Schüler/innen ihre Antwort selbst. Diese Items überließen es vollständig der Schülerin/dem Schüler, wie sie/er die Aufgabenstellung löste. Die Aufgabenlösung konnte verbal frei gestaltet werden. Die Schüler/innen begründeten z. B. ihre Meinung oder beschrieben ihren Lösungsweg.

Halboffenes Antwortformat

Auch halboffene Items überließen die Antwortformulierung der Schülerin/dem Schüler. Die Aufgabe war jedoch im Unterschied zum offenen Item so präzise gestellt, dass die Antwort mit geringem Aufwand als richtig oder falsch bewertet werden konnte. Solche Items verlangten von den Schülerinnen und Schülern kurze Antworten, wie z. B. eine Zahl oder eine Konstruktion.

Geschlossenes Antwortformat

Beim geschlossenen Antwortformat standen den Schülerinnen und Schülern zu einer Frage mehrere vorformulierte Antworten zur Auswahl zur Verfügung. Die Antworten wurden eingescannt und elektronisch weiterverarbeitet.

  • Richtig-falsch-Items (zum Ankreuzen) bestanden aus einer Aussage und zwei Antwortalternativen („richtig“ oder „falsch“/„ja“ oder „nein“), von denen eine zutraf. Um die Ratewahrscheinlichkeit zu minimieren, wurden solche Items nur blockweise vorgelegt.
  • Multiple-Choice-Items (zum Ankreuzen): Die Schülerin/der Schüler musste aus mehreren zur Wahl gestellten Antwortmöglichkeiten diejenige auswählen, die er/sie für richtig hielt.

Beispielitems sind im Materialienbereich verfügbar.

Wer nahm an der Überprüfung in Mathematik teil?

Grundsätzlich waren alle Schüler/innen der 8. Schulstufe verpflichtet, an der Überprüfung teilzunehmen. Ausgenommen davon waren in einer Novelle der Bildungsstandard-Verordnung außerordentliche Schüler/innen und Schüler/innen mit sonderpädagogischem Förderbedarf, die im Testfach Mathematik auf der 8. Schulstufe nach dem Lehrplan der Sonderschule oder nach dem Lehrplan einer niedrigeren Schulstufe unterrichtet wurden. Ebenso galt diese Ausnahme für Schüler/innen mit Körper- und Sinnesbeeinträchtigung, die bei der Standardüberprüfung die Testitems mit den allenfalls im Unterricht zur Verfügung stehenden Unterrichts- oder Hilfsmitteln unter den vorgegebenen Testbedingungen voraussichtlich nicht hätten lösen können.

Wie wurde die Vertraulichkeit der Schüler/innen gewahrt?

Das BIFIE arbeitete ausschließlich mit Schüler-IDs, die von der Schule vergeben wurden. Diese Schüler-IDs waren Nummerncodes, die vom BIFIE nur Schulen und Klassen, nicht aber einzelnen Schüler/innen zugeordnet werden konnten. Das BIFIE war zu keinem Zeitpunkt im Besitz von Schülernamen oder der Zuordnung der IDs zu einzelnen Schüler/innen.

Wer führte die Überprüfung in der Klasse durch?

Bei der Überprüfung sollten alle Schüler/innen die gleichen Rahmenbedingungen vorfinden, damit die Ergebnisse vergleichbar sind. Aus diesem Grund war der Testablauf standardisiert. Das heißt, dass der Ablauf der Tests, die Instruktionen und die Testzeiten vorgegeben wurden und die Tests von eigens vom BIFIE geschulten Personen – sogenannten Testleiterinnen und Testleitern – administriert wurden. Das BIFIE unterschied dabei zwischen „interner“ und „externer“ Testleitung. In etwa 90 % der Klassen wurde die Überprüfung von Lehrerinnen und Lehrern der eigenen Schule administriert („interne Testleitung“). In einer Stichprobe von etwa 10 % der Klassen führten hingegen schulexterne Personen die Überprüfungen in den Klassen durch („externe Testleitung“).

Wie lief die Testung in der Klasse ab?

Die Standardüberprüfung begann am Testtag in der Regel mit dem Beginn des Vormittagsunterrichts und dauerte (einschließlich Instruktionen, Erklärungen und Pausen) etwa drei Unterrichtseinheiten.

Die folgende Abbildung illustriert den Ablauf der Überprüfung:

M8-Testablauf

Testablauf M8

Als Testzeit war eine Dauer von 90 Minuten festgelegt. Damit wurde die Testzeit je Schüler/in so kurz wie möglich gehalten und gleichzeitig sichergestellt, dass ausreichend Informationen von jeder Schülerin und jedem Schüler vorlagen, um zuverlässige und informative Rückmeldungen über die Ergebnisse an alle Zielgruppen (Schüler/innen, Lehrer/innen, Schulleitungen) geben zu können.

Im Anschluss an den Test bearbeiteten die Schüler/innen einen kurzen Kontextfragebogen. Er gab Auskunft über das Vorhandensein und das Ausmaß jener Faktoren, die zur Erklärung des Kompetenzerwerbs beitragen könnten. Sowohl das Bundesministerium für Unterricht, Kunst und Kultur (BMUKK, nunmehr BMBWF) als auch die Schulpartner wurden über den Inhalt des Fragebogens vom BIFIE informiert.

Weiterführende Informationen




Standard­überprüfung Mathematik, 4. Schul­stufe (2013)

Standardüberprüfung Mathematik, 4. Schulstufe (2013)

Mit dem Schuljahr 2012/13 startete die Überprüfung der Bildungsstandards auf der 4. Schulstufe. Am Beginn der österreichweiten, flächendeckenden und verpflichtenden Standardüberprüfungen stand das Fach Mathematik. Im Jahr 2015 folgte die Überprüfung in Deutsch.

Wann erfolgte die Rückmeldung?

Die öffentlich zugänglichen Berichte der Standardüberprüfung Mathematik auf der 4. Schulstufe wurden am 31. Jänner 2014 auf der BIFIE-Website veröffentlicht.

Ab diesem Zeitpunkt konnten auch die Ergebnisse für Schulaufsicht, Schulleitung, Lehrer/innen und Schüler/innen mit den entsprechenden Zugangscodes auf der Online-Plattform abgerufen werden.

Wann fand die Standardüberprüfung statt?

Die Überprüfung fand am 28. Mai 2013 an allen öffentlichen sowie an privaten Volksschulen statt. In begründeten Ausnahmefällen konnte der Ersatztermin am 5. Juni 2013 in Anspruch genommen werden.

Was wurde in Mathematik wie überprüft?

Den Bildungsstandards für Mathematik liegt ein Kompetenzmodell zugrunde, das die Kompetenzen in Mathematik strukturiert – und zwar in allgemeine Kompetenzen, die in der Auseinandersetzung mit mathematischen Inhalten auftreten, und in inhaltliche mathematische Kompetenzen, die sich auf die Gegenstandsbereiche der Mathematik beziehen:

Allgemeine mathematische Kompetenzen Inhaltliche mathematische Kompetenzen
Modellieren Arbeiten mit Zahlen
Operieren Arbeiten mit Operationen
Kommunizieren Arbeiten mit Größen
Problemlösen Arbeiten mit Ebene und Raum

Dieses Kompetenzmodell bildete auch die Grundlage für die Mathematik-Items. Jedes Item, das bei der Standardüberprüfung zum Einsatz kam, verknüpfte einen allgemeinen und einen inhaltlichen Kompetenzbereich miteinander (damit wurde klar, welche Kompetenz ein Item maß).

Jede Schülerin/jeder Schüler bearbeitete bei der Überprüfung zwei Testhefte mit je etwa 36 Aufgaben, für die insgesamt 80 Minuten reine Bearbeitungszeit zur Verfügung standen (mit einer Pause nach der Hälfte der Zeit). Insgesamt wurde ein ausreichend großer Itempool eingesetzt, damit die durch die Bildungsstandards definierten Kompetenzen durch den Test möglichst breit abgedeckt wurden.

Antwortformate

Im Rahmen der Überprüfungen wurden Testitems mit folgenden unterschiedlichen Antwortformaten eingesetzt:

Offenes Antwortformat

Beim offenen Antwortformat generierten die Schüler/innen ihre Antwort selbst. Diese Items überließen es vollständig der Schülerin/dem Schüler, wie sie/er die Aufgabenstellung löste. Die Aufgabenlösung konnte verbal frei gestaltet werden. Die Schüler/innen begründeten z. B. ihre Meinung oder beschrieben ihren Lösungsweg.

Halboffenes Antwortformat

Auch halboffene Items überließen die Antwortformulierung der Schülerin/dem Schüler. Die Aufgabe war jedoch im Unterschied zum offenen Item so präzise gestellt, dass die Antwort mit geringem Aufwand als richtig oder falsch bewertet werden konnte. Solche Items verlangten von den Schülerinnen und Schülern kurze Antworten, wie z. B. eine Zahl oder eine Konstruktion.

Geschlossenes Antwortformat

Beim geschlossenen Antwortformat standen den Schülerinnen und Schülern zu einer Frage mehrere vorformulierte Antworten zur Auswahl zur Verfügung. Die Antworten wurden eingescannt und elektronisch weiterverarbeitet.

  • Richtig-falsch-Items (zum Ankreuzen) bestanden aus einer Aussage und zwei Antwortalternativen („richtig“ oder „falsch“/„ja“ oder „nein“), von denen eine zutraf. Um die Ratewahrscheinlichkeit zu minimieren, wurden solche Items nur blockweise vorgelegt.
  • Multiple-Choice-Items (zum Ankreuzen): Die Schülerin/der Schüler musste aus mehreren zur Wahl gestellten Antwortmöglichkeiten diejenige auswählen, die sie/er für richtig hielt.

Beispielitems sind im Materialienbereich verfügbar.

Wer nahm an der Überprüfung in Mathematik teil?

Grundsätzlich waren alle Schüler/innen der 4. Schulstufe an Volksschulen verpflichtet, an der Überprüfung teilzunehmen. Ausgenommen davon wurden in einer Novelle der Bildungsstandard-Verordnung außerordentliche Schüler/innen und Schüler/innen mit sonderpädagogischem Förderbedarf, die im Testfach Mathematik auf der 4. Schulstufe nach dem Lehrplan der Sonderschule oder nach dem Lehrplan einer niedrigeren Schulstufe unterrichtet wurden. Ebenso galt diese Ausnahme für Schüler/innen mit Körper- und Sinnesbeeinträchtigung, die bei der Standardüberprüfung die Testitems mit den allenfalls im Unterricht zur Verfügung stehenden Unterrichts- oder Hilfsmitteln unter den vorgegebenen Testbedingungen voraussichtlich nicht hätten lösen können.

Wie wurde die Vertraulichkeit der Schüler/innen gewahrt?

Das BIFIE arbeitete ausschließlich mit Schüler-IDs, die von der Schule vergeben wurden. Diese Schüler-IDs waren Nummerncodes, die vom BIFIE nur Schulen und Klassen, nicht aber einzelnen Schülerinnen oder Schülern zugeordnet werden konnten. Das BIFIE war zu keinem Zeitpunkt im Besitz von Schülernamen oder der Zuordnung der IDs zu einzelnen Schülerinnen oder Schülern.

Wer führte die Überprüfung in der Klasse durch?

Bei der Überprüfung sollten alle Schüler/innen die gleichen Rahmenbedingungen vorfinden, damit die Ergebnisse vergleichbar sind. Aus diesem Grund war der Testablauf standardisiert. Das heißt, dass der Ablauf der Tests, die Instruktionen und die Testzeiten vorgegeben wurden und die Tests von eigens vom BIFIE geschulten Personen – sog. Testleiterinnen und Testleitern – administriert wurden. Das BIFIE unterschied dabei zwischen „interner“ und „externer“ Testleitung. In etwa 90 % der Klassen wurde die Überprüfung von Lehrerinnen und Lehrern der eigenen Schule administriert („interne Testleitung“). In einer Stichprobe von etwa 7 % der Klassen führten hingegen schulexterne Personen die Überprüfungen in den Klassen durch („externe Testleitung“).

Wie lief die Testung in der Klasse ab?

Die Standardüberprüfung begann am Testtag in der Regel mit dem Beginn des Vormittagsunterrichts und dauerte (einschließlich Instruktionen, Erklärungen und Pausen) maximal drei Schulstunden.

Hier zur Illustration schematisch der Ablauf der Überprüfung:

M4-Testablauf

Testablauf M4

Als Testzeit war eine Dauer von 80 Minuten festgelegt. Damit wurde die Testzeit je Schüler/in so kurz wie möglich gehalten und gleichzeitig sichergestellt, dass ausreichend Informationen von jeder Schülerin und jedem Schüler vorlagen, um zuverlässige und informative Rückmeldungen über die Ergebnisse an alle Zielgruppen (Schüler/innen, Lehrer/innen, Schulleitungen) geben zu können.

Im Anschluss an den Test bearbeiteten die Schüler/innen einen kurzen Kontextfragebogen. Er sollte Auskunft über das Vorhandensein und das Ausmaß jener Faktoren geben, die zur Erklärung des Kompetenzerwerbs beitragen könnten. Sowohl das Bundesministerium für Unterricht, Kunst und Kultur (BMUKK, nunmehr BMBWF) als auch die Schulpartner wurden über den Inhalt des Fragebogens vom BIFIE informiert.

Weiterführende Informationen




Standard­überprüfung Englisch, 8. Schul­stufe (2013)

Standardüberprüfung Englisch, 8. Schulstufe (2013)

Im zweiten Erhebungsjahr der Bildungsstandards wurden am 17. April 2013 die Kompetenzen von allen Schülerinnen und Schülern der 8. Schulstufe in Englisch überprüft. Am Beginn der österreichweiten, flächendeckenden und verpflichtenden Standardüberprüfungen stand 2012 das Fach Mathematik, im Jahr 2016 folgte die Überprüfung in Deutsch.

Wann erfolgte die Rückmeldung?

Die öffentlich zugänglichen Berichte der Standardüberprüfung Englisch auf der 8. Schulstufe wurden am 31. Jänner 2014 auf der BIFIE-Website veröffentlicht.

Ab diesem Zeitpunkt konnten auch die Ergebnisse für Schulaufsicht, Schulleitung, Lehrer/innen und Schüler/innen mit den entsprechenden Zugangscodes auf der Online-Plattform abgerufen werden.

Wann fand die Standardüberprüfung statt?

Sie fand am 17. April 2013 an allen Volksschul-Oberstufen, Hauptschulen und allgemeinbildenden höheren Schulen statt. In begründeten Ausnahmefällen konnte der Ersatztermin am 25. April 2013 in Anspruch genommen werden. Der Testzeitraum für den Kompetenzbereich Sprechen war von 6. Mai bis 7. Juni 2013.

Was wurde in Englisch wie überprüft?

Den Bildungsstandards für Englisch lag der Gemeinsame Europäische Referenzrahmen für Sprachen (GERS) zugrunde. Wesentliches Kriterium des Fremdsprachenunterrichts war demnach, dass Alltagssituationen in der Fremdsprache kommunikativ erfolgreich und sozial angemessen bewältigt werden können.

Die Überprüfung der Bildungsstandards in Englisch fand in den Kompetenzbereichen Hören, Lesen, Sprechen (bestehend aus An Gesprächen teilnehmen und Zusammenhängend sprechen) und Schreiben statt. Aus organisatorischen Gründen wurde die Überprüfung der Kompetenz Sprechen nur an einer Teilstichprobe von ca. 100 Schulen durchgeführt. Die anderen Kompetenzen wurden hingegen flächendeckend überprüft.

Jede Schülerin/jeder Schüler bearbeitete bei der Überprüfung der Kompetenzen Hören, Lesen und Schreiben jeweils ein Testheft mit Aufgaben. Innerhalb einer Klasse wurden verschiedene Testhefte eingesetzt, damit die durch die Bildungsstandards definierten Kompetenzen durch den Test möglichst breit abgedeckt wurden. Für die Überprüfung des Bereichs Sprechen wurden 24 Schüler/innen einer Schule klassenübergreifend zufällig ausgewählt und paarweise überprüft. Die Überprüfung selbst wurde von einem ausgebildeten Testleiterteam durchgeführt und dauerte ca. 15 Minuten.

Antwortformate

Im Rahmen der Überprüfungen wurden Testitems mit folgenden unterschiedlichen Antwortformaten eingesetzt:

Offenes Antwortformat

Beim offenen Antwortformat generierten die Schüler/innen ihre Antwort selbst. Diese Items überließen es vollständig der Schülerin/dem Schüler, wie sie/er die Aufgabenstellung löste. Die Aufgabenlösung konnte verbal frei gestaltet werden. Die Schüler/innen schrieben z. B. einen Text in der Fremdsprache.

Halboffenes Antwortformat

Auch halboffene Items überließen die Antwortformulierung der Schülerin/dem Schüler. Die Aufgabe war jedoch im Unterschied zum offenen Item so präzise gestellt, dass die Antwort mit geringem Aufwand als richtig oder falsch bewertet werden konnte. Solche Items verlangten von den Schülerinnen und Schülern kurze Antworten, wie z. B. ein Wort oder eine Zahl.

Geschlossenes Antwortformat

Beim geschlossenen Antwortformat standen den Schülerinnen und Schülern zu einer Frage mehrere vorformulierte Antworten zur Verfügung. Die Antworten wurden eingescannt und elektronisch weiterverarbeitet.

  • Richtig-falsch-Items (zum Ankreuzen) bestanden aus einer Aussage und zwei Antwortalternativen („richtig“ oder „falsch“) von denen eine zutraf. Um die Ratewahrscheinlichkeit zu minimieren, wurden solche Items nur blockweise vorgelegt.
  • Multiple-Choice-Items (zum Ankreuzen): Die Schülerin/der Schüler musste aus mehreren zur Wahl gestellten Antwortmöglichkeiten diejenige auswählen, die sie/er für richtig hielt.
  • Multiple-Matching-Items: Zuordnungsitems erforderten, dass die Schülerin/der Schüler vorgegebenen Begriffen eine entsprechende Beschreibung oder ein Bild korrekt zuwies.

Beispielitems sind im Materialienbereich verfügbar.

Wer nahm an der Überprüfung in Englisch teil?

Grundsätzlich waren alle Schüler/innen der 8. Schulstufe verpflichtet, an der Überprüfung teilzunehmen. Ausgenommen davon waren entsprechend der Bildungsstandard-Verordnung außerordentliche Schüler/innen, Schüler/innen mit sonderpädagogischem Förderbedarf, die im Testfach Englisch auf der 8. Schulstufe nach dem Lehrplan der Sonderschule oder nach dem Lehrplan einer niedrigeren Schulstufe unterrichtet wurden, und Schüler/innen, deren erste lebende Fremdsprache nicht Englisch war. Ebenso galt diese Ausnahme für Schüler/innen mit Körper- und Sinnesbeeinträchtigung, die bei der Standardüberprüfung die Testitems mit den allenfalls im Unterricht zur Verfügung stehenden Unterrichts- oder Hilfsmitteln unter den vorgegebenen Testbedingungen voraussichtlich nicht hätten lösen können.

Wie wurde die Vertraulichkeit der Schüler/innen gewahrt?

Das BIFIE arbeitete ausschließlich mit Schüler-IDs, die von der Schule vergeben wurden. Diese Schüler-IDs waren Nummerncodes, die vom BIFIE nur Schulen und Klassen, nicht aber einzelnen Schüler/innen zugeordnet werden konnten. Das BIFIE war zu keinem Zeitpunkt im Besitz von Schülernamen oder der Zuordnung der IDs zu einzelnen Schüler/innen.

Wer führte die Überprüfung in der Klasse durch?

Bei der Überprüfung sollten alle Schüler/innen die gleichen Rahmenbedingungen vorfinden, damit die Ergebnisse vergleichbar sind. Aus diesem Grund war der Testablauf standardisiert. Das heißt, dass der Ablauf der Tests, die Instruktionen und die Testzeiten vorgegeben wurden und die Tests von eigens vom BIFIE geschulten Personen – sogenannten Testleiterinnen und Testleitern – administriert wurden. Das BIFIE unterschied dabei zwischen „interner“ und „externer“ Testleitung. In etwa 90 % der Klassen wurde die Überprüfung von Lehrerinnen und Lehrern der eigenen Schule administriert („interne Testleitung“). In einer Stichprobe von etwa 7 % der Klassen führten hingegen schulexterne Personen die Überprüfungen in den Klassen durch („externe Testleitung“).

Wie lief die Testung in der Klasse ab?

Die Standardüberprüfung begann am Testtag in der Regel mit dem Beginn des Vormittagsunterrichts. Die reine Testzeit betrug ca. 120 Minuten, nach je 40 Minuten gab es eine Pause. Damit wurde die Testzeit je Schüler/in so kurz wie möglich gehalten und gleichzeitig sichergestellt, dass ausreichend Informationen von jeder Schülerin und jedem Schüler vorlagen, um zuverlässige und informative Rückmeldungen über die Ergebnisse an alle Zielgruppen (Schüler/innen, Lehrer/innen, Schulleitungen) geben zu können.

Hier zur Illustration schematisch der Ablauf der Überprüfung:

E8-Testablauf

Testablauf E8

Im Anschluss an den Test bearbeiteten die Schüler/innen einen kurzen Kontextfragebogen. Er sollte Auskunft über das Vorhandensein und das Ausmaß jener Faktoren geben, die zur Erklärung des Kompetenzerwerbs beitragen könnten. Sowohl das Bundesministerium für Unterricht, Kunst und Kultur (BMUKK, nunmehr BMBWF) als auch die Schulpartner wurden über den Inhalt des Fragebogens vom BIFIE informiert.

Weiterführende Informationen