eTIMSS 2019

TIMSS 2019

2019 beginnt der insgesamt siebte TIMSS-Erhebungszyklus. TIMSS wird 2019 neben der papierbasierten Version erstmals auch eine vollständig computerbasierte Testversion (eTIMSS) anbieten. Österreich wird diese vollständig computerbasierte Version einsetzen. Der Test wird von externen Testleiterinnen und Testleitern durchgeführt, die vom BIFIE ausgebildet werden und mit allen notwendigen Materialien zum vereinbarten Testtermin an die Schule kommen.

eTIMSS ermöglicht es, über die bisher abgedeckten mathematischen und naturwissenschaftlichen Inhalte hinaus komplexe Teilbereiche des TIMSS-Frameworks zu untersuchen, die mit papierbasierten Tests bisher nur schwierig getestet werden konnten.

Der Haupttest zu eTIMSS findet in Österreich von März bis Juni 2019 statt. Die Stichprobe wird nach aktuellem Stand 259 Schulen mit zumindest einer Klasse pro Schule umfassen, an denen insgesamt ca. 7000 Schüler/innen der 4. Schulstufe getestet werden. Davon werden ca. 5000 Schüler/innen den Test computerbasiert durchführen. Ca. 2000 Schüler/innen werden den Test jedoch wie in vorangegangenen Studien papierbasiert durchführen, um zu erheben, ob die Schüler/innen bei einer computerbasierten Durchführung gleich gut abschneiden wie bei einer papierbasierten. Über den Durchführungsmodus in den jeweiligen Klassen entscheidet eine Zufallsauswahl.

Ein Jahr vor dem Haupttest – zwischen März und April 2018 – fand ein Feldtest statt. Dabei wurden sämtliche Prozeduren, Abläufe, Testaufgaben und Fragebögen erprobt und an Schülerinnen und Schülern an 48 Schulen getestet. Die Daten aus dem Feldtest wurden für Itemanalysen zur Auswahl der Aufgaben für den Haupttest genutzt. Ein weiteres Ergebnis des Feldtests ist, dass die computerbasierte Durchführung bei den Schülerinnen und Schülern sehr gut angekommen ist: 96 % der Schüler/innen gaben beim Feldtest an, dass sie die computerbasierte Durchführung sehr oder eher mochten, weniger als 4 % gaben an, dass sie diese nicht sehr oder gar nicht mochten.

Die Ergebnisse zu eTIMSS 2019 werden voraussichtlich im Dezember 2020 veröffentlicht.

Weiterführende Informationen




TIMSS – ein Überblick

TIMSS – ein Überblick

TIMSS (Trends in International Mathematics and Science Study) testet international die Mathematik- und Naturwissenschaftskompetenz von Schülerinnen und Schülern auf der 4. und 8. Schulstufe im Abstand von vier Jahren.

1995 war TIMSS der erste große internationale Schülerleistungsvergleich, an dem sich Österreich beteiligte. 1995 nahm Österreich mit der 4., der 8. und der 12. Schulstufe teil. Seit der Erhebung im Jahr 2007 nimmt Österreich nur noch mit der 4. Schulstufe teil.

2019 werden international zwei Erhebungsmodi angeboten, eine papierbasierte und eine computerbasierte Testung (eTIMSS). Österreich wird 2019 an der computerbasierten Erhebung eTIMSS teilnehmen, bei der die Schülerinnen und Schüler alle Aufgaben am Computer bearbeiten werden.

Gemeinsam mit der Lesestudie PIRLS (Progress in International Reading Literacy Study) bildet TIMSS in Österreich das IEA-Grundschulmonitoring bei den 10-Jährigen. Die Studien ergänzen so ideal das OECD-Programm PISA, das die Lese-, Mathematik- und Naturwissenschaftskompetenz bei 15-/16-Jährigen am Ende der Pflichtschulzeit erfasst.

Neben den Leistungsdaten werden bei TIMSS auf unterschiedlichen Ebenen (Schüler/innen, Eltern, Lehrkräfte, Schulleitung und Schulsystem) Hintergrundinformationen mithilfe von Fragebögen erhoben, um die gewonnenen Leistungsdaten mit diesen Kontextdaten in Verbindung zu bringen.

Für die Gesamtkonzeption der Studie, die Testhefte und die Fragebögen zeichnet die International Association for the Evaluation of Educational Achievement (IEA) verantwortlich, die seit mehr als vier Jahrzehnten Studien zum Vergleich von Schülerleistungen durchführt. Das International Study Center (ISC) am Boston College ist für die Koordination aller Teilnehmerländer und die weltweite Umsetzung von TIMSS zuständig.

Weiterführende Informationen




Häufig gestellte Fragen zu TIMSS

Häufig gestellte Fragen zu TIMSS

Welche Ziele verfolgt die Studie?

TIMSS (Trends in International Mathematics and Science Study) dient der standardisierten Messung von Schülerleistungen in Mathematik und Naturwissenschaft im Abstand von vier Jahren. Die Studie liefert international vergleichbare Daten darüber, welche Kompetenzen und Einstellungen Schüler/innen in diesen beiden Testbereichen erworben haben.

Die Ergebnisse der Studie dienen den Teilnehmerländern als Grundlage für schulpolitische Entscheidungen sowie zur Einschätzung und Kontrolle der Effektivität des jeweiligen Bildungssystems. Der direkte Vergleich dieser Ergebnisse mit den Leistungen der anderen Teilnehmerländer erlaubt eine Beurteilung von Stärken und Schwächen im Bildungssystem. Mithilfe von Fragebögen für Klassenlehrer/innen, Schulleiter/innen, Schüler/innen und deren Eltern wird ein breites Spektrum an Hintergrundinformation über den Unterricht, die Lehrkräfte, die Schulen sowie die außerschulische Lebenswelt der Schüler/innen gewonnen.

Auf internationaler Ebene werden bei TIMSS die Mathematik- und Naturwissenschaftskompetenzen der Schüler/innen sowohl auf der 4. als auch auf der 8. Schulstufe getestet – jedes Teilnehmerland kann allerdings selbst entscheiden, ob es sich an der Testung beider Schulstufen beteiligt oder an nur einer. Insgesamt nehmen weltweit über 60 Länder an TIMSS teil.

Der erste TIMSS-Test fand 1995 mit österreichischer Beteiligung statt. Danach folgten zwei Durchgänge ohne Österreich (1999 und 2003). 2007 und 2011 nahm Österreich auf der 4. Schulstufe wieder an TIMSS teil. 2019 wird TIMSS erstmals computerbasiert durchgeführt werden.

Wie ist das Projekt organisiert?

TIMSS ist ein Projekt der International Association for the Evaluation of Educational Achievement (IEA), die 1958 gegründet wurde. Heute besteht diese Organisation aus 62 institutionellen Mitgliedern (von Universitäten bis hin zu Bildungsministerien). Die IEA hat in den letzten 50 Jahren zahlreiche groß angelegte Vergleichsstudien im Bildungsbereich durchgeführt, um den politischen Entscheidungsträgern internationale Bildungsindikatoren bereitzustellen. Damit können Stärken und Schwächen im Bildungssystem im internationalen Vergleich identifiziert werden.

Das International Study Center (ISC) am Boston College zeichnet für die Gesamtorganisation der Studie auf internationaler Ebene verantwortlich. Bei der Implementierung von TIMSS arbeitet das ICS eng mit den folgenden Institutionen zusammen: IEA-Sekretariat (Amsterdam), Data Processing Center (Hamburg), Statistics Canada (Kanada), Educational Testing Service (USA).

In jedem Teilnehmerland verantwortet ein National Research Coordinator (NRC) die nationale Durchführung und Leitung der Studie.

Wer wird getestet?

Zielgruppe des TIMSS-Assessments sind Schüler/innen auf der 4. bzw. 8. Schulstufe. Die Erhebung in Österreich findet allerdings nur auf der 4. Schulstufe statt. Im Haupttest werden in Österreich rund 5000 Schüler/innen aus ca. 160 zufällig ausgewählten Schulen getestet. Dazu werden an jeder dieser Schulen maximal zwei Klassen per Zufallsprinzip ermittelt, deren Schüler/innen die TIMSS-Testhefte und Fragebögen bearbeiten sollen.

Wie läuft der Test ab?

Bisher wurde die TIMSS-Studie mittels „Papier und Bleistift“-Tests durchgeführt. Ab 2019 wird mit eTIMSS die Leistungsmessung auch elektronisch administriert. Die Tests werden an den Schulen von speziell dafür geschulten Personen (externen Testleiterinnen und Testleitern) durchgeführt. Die gesamte Testdurchführung (inkl. Pausen) dauert etwa 2,5 Stunden. Für die Beantwortung der Aufgaben aus den Bereichen Mathematik und Naturwissenschaft stehen den Schülerinnen und Schülern 72 Minuten zur Verfügung. Im Anschluss daran erhalten sie einen Schülerfragebogen zur Bearbeitung.

Was wird getestet?

Die Organisation des Kompetenzbereichs Mathematik für die 4. Schulstufe umfasst zwei Dimensionen: eine inhaltliche Dimension (Sachgebiete) und eine kognitive Dimension.

Die inhaltlichen Bereiche gliedern sich in:

  • Zahlen
  • Geometrische Formen und Maße
  • Darstellen von Daten

Die kognitiven Bereiche umfassen Kompetenzen, von denen angenommen wird, dass sie die Schüler/innen benötigen, um die Aufgaben zu lösen:

  • Wissen
  • Anwenden
  • Begründen

Die inhaltlichen Bereiche der Naturwissenschaftskompetenz auf der 4. Schulstufe gliedern sich in:

  • Biologie
  • Physik
  • Erdkunde

Als kognitive Bereiche werden wiederum das Wissen, das Anwenden von Wissen sowie die Fähigkeit zum Begründen erfasst.

Wie wird eine hohe Qualität gewährleistet?

In einer weltweit durchgeführten Studie wie TIMSS muss ein besonderes Augenmerk auf alle Aspekte der Qualität und der fairen Vergleichbarkeit gelegt werden. Dies betrifft die internationale Konstruktion der Test- und Befragungsinstrumente, die Übersetzungsprozeduren, die korrekte Auswahl der Schulen und Schüler/innen, den kontrollierten Ablauf des Tests an den Schulen und die sorgfältige Eingabe und Auswertung der erhobenen Daten.

Dazu wird von der IEA ein umfassendes Qualitätsmonitoring durchgeführt (z. B. internationale Kontrolle der Übersetzungen, internationale Kontrolle der Testung durch sogenannte TIMSS-Quality-Monitors sowie rigorose Kontrollprozesse bei der Bewertung der offenen Antworten, bei der Eingabe der Daten und bei der Erstellung der nationalen Datenbasis). Darüber hinaus werden auch am BIFIE umfassende Qualitätssicherungsmaßnahmen durchgeführt, welche durch die professionelle Erfahrung der Mitarbeiter/innen am BIFIE unterstützt werden. Besonderes Augenmerk wird auf die Schulungen der externen Testleiter/innen sowie die nationalen Evaluierung der Testdurchführungen gelegt, um zu einer hohen Erhebungsqualität zu gelangen. Auch die Bewertungen der geschriebenen Schülerantworten verlangt ein präzises und faires Vorgehen durch alle Bewerter/innen, um zu aussagekräftigen Daten zu gelangen. Auch diese Schulungen werden am BIFIE durch Mitarbeiter/innen durchgeführt.

Wie wird die Vertraulichkeit der Schülerantworten gewahrt?

Es werden von allen Beteiligten ausschließlich pseudonymisierte Daten erhoben. Das Bundesinstitut BIFIE erhält zu keinem Zeitpunkt die Namen der Schüler/innen und Lehrpersonen. Die Daten sind damit nicht auf eine bestimmte Person rückführbar. Das Bundesinstitut BIFIE hält sich sowohl an in der EU geltenden Datenschutzregeln als auch an jene der IEA. Analyse und Berichterstattung beziehen sich niemals auf individuelle Leistungsdaten einzelner Personen. Das Interesse gilt ausschließlich den aggregierten Ergebnissen und Indikatoren, die den Bildungsverantwortlichen als wichtige Entscheidungsgrundlage für eine faktenbasierte Qualitätsentwicklung dienen sollen. Die Daten einzelner Schüler/innen oder bestimmter Schulen werden nicht ausgewertet oder gar veröffentlicht. Darüber hinaus sind alle Mitarbeiter/innen des Bundesinstituts BIFIE per BIFIE-Gesetz (§ 3 Abs. 2 BGBl. I Nr. 25/2008) zur Verschwiegenheit verpflichtet. Das BIFIE pflegt einen sorgfältigen, sensiblen Umgang mit Daten und garantiert allen Beteiligten absolute Vertraulichkeit.

Weiterführende Informationen