• Welche Ziele verfolgt die Studie?
• Wie ist das Projekt organisiert?
• Wer wird getestet?
• Welche Tests werden verwendet?
• Wie wird eine hohe Qualität gewährleistet?
• Wie wird die Vertraulichkeit der Schüler/innen gewahrt?

Welche Ziele verfolgt die Studie?

TIMSS (Trends in International Mathematics and Science Study) dient der standardisierten Messung von Schülerleistungen in Mathematik und Naturwissenschaft im Abstand von 4 Jahren.
Die Studie liefert international vergleichbare Daten, welche Kompetenzen und Einstellungen die Schüler/innen in diesen beiden Testbereichen erworben haben. Die Ergebnisse der Studie dienen den Teilnehmerländern als Grundlage von schulpolitischen Entscheidungen sowie zur Einschätzung und Kontrolle der Effektivität des jeweiligen Bildungssystems. Der direkte Vergleich dieser Ergebnisse mit den Leistungen der anderen Teilnehmerländer erlaubt eine Beurteilung von Stärken und Schwächen im Bildungssystem. Mit Hilfe von Fragebögen an Schüler/innen, Klassenlehrer/innen und Schulleiter/innen wird ein breites Spektrum an zusätzlicher Hintergrundinformation über den Unterricht, die Lehrer/innen, die Schulen sowie der außerschulischen Lebenswelt der Schüler/innen gewonnen.

Auf internationaler Ebene werden bei TIMSS die Mathematik- und Naturwissenschafts-Kompetenzen der Schüler/innen sowohl in der 4. als auch in der 8. Schulstufe getestet - es kann allerdings jedes Teilnehmerland selbst entscheiden, ob es sich an der Testung beider Schulstufen beteiligt oder nur an einer. Insgesamt nehmen weltweit über 60 Länder an TIMSS teil.
Der erste TIMSS-Test fand 1995 mit österreichischer Beteiligung statt. Danach folgten zwei Durchgänge ohne österreichische Beteiligung (1999 und 2003). Seit 2007 nimmt Österreich mit der 4. Schulstufe wieder an TIMSS teil.

Wie ist das Projekt organisiert?

International

TIMSS ist ein Projekt der internationalen Forschergemeinschaft IEA – der International Association for the Evaluation of Educational Achievement – die 1958 gegründet wurde. Heute besteht diese Organisation aus 62 institutionellen Mitgliedern (von Universitäten bis hin zu Bildungsministerien). Die IEA hat in den letzten 50 Jahren zahlreiche groß angelegte Vergleichsstudien im Bereich der Bildung durchgeführt, um den politischen Entscheidungsträgern internationale Bildungsindikatoren bereitzustellen. Damit können Stärken und Schwächen im Bildungssystem im internationalen Vergleich identifiziert werden.
Das International Study Center am Boston College trägt für die gesamte Oganisation der Studie auf internationaler Ebene die Verantwortung. Bei der Implementierung von TIMSS arbeitet das International Study Center eng mit den folgenden Institutionen zusammen: IEA-Sekretariat (Amsterdam), Data Processing Center (Hamburg), Statistics Canada (Kanada), Educational Testing Service (USA).
In jedem Teilnehmerland verantwortet ein National Research Coordinator (NRC) die nationale Durchführung und Leitung der Studie.

National

Die Umsetzung des Projekts auf nationaler Ebene wird in Österreich durch das Bundesministerium für Unterricht, Kunst und Kultur (BMUKK) finanziert und beaufsichtigt.
Österreichischer Vertragspartner und national für die wissenschaftliche Konzeption und Realisierung verantwortlich ist das BIFIE Salzburg, Zentrum für Bildungsmonitoring und Bildungsstandards, unter der Leitung von Dr. Claudia Schreiner. Nationale Projektmanager für TIMSS sind Dr. Birgit Suchan und DDr. Günter Haider. Für alle Abläufe bezüglich Datenerhebung im Feld zeichnet das Zentrum für Datenmanagement und Statistik (ZDS) des BIFIE in Salzburg unter der Leitung von Martin Pointinger verantwortlich.

Wer wird getestet?

Zielgruppe des TIMSS-Assessments sind Schüler/innen der 4. bzw. 8. Schulstufe. Die Erhebung in Österreich findet allerdings nur in der 4. Schulstufe statt. Im Haupttest werden in Österreich rund 5.000 Schüler/innen aus ca. 160 zufällig ausgewählten Schulen getestet. Dazu werden an jeder dieser Schulen maximal zwei Klassen per Zufallsprinzip ermittelt, deren Schüler/innen die TIMSS-Testhefte und Fragebögen bearbeiten sollen.

Welche Tests werden verwendet?

Die Leistungsmessung erfolgt mittels "Papier-und-Bleistift-Tests". Die Tests werden an den Schulen von speziell dafür geschulten Personen (externen Testleiter/innen) durchgeführt. Die gesamte Test-Durchführung (inkl. Pausen) dauert etwa 2,5 Stunden. Für die Beantwortung der Aufgaben (Mathematik und Naturwissenschaft) im Testheft stehen den Schüler/innen 72 Minuten zur Verfügung. Im Anschluss daran erhalten sie noch einen Schülerfragebogen zum Ausfüllen.

Die Organisation des Kompetenzbereichs Mathematik für die 4. Schulstufe umfasst zwei Dimensionen: eine inhaltliche Dimension (Sachgebiete) und eine kognitive Dimension.
Die inhaltlichen Bereiche gliedern sich in:

• Zahlen
• Geometrische Formen und Maße
• Darstellen von Daten

Die kognitiven Bereiche umfassen Kompetenzen, von denen angenommen wird, dass sie die Schüler/innen benötigen, um die Aufgaben zu lösen:

• Wissen um Fakten und Abläufe
• Anwenden von Wissen
• Begründen

Die inhaltlichen Bereiche der Naturwissenschaftskompetenz für die 4. Schulstufe gliedern sich in:

• Biologie
• Physik
• Erdkunde

Als kognitive Bereiche wird wiederum das Wissen um Fakten und Abläufe, das Anwenden von Wissen sowie die Fähigkeit zum Begründen erfasst.

Wie wird eine hohe Qualität gewährleistet?

In einer weltweit durchgeführten Studie wie TIMSS muss ein besonderes Augenmerk auf alle Aspekte der Qualität und der fairen Vergleichbarkeit gelegt werden. Dies betrifft die internationale Konstruktion der Test- und Befragungsinstrumente, die Übersetzungsprozeduren, die korrekte Auswahl der Schulen und Schüler/innen, den kontrollierten Ablauf des Tests an den Schulen und die sorgfältige Eingabe und Auswertung der erhobenen Daten. Dazu wird von der IEA ein umfassendes Qualitätsmonitoring durchgeführt (z. B. internationale Kontrolle der Testung durch TIMSS Quality Monitors sowie rigorose Kontrollprozesse bei der Eingabe der Daten und bei der Erstellung der nationalen Datenbasis). Darüber hinaus werden auch am BIFIE Salzburg umfassende Qualitätssicherungsmaßnahmen durchgeführt, welche durch die professionelle Erfahrung der Mitarbeiter/innen am BIFIE unterstützt werden (z. B. langjährige Mitarbeit bei internationalen Studien, Einsatz externer, gut ausgebildeter Testleiter/innen, nationale Überprüfung der Einhaltung der Testprozeduren etc.).

Wie wird die Vertraulichkeit der Schüler/innen gewahrt?

• TIMSS ist an aggregierten (zusammengefassten) Daten interessiert, d. h. die Daten einzelner Schüler/innen oder bestimmter Schulen werden nicht ausgewertet, analysiert oder gar veröffentlicht (es gibt kein „Schulranking“).
• Alle kodierten Daten werden für die Analysen anonymisiert, indem Schülernamen nicht gespeichert werden und Schulbezeichnungen durch eine Nummer ersetzt werden. Die Zuordnung dieser Nummern zu den Schulen ist nur dem nationalen Datenmanagement für die Verwaltung der Stichprobe bekannt und für Außenstehende (z. B. BMUKK, Schulaufsicht, andere Schulen, etc.) völlig unzugänglich.
• Alle publizierten Ergebnisse beruhen auf kumulierten Vergleichsdaten (z. B. Mittelwert aller österreichischen Schüler/innen, Prozentsatz richtiger Lösungen bei den getesteten Mädchen).