Ursula Schwantner

Bei der PISA-Studie 2006 steht erstmals die Naturwissenschafts-Kompetenz der 15-/16-jährigen Schüler/innen im Mittelpunkt. Der nationale Expertenbericht enthält detaillierte Analysen zu den Kompetenzen der österreichischen Jugendlichen in den drei Kompetenzbereichen Naturwissenschaft, Lesen und Mathematik sowie zu aktuellen Themen der Bildungsforschung und richtet sich in seiner Konzeption und Ausführung an ein breites Publikum. Das vorliegende Kapitel gibt eine kurze Einführung in die Konzeption und Methodik der PISA-Studie.

Das Akronym PISA steht für Programme for International Student Assessment und bezeichnet die größte internationale Studie zur Erfassung und zum Vergleich von Basiskompetenzen von 15-/16-jährigen Schülerinnen und Schülern. PISA wurde 1998 von der OECD (Organisation für wirtschaftliche Zusammenarbeit und Entwicklung) und ihren Mitgliedsstaaten ins Leben gerufen, Österreich beteiligt sich seit Beginn an PISA. Als internationale Wirtschaftsinstitution unterstützt die OECD eine Politik, die darauf ausgerichtet ist, in den Mitgliedsstaaten eine optimale Wirtschaftsentwicklung und Beschäftigung zu erzielen und dadurch auch zur Entwicklung der Weltwirtschaft beizutragen. Neben der UNESCO verfügt die OECD über die weltgrößte und zuverlässigste wissenschaftliche Datenbasis zum Vergleich ökonomischer und sozialer Merkmale in den Mitgliedsstaaten. Ein zentrales Element sind dabei die OECD-Studien zur allgemeinen und beruflichen Bildung, deren wesentliche Ergebnisse jährlich in dem Bericht „Education at a Glance“ („Bildung auf einen Blick“) veröffentlicht werden. Die Berichte und Studien basieren auf den standardisierten Indikatoren der INES-Arbeitsgruppe (Indicators of Educational Systems), um sicherzustellen, dass vergleichbare und kontinuierliche Ergebnisse über die Leistungsfähigkeit der Bildungssysteme gewonnen werden. PISA nimmt dabei einen zentralen Stellenwert ein, indem die Studie in regelmäßigen Abständen schulpolitisch relevante und international vergleichbare Schülerleistungsindikatoren liefert.

Ziele von PISA

PISA beleuchtet die Qualität von Schulsystemen und deren Eignung, Schüler/innen auf die Herausforderungen der Zukunft vorzubereiten und die notwendigen Voraussetzungen für lebenslanges Lernen zu schaffen. Seit PISA 2000 werden in einem 3-Jahres-Zyklus in den Teilnehmerländern standardisierte Leistungsmessungen bei 15-/16-jährigen Schülerinnen und Schülern in den Grundkompetenzen Lesen, Mathematik und Naturwissenschaft durchgeführt. Die Verantwortlichen für das Schulsystem, Schüler/innen, Eltern und die Öffentlichkeit haben Anspruch darauf zu erfahren, inwieweit das notwendige Wissen und die angestrebten Fertigkeiten im Lauf der Pflichtschulzeit tatsächlich erworben werden. Durch den internationalen Vergleich werden die nationalen Ergebnisse und Sichtweisen in einen größeren Zusammenhang gestellt und somit ergänzt und vertieft. Der Vergleich der Ergebnisse aller OECD- bzw. auch der EU-Länder macht wichtige Stärken und Schwächen der einzelnen Bildungssysteme sichtbar.

PISA fokussiert auf drei Gruppen von Indikatoren, um die Qualität und Effektivität der Bildungssysteme in den teilnehmenden Ländern zu beschreiben:

• Leistungsindikatoren (oder Basisindikatoren): Die Testergebnisse der Schüler/innen in den grundlegenden Kompetenzbereichen Lesen, Mathematik und Naturwissenschaft dienen den Verantwortlichen der Bildungssysteme in den Mitgliedsstaaten als Basisindikatoren.
• Kontextindikatoren: Mit Hilfe von Schul- und Schülerfragebögen werden wesentliche Merkmale der Schüler/innen und ihrer Familien (demografische, soziale und ökonomische Merkmale, Einstellungen der Jugendlichen, Informationen zum Unterricht etc.), Merkmale der Schulen sowie allgemein pädagogische Merkmale erfasst, die mit den Leistungen der Schüler/innen in Zusammenhang stehen.
• Trendindikatoren: Durch die regelmäßige und standardisierte Erfassung der Leistungs- und Kontextindikatoren können diese über die Zeit verglichen werden und bilden somit Trendindikatoren, die Auskunft über Entwicklungen und Veränderungen im Verlauf der Zeit in den verschiedenen Ländern geben können. Darüber hinaus ist es möglich, Auswirkungen zwischenzeitlich eingeleiteter Maßnahmen im System zu erkennen.

PISA 2006 – Teilnehmerländer und Organisation

An PISA 2006 beteiligen sich 57 Länder aus allen Kontinenten, welche rund ein Drittel der Weltbevölkerung und 90 % der Weltwirtschaft abdecken. Als „Kernländer“ nehmen alle 30 OECD-Staaten teil. In jedem teilnehmenden Land findet PISA in zufällig ausgewählten Schulen statt. Dazu wird eine Stichprobe von mindestens 4500 Schülerinnen und Schülern des entsprechenden Alters (15-/16-Jährige) unter streng kontrollierten Bedingungen getestet. Weltweit nehmen derzeit insgesamt mehr als 300 000 Schüler/innen an PISA teil, in Österreich werden an ca. 200 Schulen aller Schultypen mit 15-/16-Jährigen je bis zu 35 Jugendliche getestet.

Die internationale Organisation

Das OECD-Sekretariat in Paris hat die übergreifende Managementverantwortung für das gesamte Projekt, die wichtigsten Entscheidungen fallen im PGB (PISA Governing Board), in dem jedes OECD-Land eine Stimme hat – Österreich entsendet in das PGB einen Vertreter des BMUKK[1]. Das PGB legt im Rahmen der Zielsetzungen der OECD die politischen Prioritäten fest und überwacht den gesamten Implementierungsprozess. Mit der wissenschaftlichen Koordination, der Planung und praktischen Umsetzung von PISA 2006 wurde ein internationales Konsortium unter der Leitung von A.C.E.R. (Australian Council for Educational Research) beauftragt. Weitere Mitglieder dieses Konsortiums sind WESTAT (USA), Citogroep (Netherlands Institute for Educational Measurement) sowie NIER (National Institute for Educational Policy Research of Japan). Darüber hinaus werden internationale Expertengruppen eingerichtet, deren Aufgabe es ist, die bei PISA verwendeten Materialien (Tests, Fragebögen) zu entwickeln und durch ihre Expertise und Erfahrung die wissenschaftlich korrekte Umsetzung von PISA auf höchstem verfahrenstechnischen Niveau zu gewährleisten.

Die Organisation in Österreich

PISA 2006 wurde in Österreich von BM Elisabeth Gehrer in Auftrag gegeben und vom BMBWK finanziert. Seit 1. März 2007 ist das BMUKK unter BM Dr.ⁱⁿ Claudia Schmied für PISA verantwortlich. Unterstützt wurde PISA 2006 am damaligen BMBWK von der „Projektgruppe internationale Bildungsevaluationsprojekte OECD-PISA“ und dem Nationalen PISA-Komitee, dem Vertreter der Schüler/innen und Eltern sowie der regionalen Schulbehörden und der Schulaufsicht angehören. Darüber hinaus richtete das BMBWK für PISA 2006 eine nationale Expertengruppe für den Bereich Naturwissenschaft ein.

Österreichischer Vertragspartner und national für die wissenschaftliche Konzeption und Durchführung von PISA 2006 war das Projektzentrum für Vergleichende Bildungsforschung (ZVB) unter der Leitung von DDr. Günter Haider und Dr.ⁱⁿ Claudia Schreiner, der nationalen Projektmanagerin für PISA 2006, am Fachbereich Erziehungswissen- schaft an der Universität Salzburg. Seit April 2008 ist das BIFIE Salzburg, Zentrum für Bildungsmonitoring und Bildungsstandards, unter der Leitung von Dr.ⁱⁿ Claudia Schreiner für PISA verantwortlich.

PISA-Population und Stichprobe

Zielgruppe für PISA 2006 sind Schüler/innen des Geburtsjahrgangs 1990 (ab der 7. Schulstufe). Die Stichprobenziehung erfolgt zweistufig nach festgelegten Kriterien, um einen einheitlichen Prozess für alle PISA-Teilnehmerländer zu garantieren. Zuerst werden die ca. 200 österreichischen PISA-Schulen durch das internationale Konsortium zufällig gezogen. Basis dafür ist die offizielle Schuldatenbank des BMUKK mit ca. 2500 Schulen. Danach werden in einem zweiten Schritt aus allen Zielschülerinnen und -schülern einer Schule (Jahrgang 1990 und mind. 7. Schulstufe) mit Hilfe einer genau festgelegten Prozedur max. 35 Schüler/innen für die Teilnahme an PISA gezogen. Sind weniger als 35 Zielschüler/innen an einer Schule, werden alle Schüler/innen getestet.

Da PISA das Gesamtbild des Leistungsstands eines Schülerjahrgangs erfasst, werden auch Schüler/innen der Sekundarstufe 1 (insbesondere Hauptschulen, AHS-Unterstufen und Sonderschulen) und Schüler/innen des dualen Systems (Berufsschule/Lehre) getestet. Dabei gilt es zu beachten, dass Jugendliche, die im Alter von 15/16 Jahren noch eine Hauptschule besuchen ein- oder mehrfach repetiert haben und somit eine erhebliche Schullaufbahnverzögerung aufweisen. Schüler/innen mit besonderen Bedürfnissen nehmen, wo es möglich, sinnvoll und ethisch vertretbar ist, am PISA-Test teil. Für sie gibt es eine verkürzte und einfachere Testheft- und Fragebogenversion.

Eine geringe Anzahl an Ausschlüssen auf Schülerebene darf nach sehr strengen Regeln der OECD vorgenommen werden und erfolgt direkt an der Schule durch den/die PISA-Schulkoordinator/in in Zusammenarbeit mit dem Klassenvorstand. Mögliche Ausschlussgründe sind:

• Der/die Schüler/in hat eine so schwere dauerhafte körperliche oder geistige Behinderung, dass die Teilnahme nicht möglich, ethisch nicht vertretbar oder nicht sinnvoll ist.
• Der/die Schüler/in ist nichtdeutscher Muttersprache und erst weniger als ein Jahr ordentliche/r Schüler/in in Österreich. Es mangelt ihm/ihr derart an Deutschkenntnissen, dass ein Verstehen der Anleitungen und der Testaufgaben nicht möglich ist.
• Der/die ausgewählte Schüler/in hat zwischen Erstellung der Schülerliste (Jänner/Februar) und dem Testtermin (April/Mai) an eine andere Schule gewechselt oder die Schule verlassen.

Beim Haupttest 2006 wurden 1,7 % der Schüler/innen auf Grund einer schweren dauerhaften Behinderung oder mangelnder Deutschkenntnisse ausgeschlossen. Der Anteil an Jugendlichen, die zwischenzeitlich die Schule gewechselt/verlassen hatten, beträgt 3,1 %.

Von internationaler Seite gibt es auch strenge Vorgaben für die Rücklaufquoten auf Schul- und Schülerebene. Für den Haupttest 2006 ist dies eine realisierte Stichprobe von mindestens 4500 Schülerinnen und Schülern aus mindestens 150 Schulen (85 % Mindestrücklaufqote auf Schulebene und mindestens 80 % gewichteter Rücklauf auf Schülerebene). Schüler/innen, die auf Grund der Ausschlusskriterien nicht an PISA teilnehmen, zählen nicht zum Rücklauf. Abbildung 2.2 zeigt die Anzahl der Schüler/innen, die an PISA 2006 teilgenommen haben – getrennt nach Schulsparten. In Österreich wurden die internationalen Vorgaben mit 4927 teilnehmenden Schülerinnen und Schülern aus 199 Schulen vollständig erfüllt (die 93,6 % ungewichteter Rücklauf auf Schülerebene entsprechen einem von der OECD gewichteten Rücklauf von 90,8 %). Insgesamt deckt die österreichische Stichprobe nach der Gewichtung 98 % der beschulten Population der 15-/16-jährigen Schüler/innen ab. In Bezug auf die gesamte Alterskohorte deckt die Stichprobe 92 % ab. Die Differenz von 6 % beziffert die Out-of-School-Population, das sind jene Jugendlichen, die im Alter von 15/16 Jahren keine Schule mehr besuchen. Die Größe der Out-of-School-Population muss beim Vergleich von Schulsystemen mit bedacht werden – vor allem deshalb, weil jene 15-/16-Jährigen, die keine Schule mehr besuchen, vermutlich eher geringe Kompetenzen aufweisen. Ihre Nichtberücksichtigung bedeutet meist eine Überschätzung des PISA-Mittelwerts bzw. eine Unterschätzung der Größe der Risikogruppen (s. Kapitel 4.1). Der Anteil Österreichs an der Out-of-School-Population ist mit 6 % vergleichsweise groß (OECD, 2007d).

Der PISA-Test

Die getesteten Kompetenzbereiche

PISA 2006 erfasst Grundkompetenzen von Jugendlichen in drei zentralen Bereichen: Naturwissenschafts-Kompetenz (scientific literacy), Lese-Kompetenz (reading literacy) und Mathematik-Kompetenz (mathematical literacy). Die Festlegung der Testinhalte erfolgt so, dass nicht nur die Beherrschung des im Curriculum vorgesehenen Lehrstoffs abgedeckt wird, sondern insbesondere wichtige Kenntnisse und Fähigkeiten, die man im Erwachsenenleben benötigt, erfasst werden. PISA überprüft Kompetenzen, welche die Basis für lebenslanges Lernen bilden und für die aktive Teilhabe am gesellschaftlichen Leben und der Arbeitswelt notwendig sind. Das Hauptaugenmerk liegt auf der Beherrschung von Prozessen, dem Verständnis von Konzepten sowie auf der Fähigkeit, innerhalb eines Kompetenzbereichs auf Grund von nachhaltig vernetztem Wissen mit unterschiedlichen alltagsbezogenen Situationen und Problemen umgehen zu können. Bei PISA 2006 stellt die Naturwissenschafts-Kompetenz den Schwerpunkt dar, das heißt, dass mehr als die Hälfte der Aufgaben aus diesem Bereich stammen. Die Inhalte und die Konzeption der einzelnen Kompetenzbereiche werden in Kapitel 3 eingehend erläutert und von Fachdidaktikerinnen und Fachdidaktikern näher beschrieben.

Die Messung der Grundkompetenzen erfolgt mit Papier-und-Bleistift-Tests, wobei die individuelle Testzeit (pro Schüler/in) zwei Stunden beträgt. Insgesamt werden aus allen PISA-Aufgaben 13 verschiedene Testheftformen zusammengestellt und eingesetzt. Die Tests bestehen aus einer Mischung von Multiple-Choice-Aufgaben und Aufgaben, für die die Schüler/innen eigene Antworten ausarbeiten und formulieren müssen (Details dazu s. Kapitel 3).

Im Anschluss an den Test beantworten die Jugendlichen einen Schülerfragebogen von etwa 45 Minuten Länge über wesentliche Kontextfaktoren (soziodemografische und sozioökonomische Merkmale, Einstellungen der Schüler/innen, motivationale Faktoren, Unterricht in Naturwissenschaft etc.). Auch die Schulleiter/innen erhalten einen Fragebogen zu wichtigen Merkmalen auf Schulebene wie Schulgröße, Anzahl der Lehrer/innen, Ressourcen, Angebot an Naturwissenschafts-Aktivitäten für die Schüler/innen etc.

Die eingesetzten Tests und Fragebögen werden von Expertinnen und Experten aller Teilnehmerstaaten gemeinsam entwickelt und unter hohen Qualitätsbestimmungen in die jeweiligen Landessprachen übersetzt.

Zur Interpretation der Ergebnisse

An PISA 2006 nehmen insgesamt 57 Länder teil – die 30 OECD-Länder sowie 27 Partnerländer. Hongkong und Macau sind zwar Sonderverwaltungszonen Chinas, in dieser Publikation werden ihre Ergebnisse jedoch wie von eigenständigen Ländern berichtet. Diese Vorgehensweise entspricht jener der OECD.

Ausgewählte Vergleichsländer

Der Fokus der vorliegenden Publikation liegt auf den Ergebnissen Österreichs und deren Präsentation in einem relevanten Kontext. Die Ergebnisse aller 57 Länder werden daher nur bei einigen wenigen Analysen herangezogen. Meist wird Österreich mit den OECD- und/oder EU-Ländern verglichen[2]. Einige Analysen beschränken sich dabei auf 15 ausgewählte Vergleichsländer und Österreich. Diese bestehen aus den zehn reichsten EU-Ländern (nach BIP je Einwohner, kaufkraftbereinigt, aus 2005; Quelle: WK Österreich), ergänzt durch die restlichen Nachbarländer Österreichs.

In Abbildung 2.1 sind alle teilnehmenden Staaten aufgelistet. Die in dieser Publikation verwendeten Länderkürzel befinden sich in Anhang D.

Methodisch-statistische Hinweise

Da bei PISA nicht alle 15-/16-jährigen Schüler/innen eines Landes, sondern Stichproben (ca. 4500 bis 10 000 Schüler/innen pro Land) getestet werden, muss bei der Interpretation Folgendes beachtet werden:

• Die aus den Daten resultierenden statistischen Kennzahlen (wie etwa Mittelwerte) sind Punktschätzungen des tatsächlichen Populationswerts und sind daher mit einem gewissen statistischen Fehler, dem Standardfehler, behaftet. Dieser kann dazu verwendet werden, mittels eines Konfidenzintervalls einen Wertebereich anzugeben, innerhalb dessen sich der tatsächliche Populationswert mit einer bestimmten Sicherheit (hier 95 %, d. h. p < .05) befindet.
• Standardfehler und Konfidenzintervall wirken sich auch auf die Bestimmung von Rangplätzen aus, wie etwa bei der Reihung der Länder nach ihren in einem Kompetenzbereich erreichten Mittelwerten. Sehr kleine Unterschiede in diesen Mittelwerten liegen im Bereich von Zufallsschwankungen. Daraus resultieren geteilte Rangplätze, z. B. liegt Österreich in Naturwissenschaft mit 95%iger Wahrscheinlichkeit auf den geteilten Rängen 8 bis 15. Die geteilten Rangplätze werden direkt aus Mittelwert und Standardfehler – und nicht über den Umweg von paarweisen Mittelwertsvergleichen – ermittelt. Daher müssen die Angaben über die Rangplätze mit der Bestimmung von signifikanten Mittelwertsunterschieden zu anderen Ländern nicht unbedingt identisch sein.
• Der statistische Messfehler spielt auch bei Vergleichen von zwei Mittelwerten eine Rolle, etwa beim Vergleich der Ergebnisse zweier Gruppen von Schülerinnen und Schülern (z. B. aus zwei Ländern oder von Mädchen und Burschen). Hierbei werden statistische Signifikanzprüfungen durchgeführt, die unter Berücksichtigung des Standardfehlers testen, ob mit einer bestimmten Sicherheit auch dann ein Unterschied beobachtet werden könnte, würde man alle Schüler/innen – und nicht nur eine Stichprobe – testen. Alle Signifikanzprüfungen in dieser Publikation werden – wenn nicht anderes vermerkt – auf dem 95 %-Niveau durchgeführt. Werden mehrere Vergleiche durchgeführt (z. B. Vergleich des Österreich-Mittelwerts mit den Mittelwerten aller anderen Länder), wird für die entstehende insgesamt größere Irrtumswahrscheinlichkeit eine Korrektur vorgenommen.
• Zur Berechnung des OECD-Schnitts werden die Mittelwerte der Kennwerte für jedes OECD-Land errechnet und dann gemittelt, was dem Mittelwert aller Kennwerte der OECD-Länder entspricht. Diese Vor- gehensweise entspricht jener der OECD in ihren Berichten und wird auch zur Berechnung des EU-Schnitts herangezogen. Streng genommen handelt es sich beim resultierenden Wert nicht um einen „OECD- bzw. EU-Schnitt“, sondern um den Kennwert eines (fiktiven) durchschnittlichen OECD- oder EU-Landes.
• Bei allen in dieser Publikation angegebenen Kennwerten (Mittelwerte, Standardfehler, Prozentangaben etc.) handelt es sich um gerundete Werte. Daher kann es vorkommen, dass die Summe der gerundeten Prozentangaben in Tabellen oder Abbildungen nicht exakt 100 ergibt oder Summen von Werten inkonsistent erscheinen mögen.

Abbildung 2.1: PISA-2006-Teilnehmerländer

Abbildung 2.2: Anzahl der Schüler/innen, die an PISA 2006 teilgenommen haben – getrennt nach Schulsparten

Mehr zu PISA 2006

Ausführlichere Informationen und Details zu den Zielen, der Organisation und den Methoden von PISA 2006 finden sich in folgenden Publikationen des nationalen PISA-Zentrums und der OECD:

Schreiner, C., Breit, S., Schwantner, U. & Grafendorfer, A. (2007). PISA 2006. Internationaler Vergleich von Schülerleistungen. Die Studie im Überblick. Graz: Leykam.

Schreiner, C. (Hrsg.). (2007). PISA 2006. Internationaler Vergleich von Schülerleistungen. Technischer Bericht. Verfügbar unter: http://www.bifie.at/pisa

OECD (2009). PISA 2006. Technical Report. Paris: OECD. Verfügbar unter: http://www.pisa.oecd.org