• Welche Ziele verfolgt die PISA-Studie?
• Welche Schüler/innen werden getestet?
• Welche Tests werden verwendet?
• Welche zusätzlichen Informationen werden erhoben?
• Wie ist das Projekt organisiert?
• Was wird für hohe Qualität getan?
• Wie wird die Vertraulichkeit der Schüler/innen gewahrt?

Welche Ziele verfolgt die PISA-Studie?

PISA (Programme for International Student Assessment) dient der standardisierten Messung von Schülerleistungen. Hierbei kooperieren die 30 OECD-Staaten mit mehreren Partnerländern mit dem Ziel der Erhebung von Bildungsindikatoren. Die Ergebnisse aus der Studie dienen den Teilnehmerstaaten als Grundlage von schulpolitischen Entscheidungen sowie zur Einschätzung und Kontrolle der Effektivität des jeweiligen Bildungssystems. Der direkte Vergleich dieser Ergebnisse mit den Leistungsstandards der anderen Teilnehmerstaaten erlaubt eine Beurteilung von Stärken und Schwächen der Bildungssysteme.
Die Erfassung der Schülerleistungen erfolgt seit der ersten Erhebung im Jahr 2000 in regelmäßigen Abständen (alle drei Jahre), wobei zu jedem Erhebungszeitpunkt in dem 3-Jahreszyklus ein anderer Kompetenzbereich im Vordergrund steht (2000 und 2009: Lesen, 2003 und 2012: Mathematik, 2006 und 2015: Naturwissenschaft). Damit ist es einerseits möglich den Ist-Stand über das Wissen, die Fähigkeiten und Kompetenzen der Schüler/innen zu erheben, der für die Verantwortlichen des Schulwesens eine Orientierung sein kann. Andererseits lassen sich aus diesen kontinuierlich stattfindenden Erhebungen wertvolle Längsschnittvergleiche über die Leistungsentwicklung gewinnen. Damit wird sichtbar, welche Konsequenzen zwischenzeitlich eingeleitete Verbesserungen im System haben.

Welche Schüler/innen werden getestet?

Zielgruppe der Untersuchung sind Schüler/innen, die zum Erhebungszeitpunkt 15/16 Jahre alt sind. Hierbei wird immer genau ein Geburtsjahrgang erhoben (z. B. Geburtsjahrgang 1993 für die Erhebung im Jahr 2009). Diese Art der Zielgruppendefinition wurde gewählt, weil sich Schüler/innen in diesem Alter in fast allen Teilnehmerländern am Ende der Pflichtschulzeit befinden.
In Österreich wird eine Zufallsstichprobe von rund 5.000 Schülerinnen und Schülern aus ca. 150 Schulen (aus verschiedenen Schultypen) getestet. An jeder zufällig ausgewählten PISA-Schule werden maximal 35 (ebenfalls zufällig ausgewählte) Schüler/innen getestet.

Welche Tests werden verwendet?

Das Ziel der Studie ist, ein möglichst breites Spektrum jener Fähigkeiten zu erfassen, die zur Bewältigung von vielfältigen Aufgaben nötig sind. Aus diesem Grund steht nicht die Erhebung von Kenntnissen, die im Lehrplan vorgesehen sind, im Vordergrund, sondern die Erfassung von Fähigkeiten, die für eine erfolgreiche Anpassung an veränderte Gegebenheiten erforderlich sind und kontinuierlich über die gesamte Lebensspanne hinweg erworben werden.
Das Konzept, das hinter dieser Leitfrage der PISA-Studie steht, ist das Modell des lebenslangen Lernens. Dieses beschreibt Kompetenzen, die zur Bewältigung des privaten und beruflichen Lebens notwendig sind. Das Wesentliche ist die Frage, inwieweit die Schüler/innen in der Schule in den folgenden drei Kompetenzbereichen jene Kenntnisse und Fähigkeiten erwerben, die sie später als Erwachsene benötigen werden: Lesen, Mathematik und Naturwissenschaft. Die Kompetenzbereiche werden in den PISA-Frameworks (der PISA-Rahmenkonzeption) definiert und erläutert.

Lesen

Lese-Kompetenz zu besitzen heißt, geschriebene Texte zu verstehen, zu nutzen und über sie zu reflektieren, um eigene Ziele zu erreichen, das eigene Wissen und Potenzial weiterzuentwickeln und am gesellschaftlichen Leben teilzunehmen.

Mathematik

Mathematik-Kompetenz ist die Fähigkeit einer Person, die Rolle zu erkennen und zu verstehen, die Mathematik in der Welt spielt, fundierte mathematische Urteile abzugeben und sich auf eine Weise mit der Mathematik zu befassen, die den Anforderungen des gegenwärtigen und künftigen Lebens dieser Person als konstruktivem, engagiertem und reflektierendem Bürger entspricht.

Naturwissenschaft

Naturwissenschafts-Kompetenz ist definiert als „...

• naturwissenschaftliches Wissen und die Anwendung dieses Wissens, um Fragestellungen zu identifizieren, neue Kenntnisse zu erwerben, naturwissenschaftliche Phänomene zu erklären und aus Belegen Schlussfolgerungen in Bezug auf naturwissenschaftsbezogene Sachverhalte zu ziehen, sowie

• das Verständnis der charakteristischen Eigenschaften der Naturwissenschaften als eine Form menschlichen Wissens und Forschens,
• die Fähigkeit zu erkennen, wie Naturwissenschaften und Technologie unsere materielle, intellektuelle und kulturelle Umgebung prägen und die Bereitschaft, sich mit naturwissenschaftlichen Themen und Ideen als reflektierender Bürger [reflektierende Bürgerin] auseinanderzusetzen." (OECD, 2006a, S. 23; Übersetzung der OECD)

Alle PISA-Aufgaben werden auf Basis der PISA-Frameworks von internationalen und nationalen Expertengruppen entwickelt und durch die nationalen PISA-Zentren sowie nationale Expertengruppen begutachtet. Bei PISA 2009 liegt der Schwerpunkt auf der Lese-Kompetenz, was bedeutet, dass etwas mehr als die Hälfte aller Testaufgaben aus diesem Bereich stammen. Innerhalb der getesteten Kompetenzbereiche werden die Aufgaben zu verschiedenen Aufgabenblöcken zusammengefasst. Daraus werden dann 13 verschiedene Testheftformen gebildet, für deren Bearbeitung die Schüler/innen zwei Stunden zur Verfügung haben. Welche Blöcke in welchem Testheft enthalten sind, wird durch ein Schema festgelegt, mit dem die Blöcke zwischen den Testheften aufgeteilt (rotiert) werden. Durch diese Vorgehensweise können in jedem Kompetenzbereich durch sehr viele Aufgaben Informationen über die Leistungen der Schüler/innen gewonnen werden, obwohl jede/r Schüler/in nur eine vergleichsweise geringe Anzahl von Aufgaben bearbeiten muss.
Die Aufgaben, die die Schüler/innen lösen müssen, setzen sich aus unterschiedlichen Formaten zusammen:

• Es gibt Aufgaben, bei denen aus mehreren vorgegebenen Antworten eine ausgewählt werden muss (Multiple-Choice-Aufgaben).
• Bei Aufgaben, die eine kurze offene Antwort erfordern, müssen die Schüler/innen kurze verbale oder numerische Antworten selbst finden und niederschreiben.
• Bei komplexen offenen Aufgaben muss eine umfassende, längere verbale Antwort selbst konstruiert, niedergeschrieben und begründet werden.

Electronic Reading Assessment – Lesen elektronischer Texte

Neu an PISA 2009 ist die internationale Option „Electronic Reading Assessment“ (ERA), die von der OECD entwickelt wurde, um die Kompetenzen der Jugendlichen in Bezug auf das Lesen elektronischer Texte zu erfassen. Elektronische Medien, vor allem das Internet, nehmen einen immer größeren Stellenwert in der Kommunikation und Information – insbesondere auch von Jugendlichen – ein. ERA misst, inwieweit 15-/16-jährige Schüler/innen in der Lage sind, Informationen aus elektronischen Texten/Webseiten zu entnehmen sowie diese kritisch zu hinterfragen und beleuchtet die Navigations-Fähigkeiten der Schüler/innen. Inhaltlich und technisch stellt ERA eine Innovation dar.
Die Aufgaben werden den Jugendlichen in einer simulierten Web-Umgebung präsentiert, die Testung dauert ca. 40 Minuten.

Welche zusätzlichen Informationen werden erhoben?

Neben den Leistungsdaten werden zur Erhebung des Ist-Standes und zur Beobachtung der Veränderung über die Zeit auf Schul- und Schülerebene zusätzlich noch Kontextinformationen erhoben. Diese liefern eine detaillierte Grundlage für eine schulpolitisch orientierte Ergebnisanalyse und können zur Klärung von bestimmten Ergebnissen (z. B. welche Rolle das Geschlecht bei den verschiedenen Leistungen spielt) herangezogen werden.
Um solche wichtigen Hintergrunddaten zu erhalten, wird im Anschluss an den Test eine rund 45-minütige Befragung der Schüler/innen durchgeführt. Darüber hinaus werden wichtige Merkmale der Schule, der Schul- und Unterrichtsorganisation, die einen Einfluss auf die Leistungen der Schüler/innen haben können, in einem Fragebogen für Schulleiter/innen erhoben.
Die Befragung ist dabei in zwei Teile gegliedert:

Internationaler Teil

Dieser enthält zentrale Kontextmerkmale, die in allen Teilnehmerländern erhoben werden. Die internationalen Fragebögen werden von einer internationalen Expertengruppe entwickelt und von den politischen Vertretern alle Teilnehmerländer begutachtet (politischer Vertreter für Österreich ist Dr. Mark Német, BMUKK). Die Inhalte der internationalen Fragebögen sind in allen Erhebungsjahren etwa gleich. Hier ändern sich im Wesentlichen nur die Zusatzfragen zum jeweiligen Domänenschwerpunkt (Lesen, Mathematik oder Naturwissenschaft). Da Lesen bei PISA 2009 zum zweiten Mal Schwerpunkt ist, sind das größtenteils Längsschnittfragen.
Wichtige Themen der internationalen Schülerbefragung sind:

• demografische Daten (z. B. Alter, Geschlecht und Migrationshintergrund),
• sozioökonomischer Hintergrund (z. B. Beruf und Schulbildung der Eltern),
• vorhandene und nutzbare Lernressourcen in der Schule und im Elternhaus,
• die Einstellungen der Schüler/innen zum Hauptkompetenzbereich (2009: Lesen),
• einige Fragen zum Unterricht aus der Sicht der Schüler/innen,
• Computernutzung und Umgang mit elektronischen Medien sowie
• die Schullaufbahn der Schüler/innen.

Im internationalen Schulfragebogen werden u. a. folgende Informationen erhoben:

• Basisdaten zur Schule (Schultyp, Schulgröße, Klassenzahl, Lehrerzahl etc.),
• Informationen über Schulressourcen und Lernumgebung,
• Kontext von Unterricht und Erziehung und
• Maßnahmen der Qualitätsentwicklung.

Nationaler Teil

Sowohl der Schul- als auch der Schülerfragebogen sind durch nationale Zusatzerhebungen angereichert. Dabei werden in jedem Zyklus schwerpunktmäßig relevante Informationen erhoben. Für PISA 2009 beauftragte das BMUKK ein universitäres Konsortium unter der Leitung von Univ.-Prof. Dr. Ferdinand Eder/Universität Salzburg mit der Erstellung der nationalen Zusatzerhebungen auf Schul- und Schülerebene. Manche dieser Bereiche werden dabei in Form von Trendindikatoren in allen Untersuchungszyklen durchgeführt, wie z. B.

• die Lesegewohnheiten der Jugendlichen (seit PISA 2000),
• die Nutzung von Informationstechnologien innerhalb und außerhalb der Schule (seit PISA 2000),
• die Befindlichkeit und der Schulerfolg der Schüler/innen am Übergang zur Sekundarstufe II (seit PISA 2000),
• die an den Schulen durchgeführten Qualitätsentwicklungsmaßnahmen (seit PISA 2000) sowie
• Belastung/Stress in der Schule (seit PISA 2003).

Neu bei PISA 2009 sind folgende Themenbereiche der Schülerbefragung:

• Unterricht im Fach Deutsch
• Gewalt in der Schule
• Geschlechterrollen
• Sozialkapital
• Freizeitgestaltung und kulturelle Aktivitäten

Für die Bewertung der Ergebnisse in den Leistungstests sind die auf nationaler Ebene zusammengefassten Daten aller Schülerinnen und Schüler sehr wichtig, etwa um feststellen zu können, wieweit der Zusammenhang von Bildung und Wohlstand der Eltern sich auf die Schülerleistungen auswirkt oder wie die Motivation der Jugendlichen mit der Leistung zusammenhängt und sich entwickelt.

Die nationalen Zusatzerhebungen auf Schulebene sind besonders wichtig, um das österreichische Schulsystem besser charakterisieren zu können und die Effektivität des Systems in Verbindung mit den Schülerleistungen darstellen zu können.
Wichtige Themen des nationalen Schulleiter-Fragebogens sind:

• Qualitätsentwicklung und Qualitätssicherung (seit PISA 2000)
• Rahmenbedingungen der Leseförderung (seit PISA 2000)
• Nutzung von Informationstechnologien (seit PISA 2000)
• Schüler/innen mit Migrationshintergrund (seit PISA 2003)
• Veränderung der Systemsteuerung im Bildungswesen (2009)
• Individualisierung und Differenzierung (2009)
• Gewalt in der Schule (2009)

Wie ist das Projekt organisiert?

International

Auf internationaler Ebene hat das OECD-Sekretariat die übergreifende Managementverantwortung für das gesamte Projekt. Wichtige Entscheidungen fallen im PISA Governing Board (PGB), in dem alle Teilnehmerländer vertreten sind. Dieses legt im Rahmen der Zielsetzung der OECD die politischen Prioritäten fest und überwacht ihre Einhaltung im Verlauf der Implementierung des Programms.
Internationales Konsortium
Zur Abwicklung von PISA 2009 wurden zwei internationale Vertragspartner beauftragt, die für die Realisierung des OECD-Konzepts verantwortlich sind. Konsortium A unter der Führung von A.C.E.R. (Australian Council for Educational Research) ist für die Testinstrumente und alle Testabläufe verantwortlich. Weitere Mitglieder dieses Konsortiums sind WESTAT (USA), cApStAn (Linguistic Quality Control, Belgien), HallStat SPRL (Translation Quality Control, Belgien), DIPF (Deutsches Institut für Pädagogische Forschung), ASPE (L’unité Analyse des systèmes et des pratiques d’enseignement, Universität Liège), Ministère de l'Education nationale et de la Formation professionnelle SCRIPT (Luxemburg) sowie NIER (National Institute for Educational Policy Research of Japan).

Konsortium B unter der Leitung von CITO (Institute for Educational Measurement, Niederlande) wurde mit den Kontextfragebögen beauftragt. Weitere Mitgliedsorganisationen dieses Konsortiums sind: Institute for Educational Research (Universität Jyväskylä), Department of Research Methodology, Measurement, and Data Analysis (Universität Twente, Niederlande) sowie DEPP (Departement des Sciences de l'education an der Universität Grenoble, Frankreich).
Für jeden der drei getesteten Kompetenzbereiche gibt es Arbeitsgruppen mit Expertinnen und Experten aus einigen Teilnehmerländern (Subject Matter Expert Groups – SMEG), die gewährleisten sollen, dass sich die politische Zielsetzung von PISA mit den höchsten international verfügbaren fachwissenschaftlichen und verfahrenstechnischen Kompetenzen in den verschiedenen Erhebungsbereichen verbinden.
Zur Gewährleistung der technischen Qualität des Projekts wurde die Technical Advisory Group eingerichtet, die z. B. für die Überprüfung der Durchführbarkeit der geplanten Stichprobenziehung verantwortlich ist.

Österreich

Die Umsetzung des Projekts auf nationaler Ebene wird in Österreich durch das Bundesministerium für Unterricht, Kunst und Kultur (BMUKK) finanziert und beaufsichtigt.
Österreichischer Vertragspartner und national für die Realisierung verantwortlich ist das BIFIE Salzburg, Zentrum für Bildungsmonitoring und Bildungsstandards, unter der Leitung von Dr.ⁱⁿ Claudia Schreiner. Nationale Projektmanagerin für PISA 2009 ist Mag.^a Ursula Schwantner. Für alle Abläufe bezüglich Datenerhebung im Feld zeichnet das Zentrum für Datenmanagement und Statistik (ZDS) des BIFIE in Salzburg unter der Leitung von Martin Pointinger verantwortlich.
Mit der Konzeption der nationalen Zusatzbefragung für PISA 2009 beauftragte das BMUKK ein universitäres Konsortium unter der Leitung von Univ.-Prof. Dr. Ferdinand Eder, an dem eine Reihe renommierter österreichischer Bildungsforscher/innen beteiligt sind.
Analog zu den internationalen Expertengruppen gibt es in den Teilnehmerländern für jeden Kompetenzbereich nationale Expertengruppen bestehend aus Wissenschafterinnen und Wissenschaftern bzw. Didaktikerinnen und Didaktikern, welche u. a. die  PISA-Frameworks und die eingesetzten PISA-Aufgaben begutachten.

Was wird für hohe Qualität getan?

In einer weltweit durchgeführten Studie wie PISA muss ein besonderes Augenmerk auf alle Aspekte der Qualität und der fairen Vergleichbarkeit gelegt werden. Dies betrifft die internationale Konstruktion der Test- und Befragungsinstrumente, die Übersetzungsprozeduren, die korrekte Auswahl der Schulen und Schüler/innen, den kontrollierten Ablauf des Tests an den Schulen und die sorgfältige Eingabe und Auswertung der erhobenen Daten. Dazu wird von der OECD (dem internationalen Konsortium) ein umfassendes Qualitätsmonitoring durchgeführt (z. B. internationale Kontrolle der Testung durch PISA Quality Monitors, Überprüfung der nationalen Zentren vor Ort durch National Centre Quality Monitors von A.C.E.R. sowie rigorose Kontrollprozesse bei der Eingabe der Daten und bei der Erstellung der nationalen Datenbasis. Darüber hinaus werden auch am BIFIE Salzburg umfassende Qualitätssicherungsmaßnahmen durchgeführt, welche durch die professionelle Erfahrung der Mitarbeiter/innen am BIFIE unterstützt werden (z. B. langjährige Mitarbeit bei internationalen Studien, Einsatz externer, gut ausgebildeter Testleiter/innen, nationale Überprüfung der Einhaltung der Testprozeduren etc.).

Wie wird die Vertraulichkeit der Schüler/innen gewahrt?

• PISA ist an aggregierten (zusammengefassten) Daten interessiert, d. h. die Daten einzelner Schüler/innen oder bestimmter Schulen werden nicht ausgewertet, analysiert oder gar veröffentlicht (es gibt kein „Schulranking“).
• Alle kodierten Daten werden für die Analysen anonymisiert, indem Schülernamen nicht gespeichert werden und Schulbezeichnungen durch eine Nummer ersetzt werden. Die Zuordnung dieser Nummern zu den Schulen ist nur dem nationalen Datenmanagement für die Verwaltung der Stichprobe bekannt und für Außenstehende (z. B. OECD, BMUKK, Schulaufsicht, andere Schulen, etc.) völlig unzugänglich.
• Alle publizierten Ergebnisse beruhen auf kumulierten Vergleichsdaten (z. B. Mittelwert aller österreichischen Schüler/innen, Prozentsatz richtiger Lösungen bei den getesteten Mädchen).