Häufig gestellte Fragen zu PISA

Häufig gestellte Fragen zu PISA

PISA ist ein gemeinsames Projekt der OECD-Staaten, das die Kompetenzen von 15-/16-jährigen Schülerinnen und Schülern in drei zentralen Bereichen misst: Lesen, Mathematik und Naturwissenschaft. PISA findet alle drei Jahre mit wechselnden Schwerpunkten statt: 2000/2009 Lesen, 2003/2012 Mathematik, 2006/2015 Naturwissenschaft. Eine wesentliche Neuerung, die PISA 2015 mit sich brachte, ist die Umstellung im Testmodus von einer papierbasierten auf eine computerbasierte Erfassung der Kompetenzen. Mit PISA 2018 begann der insgesamt dritte Erhebungszyklus mit dem Schwerpunkt Lesen, 2021 folgt Mathematik als Hauptdomäne und 2024 Naturwissenschaft.

Welche Ziele verfolgt die PISA-Studie?

PISA (Programme for International Student Assessment) dient der standardisierten Messung von Schülerleistungen. Hierbei kooperieren die 35 OECD-Staaten mit mehreren Partnerländern mit dem Ziel der Erhebung von Bildungsindikatoren.

Die Ergebnisse aus der Studie dienen den Teilnehmerstaaten als Grundlage von schulpolitischen Entscheidungen sowie zur Einschätzung und Kontrolle der Effektivität des jeweiligen Bildungssystems. Der direkte Vergleich dieser Ergebnisse mit jenen der anderen Teilnehmerstaaten erlaubt eine Beurteilung von Stärken und Schwächen der Bildungssysteme.

Die Erfassung der Schülerleistungen erfolgt seit der ersten Erhebung im Jahr 2000 in regelmäßigen Abständen (alle drei Jahre), wobei zu jedem Erhebungszeitpunkt ein anderer Kompetenzbereich schwerpunktmäßig (mit rund der Hälfte aller Aufgaben) erfasst wird: 2000/2009/2018 Lesen, 2003/2012/2021 Mathematik und 2006/2015/2024 Naturwissenschaft. Damit ist es einerseits möglich, den Ist-Stand über das Wissen, die Fähigkeiten und die Kompetenzen der Schüler/innen zu erheben, der für die Verantwortlichen des Schulwesens eine Orientierung sein kann. Andererseits lassen sich aus diesen kontinuierlich stattfindenden Erhebungen wertvolle Längsschnittvergleiche über die Leistungsentwicklung gewinnen. Damit wird sichtbar, welche Konsequenzen zwischenzeitlich eingeleitete Verbesserungen im System haben.

Mit PISA 2015 erfolgte die Umstellung von einem papier- auf einen computerbasierten Test.

Welche Schüler/innen werden getestet?

Zielgruppe der Untersuchung sind Schüler/innen, die zum Erhebungszeitpunkt 15/16 Jahre alt sind. Diese Art der Zielgruppendefinition wurde gewählt, weil sich Schüler/innen in diesem Alter in fast allen Teilnehmerländern am Ende der Pflichtschulzeit befinden. In Österreich wird zu jedem Erhebungszeitpunkt eine Zufallsstichprobe von ca. 5000 Schülerinnen und Schülern aus ca. 200 Schulen (aus verschiedenen Schultypen – anteilsmäßig zum Vorkommen in der Grundgesamtheit) getestet. An jeder zufällig ausgewählten PISA-Schule werden maximal 36 Schüler/innen (ebenfalls zufällig) für die Teilnahme an PISA ausgewählt. Bei PISA 2015 wurden aufgrund der Umstellung auf die computerbasierte Erhebung etwa 7000 Schüler/innen aus ca. 300 Schulen getestet, wobei pro Schule maximal 36 Schüler/innen ausgewählt wurden.

Welche Testformate werden verwendet?

Ziel der Studie ist es, ein möglichst breites Spektrum jener Fähigkeiten zu erfassen, die zur Bewältigung von vielfältigen Aufgaben aus den Bereichen Lesen, Mathematik und Naturwissenschaft nötig sind. Aus diesem Grund steht nicht die Erhebung von Kenntnissen, die im Lehrplan vorgesehen sind, im Vordergrund, sondern die Erfassung von Fähigkeiten, die für eine erfolgreiche Anpassung an veränderte Gegebenheiten erforderlich sind und kontinuierlich über die gesamte Lebensspanne hinweg erworben werden. Das Konzept, das hinter dieser Leitfrage der PISA-Studie steht, ist das Modell des lebenslangen Lernens.

Dieses beschreibt Kompetenzen, die zur Bewältigung des privaten und beruflichen Lebens notwendig sind. Das Wesentliche ist die Frage, inwieweit die Schüler/innen in der Schule in den folgenden drei Kompetenzbereichen jene Kenntnisse und Fähigkeiten erwerben, die sie später als Erwachsene benötigen werden: Lesen, Mathematik und Naturwissenschaft. Die Kompetenzbereiche werden in den PISA-Frameworks definiert und erläutert.

Lesen

Lesekompetenz zu besitzen heißt, geschriebene Texte zu verstehen, zu nutzen und über sie zu reflektieren, um eigene Ziele zu erreichen, das eigene Wissen und Potenzial weiterzuentwickeln und am gesellschaftlichen Leben teilzunehmen.

Mathematik

Mathematikkompetenz ist die Fähigkeit einer Person, die Rolle zu erkennen und zu verstehen, die Mathematik in der Welt spielt, fundierte mathematische Urteile abzugeben und sich auf eine Weise mit der Mathematik zu befassen, die den Anforderungen des gegenwärtigen und künftigen Lebens dieser Person als konstruktivem, engagiertem und reflektierendem Bürger entspricht.

Naturwissenschaft

Naturwissenschaftskompetenz wird von der OECD (2006) definiert als

  • „naturwissenschaftliches Wissen und die Anwendung dieses Wissens, um Fragestellungen zu identifizieren, neue Kenntnisse zu erwerben, naturwissenschaftliche Phänomene zu erklären und aus Belegen Schlussfolgerungen in Bezug auf naturwissenschaftsbezogene Sachverhalte zu ziehen,
  • das Verständnis der charakteristischen Eigenschaften der Naturwissenschaften als eine Form menschlichen Wissens und Forschens,
  • die Fähigkeit zu erkennen, wie Naturwissenschaften und Technologie unsere materielle, intellektuelle und kulturelle Umgebung prägen und die Bereitschaft, sich mit naturwissenschaftlichen Themen und Ideen als reflektierender Bürger [reflektierende Bürgerin] auseinanderzusetzen“.

Alle PISA-Aufgaben werden auf Basis der PISA-Frameworks von internationalen und nationalen Expertengruppen entwickelt und durch die nationalen PISA-Zentren sowie nationale Expertengruppen begutachtet. Innerhalb der getesteten Kompetenzbereiche werden die Aufgaben zu verschiedenen Aufgabenblöcken zusammengefasst. Daraus werden dann verschiedene Testversionen gebildet, für deren Bearbeitung am Computer die Schüler/innen zwei Stunden zur Verfügung haben. Welche Aufgabenblöcke in welcher Testversion enthalten sind, wird durch ein Schema festgelegt, mit dem die Aufgabenblöcke zwischen den Versionen aufgeteilt (rotiert) werden. Durch diese Vorgehensweise können in jedem Kompetenzbereich durch sehr viele Aufgaben Informationen über die Leistungen der Schüler/innen gewonnen werden, obwohl jede Schülerin/jeder Schüler nur eine vergleichsweise geringe Anzahl von Aufgaben bearbeiten muss. Die Aufgaben, die die Schüler/innen lösen müssen, setzen sich aus unterschiedlichen Formaten zusammen:

  • Es gibt Aufgaben, bei denen aus mehreren vorgegebenen Antworten eine ausgewählt werden muss (Multiple-Choice-Aufgaben).
  • Bei Aufgaben, die eine kurze offene Antwort erfordern, müssen die Schüler/innen kurze verbale oder numerische Antworten selbst finden und niederschreiben.
  • Bei komplexen offenen Aufgaben muss eine umfassende, längere verbale Antwort selbst konstruiert, niedergeschrieben und begründet werden.
  • Durch die Umstellung auf eine computerbasierte Erfassung der Kompetenzen werden nun auch Testaufgaben eingesetzt, bei denen die Schüler/innen zunächst eine Simulation durchführen (z. B. Auswirkungen der körperlichen Tätigkeit auf die Atemfrequenz) und dann Fragen zu den Ergebnissen dieser Simulation beantworten.

Welche zusätzlichen Informationen werden erhoben?

Neben den Leistungsdaten werden wichtige Kontextinformationen auf Schul- und Schülerebene erhoben. Diese liefern eine detaillierte Grundlage für eine schulpolitisch orientierte Ergebnisanalyse und können zur Erklärung von bestimmten Ergebnissen (z. B. welche Rolle das Geschlecht oder der Sozialstatus der Familie bei den verschiedenen Leistungen spielt) herangezogen werden. Um solche wichtigen Hintergrunddaten zu erhalten, wird im Anschluss an den Test eine rund 45-minütige Befragung der Schüler/innen ebenfalls am Computer durchgeführt. Darüber hinaus werden wichtige Merkmale der Schule bzw. der Schul- und Unterrichtsorganisation, die einen Einfluss auf die Leistungen der Schüler/innen haben kann, in einem Fragebogen für Schulleiter/innen erhoben. Die Fragebögen werden von einer internationalen Expertengruppe entwickelt. Die Inhalte der internationalen Fragebögen sind in allen Erhebungsjahren etwa gleich. Hier ändern sich im Wesentlichen nur die Zusatzfragen zum jeweiligen Schwerpunkt (Lesen, Mathematik oder Naturwissenschaft), die – wenn ein Bereich zum wiederholten Mal schwerpunktmäßig erfasst wird – ebenso zum größten Teil im Längsschnitt fortgeführt werden. Wichtige Themen der Schülerbefragung sind:

  • demografische Daten (z. B. Alter, Geschlecht und Migrationshintergrund)
  • sozioökonomischer Hintergrund (z. B. Beruf und Schulbildung der Eltern)
  • vorhandene und nutzbare Lernressourcen in der Schule und im Elternhaus
  • die Einstellungen der Schüler/innen zum Hauptkompetenzbereich
  • einige Fragen zum Unterricht aus Sicht der Schüler/innen
  • Computernutzung und Umgang mit elektronischen Medien (internationale Option mit freiwilliger Beteiligung)
  • die Schullaufbahn der Schüler/innen (internationale Option mit freiwilliger Beteiligung)

Im Schulfragebogen werden u. a. folgende Informationen erhoben:

  • Basisdaten zur Schule (Schultyp, Schulgröße, Klassenzahl, Lehrerzahl etc.)
  • Informationen über Schulressourcen und Lernumgebung
  • Kontext von Unterricht und Erziehung
  • Maßnahmen der Qualitätsentwicklung

Wie ist das Projekt organisiert?

International

Auf internationaler Ebene hat das OECD-Sekretariat die übergreifende Managementverantwortung für das gesamte Projekt. Wichtige Entscheidungen fallen im PISA Governing Board (PGB), in dem alle Teilnehmerländer vertreten sind (Österreichs Vertreter im PGB ist Dr. Mark Német, BMBWF). Das PGB legt im Rahmen der Zielsetzung der OECD die politischen Prioritäten fest und überwacht ihre Einhaltung im Verlauf der Implementierung des Programms. Mit der Abwicklung von PISA werden internationale Vertragspartner beauftragt, die für die Realisierung des OECD-Konzepts verantwortlich sind. Bis zu PISA 2012 arbeiteten die verschiedenen Konsortien unter der Leitung von A.C.E.R. (Australian Council for Educational Research) eng zusammen. PISA 2015 wurde international von sieben Vertragspartnern („Cores“) der OECD koordiniert. Das internationale Management von PISA 2015 oblag ETS (Educational Testing Service, USA) gemeinsam mit dem OECD-Sekretariat in Paris. ETS war darüber hinaus für Testdesign und Testentwicklung und die Entwicklung der elektronischen Plattform zuständig. Für die Entwicklung der Frameworks zeichnete Pearson (USA) verantwortlich, für die Erhebungsdurchführung und die Stichprobenziehung WESTAT (USA). Das Deutsche Institut für Pädagogische Forschung (DIPF) in Frankfurt war für die Fragebögen zuständig. Die Cores wurden zusätzlich von verschiedenen Expertengruppen unterstützt, die sich aus international renommierten Forscherinnen und Forschern aus verschiedensten Bereichen wie Fachdidaktik, Methodik, Psychologie oder Pädagogik zusammensetzten. Darüber hinaus gibt es für jeden der drei getesteten Kompetenzbereiche Arbeitsgruppen mit renommierten internationalen Expertinnen und Experten (Subject Matter Expert Groups – SMEG), die gewährleisten, dass sich die politische Zielsetzung von PISA mit den höchsten international verfügbaren fachwissenschaftlichen und verfahrenstechnischen Kompetenzen in den verschiedenen Erhebungsbereichen verbindet. Zur Gewährleistung der technischen Qualität des Projekts wurde die Technical Advisory Group eingerichtet, die z. B. für die Überprüfung der Durchführbarkeit der geplanten Stichprobenziehung verantwortlich ist.

Österreich

Die Umsetzung des Projekts auf nationaler Ebene wird in Österreich vom Bundesministerium für Bildung, Wissenschaft und Forschung (BMBWF) finanziert und beaufsichtigt. Österreichischer Vertragspartner und national für die Realisierung verantwortlich ist das BIFIE-Department Bildungsstandards & Internationale Assessments. Nationale Projektleiterin für PISA ist Mag. Dr. Birgit Suchań. Analog zu den internationalen Expertengruppen gibt es in den Teilnehmerländern für jeden Kompetenzbereich nationale Expertinnen und Experten, die u. a. die PISA-Frameworks und die eingesetzten PISA-Aufgaben im nationalen Kontext begutachten.

Was wird für hohe Qualität getan?

In einer weltweit durchgeführten Studie wie PISA muss ein besonderes Augenmerk auf alle Aspekte der Qualität und der fairen Vergleichbarkeit gelegt werden.

Dies betrifft die internationale Konstruktion der Test- und Befragungsinstrumente, die Übersetzungsprozeduren, die korrekte Auswahl der Schulen und Schüler/innen, den kontrollierten Ablauf des Tests an den Schulen und die sorgfältige Eingabe und Auswertung der erhobenen Daten. Dazu wird von der OECD (dem internationalen Konsortium) ein umfassendes Qualitätsmonitoring durchgeführt, wie z. B. die internationale Kontrolle der Testung durch sogenannte PISA Quality Monitors sowie rigorose Kontrollprozesse bei der Eingabe der Daten und bei der Erstellung der nationalen Datenbasis. Darüber hinaus werden auch am BIFIE umfassende Qualitätssicherungsmaßnahmen durchgeführt, welche durch die professionelle Erfahrung der Mitarbeiter/innen am BIFIE unterstützt werden (z. B. langjährige Mitarbeit bei internationalen Studien, Einsatz externer, gut ausgebildeter Testleiter/innen, nationale Überprüfung der Einhaltung der Testprozeduren etc.).

Wie wird die Vertraulichkeit der Schüler/innen gewahrt?

Die Erhebung der Daten erfolgt bei PISA in einer Art und Weise, dass das BIFIE keine Namen der teilnehmenden Schüler/innen erfährt. Das BIFIE erhält ausschließlich nicht personenenbezogene Daten (iSd. §7 1a BifieG) und hält sich damit sowohl an die Vorgaben des Datenschutzrechts als auch an jene der OECD. Es ist ausschließlich an aggregierten Daten und nicht an Einzeldaten von Personen interessiert. Alle Mitarbeiter/innen des Bundesinstituts BIFIE sind per BIFIE-Gesetz (§ 3 Abs. 2 BGBl. I Nr. 25/2008 i. d. g. F.) zur Verschwiegenheit verpflichtet. Die Daten werden ausschließlich für wissenschaftliche Zwecke verwendet.

PISA ist an aggregierten (zusammengefassten) Daten interessiert, das heißt, die Daten einzelner Schüler/innen oder bestimmter Schulen werden nicht ausgewertet, analysiert oder gar veröffentlicht.

Alle publizierten Ergebnisse beruhen auf kumulierten Vergleichsdaten (z. B. Mittelwert aller österreichischen Schüler/innen, Prozentsatz richtiger Lösungen bei den getesteten Mädchen).

Weiterführende Informationen