Der vorliegende Expertenbericht zu PISA 2006 untersucht in den ersten neun Kapiteln verschiedene Aspekte der Ergebnisse. Diese reichen von den gemessenen Schülerleistungen über Fragestellungen der Chancengerechtigkeit , Einstellungen und motivationalen Merkmalen der Schüler/innen bis hin zu den Rahmenbedingungen des Unterrichts. Dieses abschließende Kapitel widmet sich einigen methodischen Aspekten und nimmt insbesondere die Struktur der vorliegenden Schülerleistungsdaten unter die Lupe.

Die standardisierte Messung von Schülerleistungen ist ein komplexer Vorgang – vor allem dann, wenn diese Leistungen zwischen verschiedenen Ländern und über die Zeit hinweg vergleichbar sein müssen. Um dies erfolgreich durchführen zu können, ist ein umfangreicher Prozess notwendig. Dieser reicht von der Definition der Kompetenzbereiche über die Entwicklung geeigneter Testaufgaben und die Erprobung der Aufgaben in einem Feldtest, der anschließenden Auswahl und Überarbeitung der Aufgaben, der standardisierten Testdurchführung im Haupttest und einer vergleichbaren Vercodung der Antworten auf die offenen Fragen bis zu komplexen statistischen Verfahren, anhand deren aus den einzelnen Antworten zu den Testaufgaben Gesamtscores pro Untersuchungsbereich für jeden Schüler und jede Schülerin generiert werden. Die verschiedenen Phasen des Prozesses der Schülerleistungsmessung sind in den technischen Berichten des österreichischen PISA-Zentrums sowie international in jenem der OECD dokumentiert. Das vorliegende Kapitel widmet sich abschließend einigen technisch-methodischen Themen und beleuchtet zwei spezielle Aspekte der Leistungsmessung bei PISA, die die Struktur der skalierten Daten betreffen.

Unterschiede im mittleren Abschneiden von Mädchen und Burschen sowie teilweise in der Leistungsstreuung sind vielfach untersucht und dokumentiert worden. Im ersten Beitrag beschäftigt sich Ponocny daher mit einem wichtigen methodischen Thema unter einem noch wenig beachteten Gesichtspunkt: Unterschiede bei PISA zwischen Mädchen und Burschen und zwischen den Jahren werden nicht nur im Hinblick auf Mittelwertsunterschiede empirisch untersucht und auf ihre Konsequenzen für pädagogische Entscheidungen geprüft, sondern es werden auch die unterschiedlichen Verteilungen bei den Gruppen in die Interpretation miteinbezogen.

Im zweiten Beitrag analysieren Ponocny, Bauernfeind, Zins und Radinger die Dimensionalität der PISA-Leistungsdaten. Sie gehen dabei der Frage nach, inwieweit sich die drei Hauptdimensionen Lesen, Mathematik und Naturwissenschaft sowie bei Naturwissenschaft auch die Subskalen mit faktorenanalytischen Methoden bestätigen lassen und ob sich einzelne Items oder Itemteilmengen anhand äußerer Kriterien anders verhalten als die Gesamtskala.