Large-Scale Assessment mit R – Methodische Grundlagen der österreichischen Bildungsstandardüberprüfung

Large-Scale Assessment mit R – Methodische Grundlagen der österreichischen Bildungsstandardüberprüfung

Das Bundesinstitut für Bildungsforschung, Innovation und Entwicklung des österreichischen Schulwesens (BIFIE) führt die Überprüfung der Bildungsstandards in Österreich durch. „Large-Scale Assessment mit R“ ist ein Handbuch der grundlegenden Methodik, die bei diesen Überprüfungen zum Einsatz kommt. Angefangen bei der Testkonstruktion bis zu Aspekten der Rückmeldung werden die dabei eingesetzten methodischen Verfahren dargestellt und diskutiert sowie deren Anwendung in der Statistik-Software R anhand von Beispieldatensätzen illustriert.

In zwölf Kapiteln gibt das Buch theoriegeleitet und praxisnah Einblicke in die Entwicklung der Schülerleistungstests, in die Analysen der Testleistungen und die Aufbereitung der Ergebnisse zur Interpretation durch Akteurinnen und Akteure des Bildungswesens. Das Buch wird durch ein eigenes R-Paket unterstützt, das vorhandene R-Pakete einbindet, diese ergänzt und die im Buch verwendeten Syntaxen und Datensätze bereitstellt.

Das angestrebte Zielpublikum setzt sich v. a. aus Studierenden, Lehrenden und Praktizierenden der empirischen Forschung in den Erziehungswissenschaften, in den Bildungswissenschaften und verwandten Disziplinen zusammen. Ziel ist, dass alle Interessierten nach Lektüre dieses Bands oder einzelner Kapitel eine Vorstellung von der grundlegenden Methodik haben, die im LSA im Allgemeinen und in der Bildungsstandardüberprüfung im Speziellen angewendet wird, und selbige im Idealfall für eigene Fragestellungen adaptieren können.

TIPP: Large-Scale Assessment mit R ist im Verlag facultas erschienen und facultas facultas Webshop erhältlich.

Das Buch

Large-Scale Assessment mit R

Large-Scale Assessment mit R

In groß angelegten Schulleistungsuntersuchungen, sogenannten Large-Scale Assessments, werden Kompetenzen (d. h. langfristig abrufbares Wissen, Fertigkeiten und Können) eines Jahrgangs oder einer Kohorte von Schülerinnen und Schülern in einem oder mehreren Unterrichtsgegenständen erhoben. Dabei werden Tests in den jeweiligen Gegenständen an umfangreichen, repräsentativen Stichproben durchgeführt. So können detaillierte Schlussfolgerungen über Ausprägungen von Kompetenzen in der gesamten Population gezogen werden, um daraus Handlungsanweisungen für die Steuerung und Planung sowie für die Weiterentwicklung des Schulwesens abzuleiten. Bei flächendeckender Durchführung können darüber hinaus vergleichende Aussagen hinsichtlich der Kompetenzerreichung zwischen unterschiedlichen Schülergruppen, Unterrichtspraktiken und v. a. Schulstandorten getroffen werden. Rückmeldungen dienen dann an jedem Schulstandort sowie im Bildungssystem gezielt zur Qualitätsentwicklung und -sicherung. Spätestens seit der Jahrtausendwende und der Einführung der internationalen Outcome-Untersuchungen der Schulsysteme wie dem Programme for International Student Assessment (PISA) ist evidenzbasierte Schul-, Unterrichts- und Systementwicklung ein integrativer Bestandteil der kontinuierlichen Verbesserungsprozesse von Unterricht und Schule.

Das BIFIE führt dazu die Bildungsstandardüberprüfungen in Österreich durch, wertet die Testantworten aus und liefert Rückmeldungen an die verschiedenen Zielgruppen des Bildungssystems. Large-Scale Assessment mit R ist ein Handbuch der grundlegenden Methodik, die bei diesen Überprüfungen zum Einsatz kommt. Die bei der Konstruktion und den Analysen von LSAs eingesetzten Methoden werden unter Verwendung der statistischen Programmierumgebung R illustriert. Für die Illustration der im vorliegenden Band vorgestellten Beispiele und Methoden wurde das R-Paket LSAmitR erstellt, das bereits vorhandene R-Pakete ergänzt und diese einbindet. Das R-Paket enthält im Buch verwendete Syntaxen sowie in Beispielen verwendete Datensätze. R-Pakete, die am Institut für die Entwicklung und Auswertung von LSAs programmiert und veröffentlicht wurden, werden im Band vorgestellt und werden ebenfalls durch das R-Paket eingebunden.

Die einzelnen Kapitel, die aufgrund ihrer jeweiligen inhaltlichen Notwendigkeit unterschiedlich stark entweder auf die einführende Darstellung der Konzepte oder auf die theoretische Abgrenzung methodischer Grundlagen fokussieren, werden durch illustrative Anwendungen der Methoden an Beispieldaten und abschließenden Übungen abgerundet.

Beispieldaten

Beispieldaten zu Kapitel 10, Reporting und Analysen, der Publikation Large-Scale Assessment mit R [Simone Breit, Claudia Schreiner (Hg.), 2016]. DOI: http://dx.doi.org/10.17888/fdb-demo:bistE813I-16a

Die Daten dienen dazu, die Beispiele für die Verwendung von BIST-Daten mit BIFIEsurvey nachzuvollziehen. Die Daten sind keine Echtdaten und erlauben daher auch keine wissenschaftlichen Auswertungen. Die Daten lehnen sich an die BIST-Ü in Englisch im Jahr 2013 an. Es handelt sich um partiellsynthetische Daten, die reale Kovarianzstrukturen zwischen Kovariaten und den Leistungsdaten abbilden sowie eine Mehrebenenstruktur simulieren, die in den LSA-Erhebungen typischerweise auftreten.

Download: Large-Scale Assessment mit R – Beispieldaten für Kapitel 10

Zitierung

BIFIE (2016). Partiell synthetische Beispieldaten zur Illustration von Reporting und Analysen einer österreichischen Bildungsstandardüberprüfung [Daten zu Kapitel 10]. In S. Breit & C. Schreiner (Hrsg.), Large-Scale Assessment mit R. Methodische Grundlagen der österreichischen Bildungsstandardüberprüfungen (S. 333–362). Wien: facultas.

Die Herausgeberinnen

Mag. Simone Breit, Bakk.

Erziehungswissenschafterin; Leiterin des Departments Bildungsstandards & Internationale Assessments am BIFIE; mehrjährige Erfahrung in der Durchführung nationaler und internationaler Assessments, die dem System-Monitoring eines Schulsystems und/oder der Schul- und Unterrichtsentwicklung dienen.

Mag. Dr. Claudia Schreiner

Doktorat in Erziehungswissenschaft, Lehramt für Mathematik und Pädagogik, Psychologie, Philosophie; Direktorin des BIFIE; mehrjährige Erfahrung in der Durchführung nationaler und internationaler Assessments, die dem System-Monitoring eines Schulsystems und/oder der Schul- und Unterrichtsentwicklung dienen.

Inhaltsverzeichnis

Large-Scale Assessment mit R
0 Konzeption der Überprüfung der Bildungsstandards in Österreich Claudia Schreiner
Simone Breit
BIFIE Salzburg
1 Testkonstruktion Ursula Itzlinger-Bruneforth
Jörg-Tobias Kuhn
Thomas Kiefer
BIFIE Salzburg; Westfälische Wilhelms-Universität Münster, Institut für Psychologie (WWU Münster)
2 Stichprobenziehung Ann Cathrice George
Konrad Oberwimmer
Ursula Itzlinger-Bruneforth
BIFIE Salzburg
3 Standard-Setting Claudia Luger-Bazinger,
Roman Freunberger,
Ursula Itzlinger-Bruneforth
BIFIE Salzburg
4 Differenzielles Itemfunktionieren in Subgruppen Matthias Trendtel
Franziska Schwabe
Robert Fellinger
BIFIE Salzburg; Institut für Schulentwicklungsforschung, Technische Universität Dortmund
5 Testdesign Thomas Kiefer
Jörg-Tobias Kuhn
Robert Fellinger
BIFIE Salzburg; Westfälische Wilhelms-Universität Münster, Institut für Psychologie (WWU Münster)
6 Skalierung und Linking Matthias Trendtel
Giang Pham
Takuya Yanagida
BIFIE Salzburg; Fakultät für Gesundheit und Soziales, FH Oberösterreich
7 Statistische Analysen produktiver Kompetenzen Roman Freunberger
Alexander Robitzsch
Claudia Luger-Bazinger
BIFIE Salzburg; Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
8 Fehlende Daten und Plausible Values Alexander Robitzsch
Giang Pham
Takuya Yanagida
Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel; BIFIE Salzburg; Fakultät für Gesundheit und Soziales, FH Oberösterreich
9 Fairer Vergleich in der Rückmeldung Giang Pham
Alexander Robitzsch
Ann Cathrice George
Roman Freunberger
BIFIE Salzburg; Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
10 Reporting und Analysen Michael Bruneforth
Konrad Oberwimmer
Alexander Robitzsch
BIFIE Salzburg; Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel
11 Aspekte der Validierung Robert Fellinger
Thomas Kiefer
Alexander Robitzsch
Matthias Trendtel
BIFIE Salzburg; Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik an der Universität Kiel

Large-Scale Assessment mit R
Methodische Grundlagen der österreichischen Bildungsstandardüberprüfung

2016, Facultas
Auflage: 1. Auflage
Taschenbuch
424 Seiten
ISBN: 978-3-7089-1343-8

Weiterführende Informationen