Kompetenzstufen

Christian Wiesner, Claudia Schreiner, Ann Cathrice George, Simone Breit & Claudia Luger-Bazinger (2017)

Bei der Rückmeldung von Überprüfungen wird zwischen sozial-, kriteriumsorientierter und individueller Bezugsnorm unterschieden (vgl. Heckhausen, 1974; Rheinberg, 2001; Goldhammer & Hartig, 2008; Hartig & Klieme, 2006):

  • Beim normorientierten Bezug bzw. bei der sozialorientierten Bezugsnorm wird die Leistung bzw. Kompetenz einer Person anhand einer sozialen Bezugsgruppe (wie z. B. einer Klasse oder Schule als Norm) verglichen und interpretiert. Aus dem „Resultat lässt sich auch bei höchster Messgenauigkeit nicht ablesen, ob es sich um eine gute oder schlechte Leistung handelt“ (Rheinberg, 2006, S. 643). Bei vergleichenden Tests sind Ergebnisse dann als gut zu bewerten, wenn diese über den üblichen Ergebnissen liegen und als schlecht, wenn sie unter diesen verortet sind.
  • Bei der individuellen Bezugsnorm wird ein vorliegendes Resultat einer Person mit dem bislang erreichten Ergebnis verglichen, wodurch jede Person ihr eigenes Bezugssystem bildet.
  • Bei der sachlichen bzw. kriteriumsorientierten Bezugsnorm hingegen geht es darum, ob die Person ein inhaltliches Kriterium (ein Ziel) erreicht (Messung des Abstands zum Ziel).

Da der sozialen und individuellen Bezugsnorm bereits erzielte Resultate zugrunde liegen, handelt es sich dabei um Realnormen (vgl. Rheinberg, 2006). Die kriteriumsorientierte Bezugsnorm ist eine Ideal- oder Ziel(bild)norm.

Wie bei einem Kippbild bzw. einer Inversionsfigur (Figur-Grund-Bild) werden Bezugsnormen als Hintergrund kaum wahrgenommen, obgleich sie die Analyse und Interpretation einer Kompetenz oder Leistung maßgeblich beeinflussen.

Bei Kompetenzmessungen ist das Wissen darüber wesentlich, über welche Kompetenzen eine Schülerin/ein Schüler verfügt, anstatt sie/ihn mit anderen Personen sozial zu vergleichen. Wesentlich sind darüber hinaus Informationen darüber, inwieweit eine Schule Kompetenzen der Schüler/innen entwickelt (als Distanz zum zu erreichenden Lernziel) und weniger Informationen aus dem Vergleich der Schulen untereinander.

Bei der Kompetenzmessung im Rahmen der österreichischen Standardüberprüfung erfolgt eine kriteriale Rückmeldung mithilfe von Kompetenzstufenmodellen, in denen festgelegt ist, über welche Kompetenzen Schüler/innen auf einer bestimmten Stufe verfügen. Anhand eines Punktwerts werden Lernende einer Stufe zugeordnet, was eine inhaltliche Aussage über die zugrunde liegende Kompetenz und deren Abstand zum Ziel erlaubt.

Kompetenzstandards stehen in enger Verbindung mit einer kriteriumsbezogenen Rückmeldung – unter Rückgriff auf Kompetenzstufen, um die Distanz zu einem Lernziel zu beschreiben.

Kompetenzstufen und Bildungsstandards in Österreich

Für die österreichischen Bildungsstandards wurde zunächst eine inhaltliche Beschreibung für vier Kompetenzstufen entwickelt (beispielsweise für die Lesekompetenz). Dabei definierten nationale und internationale Expertinnen und Experten für die jeweilige Kompetenz, welche Performanzen von Schülerinnen und Schülern auf den drei Stufen „Bildungsstandards teilweise erreicht“, „Bildungsstandards erreicht“ und „Bildungsstandards übertroffen“ zu erwarten sind (die unterste Stufe „Bildungsstandards nicht erreicht“ bleibt ohne genaue inhaltliche Beschreibung).

Als Grundlage für die Beschreibung der einzelnen Kompetenzstufen dienten den Expertinnen und Experten primär der Lehrplan der jeweiligen Schulstufe und die daraus abgeleiteten Könnensbeschreibungen („Can-Do-Statements“; vgl. Verordnung der Bildungsstandards im Schulwesen, BGBl. II Nr. 1/2009 i. d. F. BGBl. 185/2012) sowie Erkenntnisse aus der Forschung (z. B. Leseforschung) und spezielle Gegebenheiten im Rahmen einer Kompetenzmessung.

Nach Erstellung der Kompetenzstufenbeschreibung erfolgte die Setzung sogenannter Cut-Scores durch ein Standard-Setting (vgl. Cizek & Bunch, 2007), ein mehrtägiger Workshop, in dem Expertinnen und Experten zusammenkommen, um gemeinsam die Cut-Scores zu bestimmen. Typischerweise sind jene Berufsgruppen daran beteiligt, die in der Folge mit den Ergebnissen arbeiten (z. B. Lehrkräfte, Forscher/innen aus Pädagogischen Hochschulen und Universitäten).

Für das Setzen von Cut-Scores (Grenzen zwischen den Kompetenzstufen) existieren zahlreiche Methoden (Cizek & Bunch, 2007), die je nach Studie und Zielsetzung verwendet werden. Gemein ist allen Methoden, dass eine Auswahl an Expertinnen und Experten sich mit der Kompetenzstufenbeschreibung vertraut macht und in einem zweiten Schritt eine Auswahl an Testitems (oder Schülerperformanzen, wie Schreibperformanzen) vorgelegt bekommt. Mithilfe der Testitems und der Kompetenzstufenbeschreibung erarbeiten die Expertinnen und Experten die Cut-Scores; beispielsweise wird die Aufgabe an die Expertinnen und Experten gestellt, jedes Testitem dem inhaltlichen Anspruch einer bestimmten Kompetenzstufe zuzuordnen (IDM-Methode, Ferrara, Perie & Johnson, 2002). Mithilfe von statistischen Verfahren werden die Urteile der Expertinnen und Experten über die Grenzen zwischen den Stufen schließlich in Punktewerte „übersetzt“.  Das Setzen der Cut-Scores findet üblicherweise in einem mehrtägigen Workshop statt, in dem die Expertinnen und Experten eine genaue Einführung in die Methode erhalten und unter Anleitung der Organisatorinnen und Organisatoren arbeiten, außerdem sind der Austausch und die Diskussion zwischen den Expertinnen und Experten sowie die Reflektion der gesetzten Standards zentrale Aspekte dieses Prozesses (Hambleton, 2001).

Literatur

  • Bazinger, C., Freunberger, R. & Itzlinger-Bruneforth, U. (2013). Standard-Setting Mathematik. Technische Dokumentation – BIST-Ü Mathematik, 4. Schulstufe. Salzburg: BIFIE.
  • Cizek, G. J. & Bunch, M. B. (2007). Standard setting: A guide to establishing and evaluating performance standards on tests. Sage.
  • Ferrara, S., Perie, M. & Johnson, E. (2002). Matching the judgemental task with standard setting panelist expertise: The item-descriptor (id) matching procedure. Paper presented at the annual meeting of the American Educational Research Association. New Orleans, LA.
  • Goldhammer, F. & Hartig, J. (2008). Interpretation von Testresultaten und Testeichung. In H. Moosbrugger & A. Kelava (Hrsg.), Testtheorie und Fragebogenkonstruktion. Berlin/Heidelberg: Springer.
  • Hambleton, R. K. (2001). Setting performance standards on educational assessments and criteria for evaluating the process. In G. J. Cizek (Hrsg.), Setting Performance Standards: Concepts, Methods, and Perspectives (S. 89–116). New York: Routledge.
  • Hartig, J. & Klieme, E. (2006). Kompetenz und Kompetenzdiagnostik. In K. Schweizer (Hrsg.), Leistung und Leistungsdiagnostik (S. 127–143). Berlin: Springer.
  • Heckhausen, H. (1974). Leistung und Chancengleichheit. Göttingen: Verlag für Psychologie.
  • Lewis, D. M., Green, D. R., Mitzel, H. C., Baum, K. & Patz, R. J. (1998). The bookmark procedure: Methodology and recent implementations. Paper presented at the National Council for Measurement in Education annual meeting. San Diego, CA.
  • Lewis, D. M., Mitzel, H. C., Green, D. R. & Patz, R. J. (1999). The bookmark standard setting procedure. Monterey, CA: McGraw-Hill.
  • Lewis, D. M., Mitzel, H. C., Mercado, R. L. & Schulz, E. M. (2012). The Bookmark Standard Setting Procedure. In G. J. Cizek (Hrsg.) Setting Performance Standards: Foundations, Methods, and Innovations. New York: Routledge.
  • Luger-Bazinger, C., Freunberger, R. & Itzlinger-Bruneforth, U. (2015). Das Standard-Setting als Beitrag zur validen Kompetenzdiagnostik. In M. Stock, P. Schlögl, K. Schmid & D. Moser (Hrsg.), Kompetent – wofür? Life Skills – Beruflichkeit – Persönlichkeitsbildung. Beiträge zur Berufsbildungsforschung (S. 191–205). Innsbruck: Studienverlag.
  • Rheinberg, F. (2001). Bezugsnormen und schulische Leistungsmessung. In Weinert, F. E. (Hrsg.), Leistungsmessungen in Schulen (S. 59–71). Weinheim: Beltz.
  • Rheinberg, F. (2006). Bezugsnormorientierung. In K.-H. Arnold, U. Sandfuchs & J. Wiechmann (Hrsg.), Handbuch Unterricht (S. 643–647). Bad Heilbronn: Klinkhardt.

Zitierung

Christian Wiesner, Claudia Schreiner, Ann Cathrice George, Simone Breit & Claudia Luger-Bazinger (2017). Kompetenzstufen. Salzburg: BIFIE. Abrufbar unter https://www.bifie.at/kompetenzstufen.

Weiterführende Informationen