Entwicklung und Qualitätssicherung

Entwicklung und Qualitätssicherung

Aufgaben, die im Rahmen der IKM zum Einsatz kommen, durchlaufen von der Entwicklung bis zur Freigabe diverse standardisierte Kontrollinstanzen, um eine über die Jahre hinweg gleichbleibend hohe Aufgabenqualität sicherzustellen.

Die nachfolgenden Abschnitte beleuchten – grafisch unterstützt – drei wesentliche Stationen auf dem Weg zum qualitätsgeprüften IKM-Aufgabenpaket.

Aufgabenentwicklung

IKM-Aufgaben werden von speziell ausgebildeten Lehrerinnen und Lehrern in Abstimmung mit dem BIFIE entwickelt. Aufgabenersteller/innen sind Lehrpersonen aus verschiedenen Bundesländern, die in verschiedenen Schultypen unterrichten.

Die folgende Abbildung zeigt exemplarisch den Entwicklungsprozess einer IKM-Aufgabe:

Zyklus Itemerstelllung IKM

Qualitätssicherung im Rahmen der IKM – Aufgabenentwicklung

Pilotierung

Nach der Entwicklung und umfangreichen Review-Prozessen werden neue Aufgaben für die IKM auf der 3., 6., 7. bzw. 8. Schulstufe in einer Pilotierung auf ihre Eignung getestet. Jede Aufgabe wird dabei von mindestens 120 Schülerinnen und Schülern an per Zufallsstichprobe ausgewählten Schulen bearbeitet. Die Ergebnisse werden vom BIFIE ausgewertet und bilden die Grundlage für die Zusammenstellung der Aufgabenpakete und die Referenzwerte. Somit kommen in weiterer Folge nur geeignete Aufgaben in der IKM zum Einsatz.

Die IKM auf der 5. bzw. 9. Schulstufe wiederum besteht aus Aufgaben, die bereits bei einer flächendeckenden Standardüberprüfung eingesetzt worden sind. Auch diese Aufgaben wurden zuvor in einer Pilotierung auf ihre Eignung hin getestet.

Zyklus Itemerstellung IKM

Qualitätssicherung im Rahmen der IKM – Pilotierung

Dank der wertvollen Unterstützung der Pilotierungsschulen kann das BIFIE regelmäßig neue Aufgabenpakete für alle Schulen in ganz Österreich anbieten.

Konzeption der Aufgabenpakete

Die IKM ist ein Instrument, mit dem der Lernstand von Schülerinnen und Schülern evaluiert werden kann und das bei der Ermittlung des Förderbedarfs unterstützt. Die IKM ist kein Instrument zur Leistungsbeurteilung.

Bei der Erstellung neuer IKM-Aufgabenpakete achtet das BIFIE vor allem auf folgende Punkte:

  • Lösungshäufigkeit
    Die durchschnittliche Lösungshäufigkeit eines IKM-Aufgabenpakets liegt ca. bei 50 %. Das bedeutet, dass eine durchschnittliche Klasse bzw. eine durchschnittliche Schülerin/ein durchschnittlicher Schüler etwa die Hälfte aller Aufgaben richtig beantwortet.
    Im Feedback wird diese durchschnittliche Lösungshäufigkeit als der Referenzwert bezeichnet. Der Referenzwert wird abhängig vom Aufgabenpaket entweder im Zuge einer IKM-Pilotierung oder der flächendeckenden Standardüberprüfung ermittelt.
  • Aufgabenformate
    Zur Überprüfung verschiedener Aspekte einer Kompetenz und um die Aufgabenpakete abwechslungsreich zu gestalten, werden Aufgaben mit unterschiedlichen Formaten (Multiple-Choice, [Halb-]offen, Zuordnen, Richtig/Falsch etc.) eingesetzt.
  • Aufgabenabfolge
    Die Anordnung der Aufgaben im Aufgabenpaket erfolgt nach mehreren Merkmalen (z. B. Format, Schwierigkeit …). Um die Schüler/innen zu motivieren, wird mit leichteren Aufgaben begonnen und abgeschlossen.
  • Bearbeitungszeit
    Die reine Bearbeitungszeit zum Lösen der Aufgaben liegt bei 40 Minuten bzw. bei den Aufgabenpaketen Englisch Listening bei 45 Minuten.

Weiterführende Informationen