Testentwicklungszyklus

Dieser Abschnitt veranschaulicht den vollständigen Prozess der Aufgabenentwicklung – von der Konzeption über die Feldtestung zur statistischen Analyse und zur Standardbestimmung.

Testentwicklungszyklus

1. Professionelle Auswahl als Item Writer

Die AHS-LehrerInnen, die in den jeweiligen Projektteams Testaufgaben erarbeiten, absolvieren gleichzeitig ein speziell zugeschnittenes, dreijähriges Ausbildungsprogramm (15 Seminartage pro Jahr).

2. Textauswahl

Die verwendeten Texte werden von den AufgabenschreiberInnen unter Beachtung der Testspezifikationen (Dokument mit genauer Beschreibung des Tests) ausgewählt. Wichtige Kriterien für die Textauswahl sind unter anderem Authentizität, Themenbereich und Länge der Texte.
Zusätzlich für Hörtexte ist auch die Qualität der Aufnahmen wichtig, die von einem Tontechniker überprüft wird. Nur Hörtexte, die den Anforderungen genügen, können weiterverwendet werden.

3. Kernaussagen identifizieren

Mit dem sogenannten Textmapping wird ein Konsensus darüber zu erzielt, was in der Aufgabe abgefragt werden kann. 3-5 Teammitglieder lesen bzw. hören hierbei den Inputtext einmal und einigen sich dann als Team auf die wesentlichen Aussagen.

4. Aufgabenerstellung

Die eigens ausgebildeten Item Writers erstellen die Aufgaben auf Grundlage der Textmapping-Ergebnisse und der Testspezifikationen.

5. Feedback und Überarbeitung

Die fertigen Aufgaben werden nach Begutachtung und Feedback durch andere Item Writers, MuttersprachlerInnen und der Trainerin nochmals überarbeitet.

6. Feldtestung

In der Feldtestung wird jede Aufgabe 1-2 Mal an etwa 120 österreichischen AHS-SchülerInnen getestet.

7. Statistische Analyse

Durch die Feldtestungen werden wichtige Informationen über die Aufgaben selbst, als auch zum organisatorischen Ablauf eingeholt. Vor allem folgende Werte sind bei unserer Analyse wichtig:

-- facility value (Schwierigkeitsindex: Prozentsatz der SchülerInnen, die das Item richtig beantworten)

-- Reliabilität (Verlässlichkeit)

-- discrimination (Trennschärfe: wie gut ein Item zwischen guten und schwachen KandidatInnen trennt)

Weiters wird bei jeder Feldtestung mittels Fragebogen erhoben, wie interessant bzw. schwierig die SchülerInnen die Texte finden, oder etwa wie vertraut sie mit dem Testformat sind. Circa 50% der getesteten Aufgaben entsprechen nach der ersten Feldtestung den statistischen Anforderungen und können für den nächsten Schritt, das Standard Setting, freigegeben werden. Die anderen Aufgaben werden entweder einer Überarbeitung und nochmaligen Feldtestung unterzogen, oder verworfen.

8. Standard Setting

Das Standardsetting (Standardbestimmung) ist ein festgelegter Vorgang, bei dem SpezialistInnen aus Schulen, Ministerium PHs und Universität die Schwierigkeit jeder einzelnen Aufgabenstellung anhand des GERS feststellen.

9. Zusammenstellung der Testhefte

Die Aufgaben werden im Anschluss nach Rücksprache mit internationalen ExpertInnen zu den jeweiligen Matura-Testheften zusammengefügt. Faktoren, die dabei berücksichtigt werden, sind der Schwierigkeitsgrad der Aufgaben, die Expertenbewertung aus dem Standard Setting sowie das jeweilige Aufgabenformat.

10. Hotline und Helpdesk

Bei der Korrektur der Matura-Testhefte wird den LehrerInnen Unterstützung in Form eines Helpdesks und einer Telefonhotline angeboten.

11. Post-Test Analyse

Im Anschluss an jede Live-Administration werden Stichproben der Testhefte von den Pilotschulen an das SRP-Team zu einer weiteren statistischen Analyse zurückgesandt.