Das Design des onSET
Der onSET ist ein standardisierter Spracheinstufungstest im C-Test-Format. Er ermöglicht eine rasche und präzise Messung der allgemeinen Sprachkompetenz in Deutsch oder Englisch. Teilnehmende bearbeiten online mehrere kurze Texte mit jeweils 20 Lücken. Die Lücken werden durch die Tilgung von Wortteilen erzeugt. Die Texte behandeln verschiedene Themen und werden in steigender Schwierigkeit zur Bearbeitung dargeboten. Jeder Teilnehmende bearbeitet eine andere Zusammenstellung von Texten; dabei wird das Gesamtniveau der Schwierigkeit für jeden einzelnen Teilnehmenden konstant gehalten. Für jede richtig gefüllte Lücke wird genau ein Punkt vergeben. Die Summe der Punkte über alle Texte wird einem der GER-Niveaus A2 bis C1 zugeordnet.
TEXTERSTELLUNG
Von g.a.s.t. geschulte Aufgabenerstellerinnen und Aufgabenersteller recherchieren geeignete Texte. Sie überprüfen ihre Tauglichkeit als C-Test-Text mit dem Erlanger Programm zur Erstellung von Lückentexten (ErPEL). Expertinnen und Experten prüfen die Texte aus testtheoretischer, sprachwissenschaftlicher und muttersprachlicher Perspektive und geben geeignete Aufgaben zur Erprobung frei. Zwischen den Beteiligten findet ein regelmäßiger fachlicher Austausch statt.
ERPROBUNG
Jeder neu erstellte C-Test-Text wird sorgfältig erprobt, bevor er im onSET zum Einsatz kommt. Mindestens 200 Sprachlernende bearbeiten die Texte. Sie gehören zur gleichen Zielgruppe wie die Teilnehmenden am onSET. Bei den Erprobungen gelten die gleichen Regeln wie beim späteren Test. So gibt es bspw. eine Zeitbegrenzung für die Aufgabenbearbeitung und es ist nicht erlaubt, zu einem bereits bearbeiteten Text zurückzukehren. Die Teilnehmerantworten werden vom TestDaF-Institut zentral ausgewertet.
AUF- UND AUSBAU EINER KALIBRIERTEN ITEMBANK
Mittels psychometrischer Analysen auf der Grundlage von Rasch-Modellen werden die Schwierigkeit und Messgenauigkeit der neuen Aufgaben sowie die Fähigkeit der Teilnehmenden ermittelt. Die Aufgaben werden hinsichtlich differenzieller Itemfunktionen (DIF) und anderer Modellabweichungen untersucht. Aufgaben mit akzeptablen statistischen Kennwerten werden in die Itembank aufgenommen.
Die Rasch-Analysen liefern wesentliche Informationen für das Standard-Setting, also für die Definition von Testwerten, nach denen die Kompetenzniveaus der Teilnehmenden festgestellt werden (Cut-Scores). Die Definition der Cut-Scores erfolgt gemäß der Prototypgruppenmethode (PGM) in Kombination mit einer Analyse nach dem Modell der Receiver Operating Characteristic (ROC).
STANDARDISIERTE TESTDURCHFÃœHRUNG
Die Testdarbietung erfolgt nach der so genannten Linear-on-the-Fly-Testmethode (LOFT). Dabei erhält jeder Teilnehmende ein anderes, neu zusammengestelltes Aufgabenset. Bei der Auswahl der einzelnen Aufgaben aus der Itembank werden die gemessene Schwierigkeit und die Thematik der Texte berücksichtigt. Das Gesamtniveau der Schwierigkeit von Aufgaben innerhalb der Sets ist für alle Teilnehmenden gleich. Die Verwendung der LOFT-Methode und die automatische Auswertung der Teilnehmerantworten gewährleisten eine für alle Teilnehmenden gleichermaßen objektive und faire Prüfung.
WISSENSCHAFTLICHE STUDIEN
Das TestDaF-Institut führt fortlaufend Untersuchungen zu C-Tests allgemein und zum onSET im Besonderen durch. Neben der Konstruktvalidität sind auch Testlet-Effekte, das Standard-Setting und die Schwierigkeit einzelner Testaufgaben Gegenstand aktueller Forschungsprojekte. Ergebnisse der Untersuchungen werden in Fachzeitschriften und Fachbüchern publiziert.
Forschungsprojekte
Forschungsprojekte
Was messen C-Tests? Welche sprachlichen Strukturen bzw. Kompetenzen spiegeln sich in den Teilnehmerantworten auf C-Test-Aufgaben wider? Welche kognitiven Prozesse liegen den Antworten zugrunde?
Wie lassen sich beim C-Test-basierten Format des onSET Cut-Scores mit Bezug zum GER bestimmen? Welche Methoden des Standard-Setting sind hierfür geeignet? Wie aussagekräftig sind die ermittelten Cut-Scores?
Welche psychometrischen Modelle eignen sich für die Skalierung von C-Tests? Wie gut stimmen die nach verschiedenen Modellen geschätzten Parameter für Aufgaben (Schwierigkeit) und Teilnehmende (Fähigkeit) überein? Welche Modelle und Softwarepakete erlauben den raschen Auf- und Ausbau einer kalibrierten Itembank?
Welchen Einfluss hat die Abhängigkeit zwischen Lücken von onSET-Aufgaben (Testlets) auf die Schätzung der Reliabilität sowie auf die Schätzung von Personenparametern (allgemeine Sprachkompetenz) und Itemparametern (Schwierigkeit, Trennschärfe)?
In welcher Beziehung steht die vom onSET gemessene allgemeine Sprachkompetenz zu Teilkompetenzen wie Leseverstehen, Hörverstehen, schriftliche und mündliche Produktion, die von separaten Prüfungsteilen standardisierter Sprachtests erfasst werden? Wie gut lässt sich das Abschneiden beim TestDaF anhand der onSET-Ergebnisse vorhersagen?
Welche Faktoren bestimmen die Schwierigkeit von C-Test-Aufgaben, und zwar sowohl auf Text- als auch auf Lückenebene?
Publikationen (2017–2002)
Die folgende Liste umfasst ausschließlich Publikationen, die sich direkt auf den onSET oder auf deutschsprachige C-Tests im engeren Umfeld des onSET beziehen.
Eckes, T. (2017). Setting cut scores on an EFL placement test using the prototype group method: A receiver operating characteristic (ROC) analysis. Language Testing, 34, 383–411.
Kaufmann, N. (2016). Die Vorhersage der Schwierigkeit deutscher C-Test-Texte: Untersuchungen am Beispiel des onDaF. Zeitschrift für Interkulturellen Fremdsprachenunterricht, 21(2), 111–126.
Beinborn, L., Zesch, T. & Gurevych, I. (2015). Candidate evaluation strategies for improved difficulty prediction of language tests. In Proceedings of the 10th Workshop on Innovative Use of NLP for Building Educational Applications (pp. 1–11). Denver, CO: Association for Computational Linguistics.
Eckes, T. & Baghaei, P. (2015). Using testlet response theory to examine local dependence in C-tests. Applied Measurement in Education, 28, 85-98.
Beinborn, L., Zesch, T. & Gurevych, I. (2014). Predicting the difficulty of language proficiency tests. Transactions of the Association for Computational Linguistics, 2, 517–529.
Eckes, T. (2014). Die onDaF-TestDaF-Vergleichsstudie: Wie gut sagen Ergebnisse im onDaF Erfolg oder Misserfolg beim TestDaF vorher? In R. Grotjahn (Hrsg.), Der C-Test: Aktuelle Tendenzen/The C-test: Current trends (S. 137–162). Frankfurt: Lang.
Eckes, T. (2012). Examinee-centered standard setting for large-scale assessments: The prototype group method. Psychological Test and Assessment Modeling, 54, 257–283.
Eckes, T. (2011). Item banking for C-tests: A polytomous Rasch modeling approach. Psychological Test and Assessment Modeling, 53, 414–439.
Eckes, T. (2010). Der Online-Einstufungstest Deutsch als Fremdsprache (onDaF): Theoretische Grundlagen, Konstruktion und Validierung. In R. Grotjahn (Hrsg.), Der C-Test: Beiträge aus der aktuellen Forschung / The C-test: Contributions from current research (S. 125–192). Frankfurt: Lang.
Eckes, T. (2010). Rasch models for C-tests: Closing the gap on modern psychometric theory. In A. Berndt & K. Kleppin (Hrsg.), Sprachlehrforschung: Theorie und Empirie - Festschrift für Rüdiger Grotjahn (S. 39– 49). Frankfurt: Lang.
Eckes, T. (2010). Standard-Setting bei C-Tests: Bestimmung von Kompetenzniveaus mit der Prototypgruppenmethode. Diagnostica, 56, 19–32.
Eckes, T. (2007). Konstruktion und Analyse von C-Tests mit Ratingskalen-Rasch-Modellen. Diagnostica, 53, 68–82.
Eckes, T. (2006). Rasch-Modelle zur C-Test-Skalierung. In R. Grotjahn (Hrsg.), Der C-Test: Theorie, Empirie, Anwendungen/The C-test: Theory, empirical research, applications (S. 1–44). Frankfurt: Lang.
Eckes, T. & Grotjahn, R. (2006). A closer look at the construct validity of C-tests. Language Testing, 23, 290–325.
Eckes, T. & Grotjahn, R. (2006). C-Tests als Anker für TestDaF: Rasch-Analysen mit dem kontinuierlichen Ratingskalen-Modell. In R. Grotjahn (Hrsg.), Der C-Test: Theorie, Empirie, Anwendungen/The C-test: Theory, empirical research, applications (S. 167–193). Frankfurt: Lang.
Arras, U., Eckes, T. & Grotjahn, R. (2002). C-Tests im Rahmen des "Test Deutsch als Fremdsprache" (TestDaF): Erste Forschungsergebnisse. In R. Grotjahn (Hrsg.), Der C-Test: Theoretische Grundlagen und praktische Anwendungen (Bd. 4, S. 175–209). Bochum: AKS-Verlag.
Differenzierung der GER-Niveaus
Das Ergebnis im onSET wird als Gesamtpunktzahl ausgegeben. Zudem erhalten die Teilnehmenden eine Einstufung nach dem Gemeinsamen europäischen Referenzrahmen für Sprachen (GER). Dazu wird die erreichte Punktzahl einem der folgenden GER-Niveaus zugeordnet: A2, B1, B2 oder C1 oder höher. Falls der Anwendungskontext dies erfordert, ist eine feinere Einstufung wie z. B. B1.1 oder B1.2 über die Kernbereiche möglich:
Hat z. B. ein Teilnehmender, dessen Sprachniveau im onSET-Deutsch mit B1 ausgewiesen wurde, eine Gesamtpunktzahl von 64 Punkten erreicht, könnte seine Leistung dem unteren B1-Niveau zugeordnet werden (10 Punkte unterhalb der unteren Grenze des B1-Kernbereichs); bei insgesamt 87 Punkten käme der obere B1-Bereich in Betracht (8 Punkte oberhalb der oberen Grenze des B1-Kernbereichs).
Forschungsanfrage stellen
Die Gesellschaft für Akademische Studienvorbereitung und Testentwicklung e. V. (g.a.s.t.) und der Arbeitskreis der Sprachenzentren (AKS) / UNIcert© fördern wissenschaftliche Forschung zu Fragen des Prüfens und Testens. Sie stellt für vielversprechende Forschungsvorhaben Datensätze zum onSET zur Verfügung.
Die Voraussetzungen, um Daten zu erhalten, unterscheiden sich nach der Art der Daten, die Sie für Ihr Forschungsvorhaben benötigen.
Hierunter fallen
- Informationen, die auf den Webseiten von g.a.s.t. der Allgemeinheit ohne Einschränkung zur Verfügung stehen
- veröffentlichte Beispielaufgaben
- Publikationen von Mitarbeitern von g.a.s.t. in Fachzeitschriften und Fachbüchern bzw. im Internet.
Die Verwendung dieser Daten und Materialien ist an keine Voraussetzungen gebunden, außer, dass im Sinne guter wissenschaftlicher Praxis die jeweilige Quelle (z. B. Webseite oder Publikation) zu nennen ist. Mitarbeiterinnen und Mitarbeiter von g.a.s.t. können bei solchen Anfragen Hinweise geben, wo die gewünschten Informationen zu finden sind.
g.a.s.t. stellt lizenzierten Testzentren solche Statistiken in anonymisierter Form zur Verfügung. Aus der Anfrage muss klar hervorgehen, welche Informationen im Einzelnen gewünscht werden und wofür die Informationen verwendet werden sollen. Anfragen dieses Typs, die von nichtlizenzierten Einrichtungen oder von Einzelpersonen stammen, werden nur dann positiv beantwortet, wenn ein genuines Forschungsinteresse nachgewiesen und begründet wird. Auch hier gilt, dass bei jeder Form von Verwertung der zur Verfügung gestellten statistischen Daten in Veröffentlichungen g.a.s.t. als Quelle der Informationen zu nennen ist.
Unter Rohdaten fallen z. B. die Ergebnisse einzelner Teilnehmer im onSET, demografische Angaben zu den Teilnehmern, Bewertungen von Teilnehmerleistungen in den produktiven Teilen einer TestDaF-Prüfung usw. Ein solcher Zugang ist an eine Reihe von Voraussetzungen geknüpft:
- Der Antragsteller muss eine mehrseitige Forschungsskizze vorlegen, aus der die wissenschaftliche Fragestellung, die zu prüfenden Hypothesen und die geplanten Datenanalysen ersichtlich sind.
- Diese Skizze wird einem sorgfältigen Begutachtungsverfahren unterzogen.
Im Falle einer positiven Begutachtung werden ausschließlich diejenigen Daten, die für eine Beantwortung der im Proposal genannten Fragestellung erforderlich sind, von g.a.s.t. zur Verfügung gestellt. Der Antragsteller verpflichtet sich, in eigenen Arbeiten die Datenquelle ausdrücklich zu erwähnen und g.a.s.t. Sonderdrucke bzw. Belegexemplare der veröffentlichten Arbeiten zu übergeben; dies gilt auch für wissenschaftliche Qualifikationsarbeiten (B.A., Master, Dissertationen).
In begründeten Fällen können für solche Zwecke unmittelbar Zugänge an Hochschulen oder Einzelpersonen vergeben oder in Kooperation mit lizenzierten Partnern von g.a.s.t. für die Antragsteller ermöglicht werden. Hierüber entscheidet die g.a.s.t.-Geschäftsleitung.
