II. fejezet: AZ AKKREDITÁLT VIZSGARENDSZER

C. A nyelvvizsga szintjeinek illesztése a KER-hez

A szintillesztés főbb szakaszai a következők:

A szintillesztés folyamata működő rendszerek esetén az adott vizsgarendszer kétéves akkreditált működési ciklusában nyelvenként, szintenként, a vizsgázók egy vizsgaidőszakra számolt átlagos létszámát (N) figyelembe véve a következőképpen zajlik:

kategória familiarizáció specifikáció standardizálás belső empirikus validálás belső empirikus validálás
ismételt feladatok (itemek)
összehasonlító elemzésével
N ≤ 200
201 ≤ N ≤ 1000
N > 1000

A már működő nyelvvizsgarendszerben a kétéves akkreditált működési ciklusban adott nyelv adott szintjén vizsgaidőszakonként átlagosan 201 főnél kevesebb vizsgázóval dolgozó vizsgák esetében a familiarizáció, a specifikáció és a standardizáció eljárásait kell elvégezni.

A kétéves akkreditált működési ciklusban az adott nyelvvizsgarendszer adott nyelvének adott szintjén vizsgaidőszakonként átlagosan 200 főnél több, de 1000 főnél nem több vizsgázóval rendelkező nyelvvizsgák esetében a familiarizáció, specifikáció és standardizáció eljárásain túl belső empirikus validálást is kell végezni.

A kétéves akkreditált működési ciklusban az adott nyelvvizsgarendszer adott nyelvének adott szintjén vizsgaidőszakonként átlagosan 1000 főnél több vizsgázóval dolgozó nyelvvizsgák esetében a familiarizáció, specifikáció, standardizáció és belső empirikus validálás mellett ismételten felhasznált feladatok (itemek) működésének összehasonlító elemzését végzi el a vizsgaközpont.

A szintillesztés a teljes vizsgamátrixot, tehát valamennyi vizsgarészt érinti.

A klasszikus nyelvek esetén a szintillesztés nem előírás.

Új akkreditációs kérelem esetén a vizsgarendszer nyilatkozik a várható vizsgázói létszámokról, ami a szintillesztési kategorizálás alapjául is szolgál. Vizsgarendszer akkreditációjának kérelmezésekor az egyes releváns szakaszok elvégzéséről a lenti táblázatban szereplő dokumentumok nyújtandók be.

Az alábbi táblázat tartalmazza a szintillesztési szakaszok céljait és az eljárást kísérő dokumentumokat. A vizsgaközpont a szintillesztést minden kétéves akkreditált működési ciklusban legalább egyszer, egy általa kiválasztott vizsgaidőszakban végzi el. Ekkor a skálaitemek analízisét is el kell végezni.

Szintillesztési
szakaszok
Célok Az eljárást kísérő
dokumentumok
Megjegyzés
1. Ismerkedési szakasz (familiarizáció) A KER mint elméleti alapvetés és gyakorlati útmutató megismerése.
  • Jelenléti ívek
  • Műhelymunka/tréning tematikája
  • A tréning során használt kérdőívek
  • Statisztikai elemzések a részt vevők KER- ismereteinek megbízhatóságáról
  • Összefoglaló jelentés.
Az ismerkedési szakasz kötelezően ismétlendő minden egyes értékítélet alapú eljárás lefolytatása előtt. A bírálók megbíz­hatóságát bizonyítani kell (az értékelők önmagukkal és más értékelőkkel összevetett következetességét ellenőrizni kell).
2. Specifikáció A tesztspecifikáció, a feladatok (itemek, értékelési skálák) KER-hez illesztése.
  • Vizsgaleírás
  • Új akkreditáció esetén 2 mintafeladatsor, már működő vizsgaköz-pontok esetében 1 éles feladatsor
A vizsgarendszernek a KER-ben meghatározott nyelvtudást minden akkreditált szintjén, minden nyelvi készségre vonatkozóan teljeskörűen kell mérnie, és elkülönül­ten kell értékelnie.
3. Standardizálás A helyi mintateljesít­mények és az adott KER-szintre vonatkozó követelmények össze­vethetőségének bizto­sítása, a mintafeladatok és a további feladatkészletek közötti csereszabatosság biztosítása, az értékelés standardizálása. A teljesítményminimumok (standardok) meghatározása. A szintminősítés (benchmarking) mellett a standard megállapítás (teljesítményminimum meghatározása) is kötelező. Ajánlott eljárás a módosított Angoff módszer (tesztközpontú eljárás), melyet célszerű összevetni tanári értékítéletekkel, ill. item statisztikával (pl. nehézségi és diszkriminációs index vagy logit érték).
4. Belső empirikus validálás A mintafeladatok és a további feladatkészletek belső érvényességének biztosítása.
  • Kimutatás és elemzés új vizsgarendszer akkreditációjakor az előtesztelés statisztikai adatairól, működő vizsgarendszer esetében pedig az éles vizsga statisztikai adatairól
  • Összefoglaló jelentés.
Minden éles vizsgán használt feladatkészlet belső érvényességét vizsgálni kell.
5. Belső empirikus validálás ismételt feladatok (itemek) összehasonlító elemzésével A mintafeladatok (és további feladatkészletek rendszerszerű) belső érvényességének biztosítása.
  • Kimutatás és elemzés az ismételt feladatok (itemek) összehasonlító elemzésével történő validálási eljárás statisztikai adatairól,
  • Összefoglaló jelentés.
Az eljárás javasolt módja: korreláció-analízis és a feladatok (itemek) átlagos nehézségének össze-hasonlítása.

A szintillesztés egyes szakaszainak részletes leírása a Nyelvvizsgák szintillesztése c. kiadványban található.