II. fejezet: AZ AKKREDITÁLT VIZSGARENDSZER

C. A nyelvvizsga szintjeinek illesztése a KER-hez

A szintillesztés főbb szakaszai a következők:

ismerkedési szakasz (familiarizáció),
specifikációs szakasz,
standardizálás,
belső empirikus validálás,
belső empirikus validálás ismételt feladatok (itemek) összehasonlító elemzésével.

A szintillesztés folyamata működő rendszerek esetén az adott vizsgarendszer kétéves akkreditált működési ciklusában nyelvenként, szintenként, a vizsgázók egy vizsgaidőszakra számolt átlagos létszámát (N) figyelembe véve a következőképpen zajlik:

kategória familiarizáció specifikáció standardizálás belső empirikus validálás belső empirikus validálás
ismételt feladatok (itemek)
összehasonlító elemzésével

N ≤ 200 ✔ ✔ ✔

201 ≤ N ≤ 1000 ✔ ✔ ✔ ✔

N > 1000 ✔ ✔ ✔ ✔ ✔

A már működő nyelvvizsgarendszerben a kétéves akkreditált működési ciklusban adott nyelv adott szintjén vizsgaidőszakonként átlagosan 201 főnél kevesebb vizsgázóval dolgozó vizsgák esetében a familiarizáció, a specifikáció és a standardizáció eljárásait kell elvégezni.

A kétéves akkreditált működési ciklusban az adott nyelvvizsgarendszer adott nyelvének adott szintjén vizsgaidőszakonként átlagosan 200 főnél több, de 1000 főnél nem több vizsgázóval rendelkező nyelvvizsgák esetében a familiarizáció, specifikáció és standardizáció eljárásain túl belső empirikus validálást is kell végezni.

A kétéves akkreditált működési ciklusban az adott nyelvvizsgarendszer adott nyelvének adott szintjén vizsgaidőszakonként átlagosan 1000 főnél több vizsgázóval dolgozó nyelvvizsgák esetében a familiarizáció, specifikáció, standardizáció és belső empirikus validálás mellett ismételten felhasznált feladatok (itemek) működésének összehasonlító elemzését végzi el a vizsgaközpont.

A szintillesztés a teljes vizsgamátrixot, tehát valamennyi vizsgarészt érinti.

A klasszikus nyelvek esetén a szintillesztés nem előírás.

Új akkreditációs kérelem esetén a vizsgarendszer nyilatkozik a várható vizsgázói létszámokról, ami a szintillesztési kategorizálás alapjául is szolgál. Vizsgarendszer akkreditációjának kérelmezésekor az egyes releváns szakaszok elvégzéséről a lenti táblázatban szereplő dokumentumok nyújtandók be.

Az alábbi táblázat tartalmazza a szintillesztési szakaszok céljait és az eljárást kísérő dokumentumokat. A vizsgaközpont a szintillesztést minden kétéves akkreditált működési ciklusban legalább egyszer, egy általa kiválasztott vizsgaidőszakban végzi el. Ekkor a skálaitemek analízisét is el kell végezni.

Szintillesztési
szakaszok Célok Az eljárást kísérő
dokumentumok Megjegyzés

1. Ismerkedési szakasz (familiarizáció) A KER mint elméleti alapvetés és gyakorlati útmutató megismerése.

Jelenléti ívek

Műhelymunka/tréning tematikája

A tréning során használt kérdőívek

Statisztikai elemzések a részt vevők KER- ismereteinek megbízhatóságáról

Összefoglaló jelentés

Az ismerkedési szakasz kötelezően ismétlendő minden egyes értékítélet-alapú eljárás lefolytatása előtt. A bírálók megbízhatóságát bizonyítani kell (az értékelők önmagukkal és más értékelőkkel összevetett következetességét ellenőrizni kell).

2. Specifikáció A tesztspecifikáció, a feladatok (itemek, értékelési skálák) KER-hez illesztése.

Vizsgaleírás

Új akkreditáció esetén 2 mintafeladatsor, már működő vizsgaközpontok esetében 1 éles feladatsor

A vizsgarendszernek a KER-ben meghatározott nyelvtudást minden akkreditált szintjén, minden nyelvi készségre vonatkozóan teljeskörűen kell mérnie, és elkülönülten kell értékelnie.

3. Standardizálás A helyi mintateljesítmények és az adott KER-szintre vonatkozó követelmények összevethetőségének biztosítása, a mintafeladatok és a további feladatkészletek közötti csereszabatosság biztosítása, az értékelés standardizálása. A teljesítményminimumok (standardok) meghatározása.

Jegyzőkönyv

Műhelymunka/tréning tematikája

Összefoglaló jelentés

Helyi standardizált teljesítményminták

A szintminősítés (benchmarking) mellett a standard megállapítás (teljesítményminimum meghatározása) is kötelező. Ajánlott eljárás a módosított Angoff módszer (tesztközpontú eljárás), melyet célszerű összevetni tanári értékítéletekkel, ill. itemstatisztikával (pl. nehézségi és diszkriminációs index vagy logit érték).

4. Belső empirikus validálás A mintafeladatok és a további feladatkészletek belső érvényességének biztosítása.

Kimutatás és elemzés új vizsgarendszer akkreditációjakor a kipróbálás statisztikai adatairól, működő vizsgarendszer esetében pedig az éles vizsga statisztikai adatairól

Összefoglaló jelentés

Minden éles vizsgán használt feladatkészlet belső érvényességét vizsgálni kell.

5. Belső empirikus validálás ismételt feladatok (itemek) összehasonlító elemzésével A mintafeladatok (és további feladatkészletek rendszerszerű) belső érvényességének biztosítása.

Kimutatás és elemzés az ismételt feladatok (itemek) összehasonlító elemzésével történő validálási eljárás statisztikai adatairól

Összefoglaló jelentés

Az eljárás javasolt módja: korreláció-analízis és a feladatok (itemek) átlagos nehézségének össze-hasonlítása.

A szintillesztés egyes szakaszainak részletes leírása a Nyelvvizsgák szintillesztése c. kiadványban található.

→ ↑

kategória	familiarizáció	specifikáció	standardizálás	belső empirikus validálás	belső empirikus validálás ismételt feladatok (itemek) összehasonlító elemzésével
N ≤ 200	✔	✔	✔
201 ≤ N ≤ 1000	✔	✔	✔	✔
N > 1000	✔	✔	✔	✔	✔

Szintillesztési szakaszok	Célok	Az eljárást kísérő dokumentumok	Megjegyzés
1. Ismerkedési szakasz (familiarizáció)	A KER mint elméleti alapvetés és gyakorlati útmutató megismerése.	Jelenléti ívek Műhelymunka/tréning tematikája A tréning során használt kérdőívek Statisztikai elemzések a részt vevők KER- ismereteinek megbízhatóságáról Összefoglaló jelentés	Az ismerkedési szakasz kötelezően ismétlendő minden egyes értékítélet-alapú eljárás lefolytatása előtt. A bírálók megbízhatóságát bizonyítani kell (az értékelők önmagukkal és más értékelőkkel összevetett következetességét ellenőrizni kell).
2. Specifikáció	A tesztspecifikáció, a feladatok (itemek, értékelési skálák) KER-hez illesztése.	Vizsgaleírás Új akkreditáció esetén 2 mintafeladatsor, már működő vizsgaközpontok esetében 1 éles feladatsor	A vizsgarendszernek a KER-ben meghatározott nyelvtudást minden akkreditált szintjén, minden nyelvi készségre vonatkozóan teljeskörűen kell mérnie, és elkülönülten kell értékelnie.
3. Standardizálás	A helyi mintateljesítmények és az adott KER-szintre vonatkozó követelmények összevethetőségének biztosítása, a mintafeladatok és a további feladatkészletek közötti csereszabatosság biztosítása, az értékelés standardizálása. A teljesítményminimumok (standardok) meghatározása.	Jegyzőkönyv Műhelymunka/tréning tematikája Összefoglaló jelentés Helyi standardizált teljesítményminták	A szintminősítés (benchmarking) mellett a standard megállapítás (teljesítményminimum meghatározása) is kötelező. Ajánlott eljárás a módosított Angoff módszer (tesztközpontú eljárás), melyet célszerű összevetni tanári értékítéletekkel, ill. itemstatisztikával (pl. nehézségi és diszkriminációs index vagy logit érték).
4. Belső empirikus validálás	A mintafeladatok és a további feladatkészletek belső érvényességének biztosítása.	Kimutatás és elemzés új vizsgarendszer akkreditációjakor a kipróbálás statisztikai adatairól, működő vizsgarendszer esetében pedig az éles vizsga statisztikai adatairól Összefoglaló jelentés	Minden éles vizsgán használt feladatkészlet belső érvényességét vizsgálni kell.
5. Belső empirikus validálás ismételt feladatok (itemek) összehasonlító elemzésével	A mintafeladatok (és további feladatkészletek rendszerszerű) belső érvényességének biztosítása.	Kimutatás és elemzés az ismételt feladatok (itemek) összehasonlító elemzésével történő validálási eljárás statisztikai adatairól Összefoglaló jelentés	Az eljárás javasolt módja: korreláció-analízis és a feladatok (itemek) átlagos nehézségének össze-hasonlítása.