A nyelvvizsgáztatás folyamatszerű követelményei

A vizsgafolyamatban az alábbi, időben egymást követő 10 szakasz különíthető el:

  1. Feladatterv; vázlatok elkészítése.
  2. A vizsgaközpont munkatársaiból álló szakbizottság elbírálja a feladatokat. A feladatterveket a bírálók értekezlet(ek) során vitatják meg (moderálás). A feladatfejlesztők végrehajtják a javasolt módosításokat, kidolgozzák a feladatokat, vagy ha a bizottság nem fogadta el a feladatokat, újakat készítenek. Szükség esetén a bizottságot újra összehívják a módosított feladatok ismételt elbírálására.
  3. A feladatok jobbításának bizottsági ellenőrzése.
  4. A feladatok kísérleti jellegű kipróbálása, a próba eredményeinek elemzése.
  5. Szakbizottsági döntés a feladatok további módosításáról a próba eredményei alapján. Amennyiben a kipróbálást követően egy feladat módosul, azt szakmailag indokolt ismét kipróbálni. A változtatások végrehajtásának ellenőrzése. A szerkesztési, nyelvi, tipográfiai hiányosságok feltárása, javítása.
  6. A kész vizsgaanyag sokszorosítása, titkosítása. A vizsgáztatók, értékelők felkészítése az adott feladatok értékelésére.
  7. A vizsga lefolytatása, a feladatok értékelése.
  8. A vizsga működésének nyomon követése: az együttkezelt eredmények (adatok, megoldások, részeredmények) elemzése annak megállapítása céljából, hogy a vizsgafeladatok szakmai szempontból beváltak-e, az elvárt módon mértek-e. A vizsgázók, vizsgáztatók visszajelzéseinek elemzése, értékelése.
  9. Az eredmények összesítése, a vizsgaeredményekre vonatkozó döntés előkészítése. A gyengén mérő feladatok szükség szerinti módosítása a későbbi felhasználás céljából.
  10. A vizsgabizottság testületi döntése a vizsgaeredményekről, valamint az eszközök, a vizsgafolyamat esetleges módosításáról.
A folyamatszerű követelmények keret jellegéből következően az egyes szakaszok konkrét tartalma a különböző nyelvvizsgák és egyes nyelvek (pl. kevésbé gyakran oktatott nyelvek) esetében módosulhat, különösen a fent leírt 4. és 8. szakasz vonatkozásában.

A folyamatszerű követelmények differenciálása

A folyamatszerű követelmények függnek

  • az alkalmazott feladattípusoktól (mérési eszközöktől),
  • az együttkezelt vizsgaeredmények átlagos számától,
  • a vizsgarendszer fejlettségétől (feladatbankok alkalmazása stb.).

Az alábbi táblázat a folyamatszerű követelmények 4. és 8. pontját részletezi. Kijelöli a differenciálás lehetőségeit, de egyúttal megszabja az alkalmazandó minőségbiztosítási eszközök minimumát is.
Új akkreditációs kérelem esetén a vizsgarendszer nyilatkozik a szintenként és nyelvenként az akkreditációt követő 12 hónap elteltével várható vizsgázói létszámokról, és azok alapján választja meg a kipróbálások létszámait. Szaknyelv esetén a várható vizsgázói létszámokat a benyújtott szükségletelemzéssel összhangban kell megállapítani.

Objektív értékelésű feladatok
(lásd Fogalomtár)


   Együttkezelt eredmények száma:
1-200
Együttkezelt eredmények száma:
201-től
4.
Kipróbálás
Kipróbálás
létszáma
új akkreditációs kérelem esetén: legalább 6, nyelvtudását tekintve a vizsga célcsoportját képviselő nyelvhasználó,
de a megbízhatóság igazolására legalább egy szintből legalább 30 fő
legalább 50, nyelvtudását tekintve a vizsga célcsoportjait képviselő nyelvhasználó, többrétegű minta
már működő rendszereknél:
  • 1-10 fő átlagos létszám esetén minimum 3,
  • 11-50 fő átlagos létszám esetén minimum 6,
  • 51-100 fő átlagos létszám esetén minimum 15,
  • 101-200 fő átlagos létszám esetén minimum 30,
nyelvtudását tekintve a vizsga célcsoportját képviselő nyelvhasználó
Elemzés
módja
  • 1-29 fő esetén kvalitatív
  • 30 főtől itemanalízis
itemanalízis;
+ probabilisztikus módszerek javasoltak, feladatbank alkalmazása esetén elvártak
Kiszámo-
landó
itemanalízis esetén kiszámolandó a nehézségi érték, diszkriminációs érték, és az adott készséget mérő feladatsor megbízhatósága nehézségi érték, diszkrimináció és az adott készséget mérő feladatsor megbízhatósága; probabilisztikus módszerek esetén: illeszkedési mutatók is
Megjegyzés Amennyiben a kipróbálást követően egy feladat módosul, azt szakmailag indokolt ismét kipróbálni. A kipróbálást ajánlott összekapcsolt adatfelvétellel végezni.
Amennyiben a kipróbálást követően egy feladat módosul, azt szakmailag indokolt ismét kipróbálni.
8.
Az éles vizsga működése
Elemzés
létszáma
együttkezelt adatok összessége random mintavétellel:
201-1000 fő: az együttkezelt adatok 70%-a;
1001 főtől: az együttkezelt adatok 50%-a
Javasolt: együttkezelt adatok összessége.
Elemzés
módja
  • 1-50 fő esetén kvalitatív
  • 51-200 fő esetén itemanalízis
itemanalízis;
+ probabilisztikus módszerek javasoltak, feladatbank alkalmazása esetén elvártak
Kiszámo-
landó

itemanalízis alkalmazása esetén: nehézségi érték, diszkrimináció és az adott vizsgarész megbízhatósága, vizsgarészek közötti korreláció
nehézségi érték, diszkrimináció és az adott vizsgarész megbízhatósága; vizsgarészek közötti korreláció;
probabilisztikus módszerek esetén: illeszkedési mutatók is
Megjegyzés A végső elemzések elkészítésének határideje legkésőbb a vizsgaeredmények kihirdetését követő 60. nap.

Szubjektív értékelésű feladatok
(lásd Fogalomtár)


   Együttkezelt eredmények száma:
1-200
Együttkezelt eredmények száma:
201-től
4.
Kipróbálás
Kipróbálás
létszáma
új akkreditációs kérelem esetén: legalább hat, nyelvtudását tekintve a vizsga célcsoportját képviselő nyelvhasználó legalább 10, nyelvtudását tekintve a vizsga célcsoportját képviselő nyelvhasználó
már működő rendszereknél:
  • 10 fő alatti átlagos létszám esetén minimum 3,
  • 10-200 fő átlagos létszám esetén minimum 6,
nyelvtudását tekintve a vizsga célcsoportját képviselő nyelvhasználó
Elemzés
módja
kvalitatív kvalitatív
Kiszámo-
landó
- -
Megjegyzés Amennyiben a kipróbálást követően egy feladat módosul, azt szakmailag indokolt ismét kipróbálni.
8.
Az éles vizsga működése
Elemzés
létszáma
együttkezelt adatok összessége együttkezelt adatok összessége
Elemzés
módja
  • 1-50 fő esetén: kvalitatív;
  • 51-200 fő esetén: kvalitatív, továbbá páronként sorrendi korrelációs vagy azzal egyenértékű módszer. A skálaitemekre végzett itemanalízis minden vizsgaidőszakban ajánlott, de a kétévenkénti szintillesztés során kötelező.
kvalitatív;
páronként sorrendi korrelációs vagy azzal egyenértékű módszer;

a skálaitemekre végzett itemanalízis minden vizsgaidőszakban ajánlott, de a kétévenkénti szintillesztés során kötelező.
Kiszámo-
landó
  • 1-50 fő: -
  • 51-200 fő: valamennyi értékelő pár esetében értékelőnként az átlag és szórás; az értékelő párok tagjai közötti megbízhatóság vagy egyetértés;
vizsgarészek közötti korreláció; itemanalízis esetén a skálaitemek nehézségi értéke és diszkriminációja és a teljes vizsgarészek megbízhatósága
valamennyi értékelő pár esetében értékelőnként az átlag és szórás;
az értékelő párok tagjai közötti megbízhatóság vagy egyetértés;
vizsgarészek közötti korreláció;
itemanalízis esetén a skálaitemek nehézségi értéke és diszkriminációja és a teljes vizsgarészek megbízhatósága
Megjegyzés A végső elemzések elkészítésének határideje legkésőbb a vizsgaeredmények kihirdetését követő 60. nap.