II. fejezet: AZ AKKREDITÁLT VIZSGARENDSZER

D. A nyelvvizsgáztatás folyamatszerű követelményei

A vizsgafolyamatban az alábbi, időben egymást követő 10 szakasz különíthető el:

  1. A vizsgaközpont itemírója a feladatírói útmutató alapján feladatot készít.
  2. A vizsgaközpont munkatársaiból álló bizottság elbírálja a feladatot. A feladatot a bírálók értekezlet(ek) során vitatják meg (moderálás). A feladatfejlesztők végrehajtják a javasolt módosításokat, átdolgozzák a feladatot, vagy ha a bizottság nem fogadta el a feladatot, újat készítenek. Szükség esetén a bizottságot újra összehívják a módosított feladatok ismételt elbírálására.
  3. A feladat jobbításának bizottsági ellenőrzése.
  4. A feladat kísérleti jellegű kipróbálása, a próba eredményeinek elemzése.
  5. Bizottsági döntés a feladat további módosításáról a próba eredményei alapján. Amennyiben a kipróbálást követően egy feladat módosul, azt szakmailag indokolt ismét kipróbálni. A változtatások végrehajtásának ellenőrzése. A szerkesztési, nyelvi, tipográfiai hiányosságok feltárása, javítása.
  6. A feladatsor összeállítása, a kész vizsgaanyag sokszorosítása, titkosítása. A vizsgáztatók, értékelők felkészítése az adott feladat értékelésére.
  7. A vizsga lefolytatása, a feladat értékelése.
  8. A vizsga működésének nyomon követése: az együtt kezelt eredmények (adatok, megoldások, részeredmények) elemzése annak megállapítása céljából, hogy a vizsgafeladat szakmai szempontból bevált-e, az elvárt módon mért-e. A vizsgázók, vizsgáztatók visszajelzéseinek elemzése, értékelése.
  9. Az eredmények összesítése, a vizsgaeredményekre vonatkozó döntés.
  10. Döntés az eszközök, a vizsgafolyamat esetleges módosításáról, a gyengén mérő feladat szükség szerinti módosításáról a későbbi felhasználás céljából.

A folyamatszerű követelmények keret jellegéből következően az egyes szakaszok konkrét tartalma a különböző nyelvvizsgák és egyes nyelvek (pl. kevésbé gyakran oktatott nyelvek) esetében módosulhat, különösen a fent leírt 4. és 8. szakasz vonatkozásában.

A folyamatszerű követelmények differenciálása

A folyamatszerű követelmények függenek:

A folyamatszerű követelmények teljesítéséhez az éles vizsga eredményeinek elemzése céljából az adott vizsgarész feladatait megoldó vizsgázók létszámát kell figyelembe venni, míg a pretesztlétszámok meghatározásához az előző naptári év éles vizsgáinak egy vizsgaidőszakra számolt átlagos vizsgázói létszámát kell tekinteni.

Új akkreditációs kérelem esetén a vizsgarendszer nyilatkozik a szintenként és nyelvenként az akkreditációt követő 12 hónap elteltével várható vizsgázói létszámokról, és azok alapján választja meg a kipróbálások létszámait. Szaknyelv esetén a várható vizsgázói létszámokat a benyújtott szükségletelemzéssel összhangban kell megállapítani.

Az alábbi táblázat a folyamatszerű követelmények 4. és 8. pontját részletezi. Kijelöli a differenciálás lehetőségeit, de egyúttal megszabja az alkalmazandó minőségbiztosítási eszközök minimumát is.

Objektív értékelésű feladatok

Együtt kezelt eredmények száma: 1-200 Együtt kezelt eredmények száma: 201-től
4. Kipróbálás Kipróbálás létszáma új akkreditációs kérelem esetén: legalább 6, nyelvtudását tekintve a vizsga célcsoportját képviselő nyelv­használó, de a megbízhatóság igazolására legalább egy szintből legalább 30 fő legalább 50, nyelvtudását tekintve a vizsga célcsoportjait képviselő nyelvhasználó, többrétegű minta
már működő rendszereknél:
  • 1-10 fő átlagos létszám esetén minimum 3,
  • 11-50 fő átlagos létszám esetén minimum 6,
  • 51-100 fő átlagos létszám esetén minimum 15,
  • 101-200 fő átlagos létszám esetén minimum 30,
nyelvtudását tekintve a vizsga cél­csoportját képviselő nyelvhasználó
Elemzés módja
  • 1-29 fő esetén kvalitatív
  • 30 főtől itemanalízis
itemanalízis;
+ probabilisztikus módszerek javasoltak, feladatbank alkalmazása esetén elvártak
Kiszámo­landó itemanalízis esetén kiszámolandó a nehézségi érték, diszkriminációs érték, és az adott készséget mérő feladatsor megbízhatósága nehézségi érték, diszkrimináció és az adott készséget mérő feladatsor megbízhatósága;
probabilisztikus módszerek esetén: illeszkedési mutatók is
Megjegyzés Amennyiben a kipróbálást követően egy feladat módosul, azt szakmailag indokolt ismét kipróbálni. A kipróbálást ajánlott összekapcsolt adatfelvétellel végezni. Amennyiben a kipró­bálást követően egy feladat módosul, azt szakmailag indokolt ismét kipróbálni.
8. Az éles vizsga működése Elemzés létszáma együtt kezelt adatok összessége random mintavétellel:
201-1000 fő: az együtt kezelt adatok 70%-a;
1001 főtől: az együtt kezelt adatok 50%-a;
javasolt: együtt kezelt adatok összessége.
Elemzés módja
  • 1-50 fő esetén kvalitatív
  • 51-200 fő esetén itemanalízis
itemanalízis;
+ probabilisztikus módszerek javasoltak, feladatbank alkalmazása esetén elvártak
Kiszámo­landó itemanalízis alkalmazása esetén: nehézségi érték, diszkrimináció és az adott vizsgarész megbízhatósága, vizsgarészek közötti korreláció nehézségi érték, diszkrimináció és az adott vizsgarész megbíz­hatósága; vizsgarészek közötti korreláció;
probabilisztikus módszerek esetén: illeszkedési mutatók is
Megjegyzés A végső elemzések elkészítésének határideje legkésőbb a vizsgaered­mények kihirdetését követő 60. nap.

Szubjektív értékelésű feladatok

Együtt kezelt eredmények száma: 1-200 Együtt kezelt eredmények száma: 201-től
4. Kipróbálás Kipróbálás létszáma új akkreditációs kérelem esetén: legalább hat, nyelvtudását tekint­ve a vizsga célcsoportját képvi­selő nyelvhasználó legalább 10, nyelvtudását tekintve a vizsga célcsoportját képviselő nyelv­használó
már működő rendszereknél:
  • 10 fő alatti átlagos létszám esetén minimum 3,
  • 10-200 fő átlagos létszám esetén minimum 6,
nyelvtudását tekintve a vizsga cél­csoportját képviselő nyelvhasz­náló
Elemzés módja kvalitatív kvalitatív
Kiszámo­landó - -
Megjegyzés Amennyiben a kipróbálást követően egy feladat módosul, azt szakmailag indokolt ismét kipróbálni.
8. Az éles vizsga működése Elemzés létszáma együtt kezelt adatok összessége együtt kezelt adatok összessége
Elemzés módja
  • 1-50 fő esetén kvalitatív;
  • 51-200 fő esetén itemanalízis, továbbá
    páronként sorrendi korrelációs vagy azzal egyenértékű módszer. A skálaitemekre végzett itemanalízis minden vizsgaidőszakban ajánlott, de a kétévenkénti szintillesztés során kötelező.
kvalitatív;
páronként sorrendi korrelációs vagy azzal egyenértékű módszer;

a skálaitemekre végzett itemanalízis minden vizsgaidőszakban ajánlott, de a kétévenkénti szintillesztés során kötelező.
Kiszámo­landó
  • 1-50 fő: -
  • 51-200 fő: valamennyi értékelő pár esetében értékelőnként az átlag és szórás; az értékelő párok tagjai közötti megbízhatóság vagy egyetértés;
vizsgarészek közötti korreláció; itemanalízis esetén a skálaitemek nehézségi értéke és diszkrimi­nációja és a teljes vizsgarészek megbízhatósága
valamennyi értékelő pár esetében értékelőnként az átlag és szórás;
az értékelő párok tagjai közötti megbízhatóság vagy egyetértés;
vizsgarészek közötti korreláció;
itemanalízis esetén a skálaitemek nehézségi értéke és diszkriminációja és a teljes vizsgarészek megbízhatósága
Megjegyzés A végső elemzések elkészítésének határideje legkésőbb a vizsgaered­mények kihirdetését követő 60. nap.