II. fejezet: AZ AKKREDITÁLT VIZSGARENDSZER

E. Statisztikai elvárások

A statisztikai elvárások közül az alapvető statisztikai mutatókat minden legalább 201 vizsgázó teljesítményét együtt kezelő vizsgarész adatainak feldolgozásakor figyelembe kell venni. Ezek mellett a klasszikus tesztelmélet alkalmazásakor a megfigyelt pontok mutatóival, a modern tesztelmélet alkalmazásakor pedig a probabilisztikus módszerek mutatóival kapcsolatos elvárásoknak kell megfelelni.

Az adatok feldolgozásának módszertanától függetlenül minden 50 főt meghaladó nagyságú mintán ki kell számolni az összes item nehézségét és diszkriminációs erejét. A szubjektív értékelésű feladatoknál ezeken felül ki kell számítani az egyes értékelő párok tagjai közötti megbízhatóság vagy egyetértés mértékét, és valamennyi értékelő pár esetében értékelőnként az átlagot és szórást is. A modern tesztelmélet szerinti elemzésekben szerepeltetni kell az illeszkedési mutatókat is. A vizsgarészekkel kapcsolatban elvárt statisztikai elemzés a megbízhatóság és a vizsgarészek közötti korreláció mértékének a kiszámítása.

A Hivatal által kirendelt szakértők az akkreditációval összefüggő beadványok elbírálásakor a statisztikai mutatókat két tizedes pontossággal veszik figyelembe.

A listázottakon kívüli eljárás alkalmazása esetén csatolni kell a számítás elvégzésével és az elfogadható értékkel kapcsolatos hivatkozást.

Alapvető statisztikai mutatók és elfogadható értékeik

mutató elfogadható értékek irodalom
megbízhatóság Cronbach-féle α ≥ 0,75 Crocker & Algina, 2006, p. 142
item diszkrimináció Dm-nm > 0 Bachman, 2004, p. 138
sorrendi korreláció rs ≥ 0,80 Nunnally & Bernstein, p. 265
értékelői egyetértés Krippendorff-féle α ≥ 0,80
Cohen-féle κ ≥ 0,61
Krippendorff, 2004, p. 241
Fulcher, 2010, p. 83

A megfigyelt pontok mutatói és elfogadható értékeik

mutató elfogadható értékek irodalom
item nehézség 0,70 ≥ p-érték ≥ 0,30 Fulcher, 2010, p. 182
item diszkrimináció Ebel-féle D ≥ 0,30
rpbi ≥ 0,25
Crocker & Algina, 2006, p. 315
Henning, 1987, p. 53

Utólagos korrekciót szakmailag indokolt végezni abban az esetben, ha az itemek minősége, illetve nehézsége nem felel meg az előírásoknak. Amennyiben a statisztikai elemzés csupán az együttkezelt eredményekből vett minta adatait értékelte, az utólagos korrekció elvégzése előtt az összes adatot rögzíteni és elemezni kell. Az esetleges korrekció minden vizsgázói teljesítményre azonos módon érvényesítendő.

A probabilisztikus módszerek mutatói és elfogadható értékeik

módszer elfogadható értékek irodalom
modell-teszt illeszkedés R1C: df arány ≤ 1,5 Hemker, 1996, p. 35
modell-item illeszkedés -2 ≤ Mi ≤ 2
0,5 ≤ infit MS ≤ 1,5
0,5 ≤ outfit MS ≤ 1,5
Verhelst, Glas, & Verstralen, 1995, p. 14
Wright & Linacre, 1994, p. 370
Wright & Linacre, 1994, p. 370