A statisztikai elvárások közül az alapvető statisztikai mutatókat minden legalább 201 vizsgázó teljesítményét együtt kezelő vizsgarész adatainak feldolgozásakor figyelembe kell venni. Ezek mellett a klasszikus tesztelmélet alkalmazásakor a megfigyelt pontok mutatóival, a modern tesztelmélet alkalmazásakor pedig a probabilisztikus módszerek mutatóival kapcsolatos elvárásoknak kell megfelelni.
Az adatok feldolgozásának módszertanától függetlenül minden 50 főt meghaladó nagyságú mintán ki kell számolni az összes item nehézségét és diszkriminációs erejét. A szubjektív értékelésű feladatoknál ezeken felül ki kell számítani az egyes értékelő párok tagjai közötti megbízhatóság vagy egyetértés mértékét, és valamennyi értékelő pár esetében értékelőnként az átlagot és szórást is. A modern tesztelmélet szerinti elemzésekben szerepeltetni kell az illeszkedési mutatókat is. A vizsgarészekkel kapcsolatban elvárt statisztikai elemzés a megbízhatóság és a vizsgarészek közötti korreláció mértékének a kiszámítása.
A Hivatal által kirendelt szakértők az akkreditációval összefüggő beadványok elbírálásakor a statisztikai mutatókat két tizedes pontossággal veszik figyelembe.
A listázottakon kívüli eljárás alkalmazása esetén csatolni kell a számítás elvégzésével és az elfogadható értékkel kapcsolatos hivatkozást.
Alapvető statisztikai mutatók és elfogadható értékeik
mutató | elfogadható értékek | irodalom |
megbízhatóság | Cronbach-féle α ≥ 0,75 | Crocker & Algina, 2006, 142. o. |
item diszkrimináció | Dm-nm > 0 | Bachman, 2004, 138. o. |
sorrendi korreláció | rs ≥ 0,80 | Nunnally & Bernstein, 265. o. |
értékelői egyetértés | Krippendorff-féle α ≥ 0,80 Cohen-féle κ ≥ 0,61 |
Krippendorff, 2004, 241. o. Fulcher, 2010, 83. o. |
A megfigyelt pontok mutatói és elfogadható értékeik
mutató | elfogadható értékek | irodalom |
itemnehézség | 0,70 ≥ p-érték ≥ 0,30 | Fulcher, 2010, 182. o. |
item diszkrimináció | Ebel-féle D ≥ 0,30 item-teszt korreláció ≥ 0,25 item-többi korreláció ≥ 0,20 |
Crocker & Algina, 2006, 315. o. Henning, 1987, 53. o. Zijmans et al., 2017, 1003. o. |
Utólagos korrekciót szakmailag indokolt végezni abban az esetben, ha az itemek minősége, illetve nehézsége nem felel meg az előírásoknak. Amennyiben a statisztikai elemzés csupán az együtt kezelt eredményekből vett minta adatait értékelte, az utólagos korrekció elvégzése előtt az összes adatot rögzíteni és elemezni kell. Az esetleges korrekció minden vizsgázói teljesítményre azonos módon érvényesítendő.
A probabilisztikus módszerek mutatói és elfogadható értékeik
módszer | elfogadható értékek | irodalom |
modell-teszt illeszkedés | R1C: df arány ≤ 1,5 | Hemker, 1996, 35. o. |
modell-item illeszkedés | -2 ≤ Mi ≤ 2 0,5 ≤ infit MS ≤ 1,5 0,5 ≤ outfit MS ≤ 1,5 |
Verhelst, Glas, & Verstralen, 1995, 14. o. Wright & Linacre, 1994, 370. o. Wright & Linacre, 1994, 370. o. |