A fogalmazásértékelés megbízhatóságának empirikus vizsgálata két értékelési modell összehasonlításával = An empirical examination of the reliability of writing assessment through the comparison of two assessment models

Juhász, Milán (2026) A fogalmazásértékelés megbízhatóságának empirikus vizsgálata két értékelési modell összehasonlításával = An empirical examination of the reliability of writing assessment through the comparison of two assessment models. ANYANYELV-PEDAGÓGIA, 19 (1). pp. 18-39. ISSN 2060-0623

Text Anyp_XIX_2026_1_2.pdf - Published Version Restricted to Repository staff only Download (2MB)

Abstract

A tanulmány a szövegalkotás értékelésének megbízhatóságát vizsgálja a magyar nyelv és irodalom középszintű érettségi vizsga kontextusában, empirikus adatokra támaszkodva. A kutatás célja annak feltárása volt, hogy a magyar nyelv és irodalom középszintű érettségi vizsgán 2024-től alkalmazott javítási-értékelési útmutató milyen mértékben biztosít objektív, következetes és az értékelők között egységesen értelmezett pontozási keretet a tanulói szövegek értékeléséhez, valamint egy alternatív, analitikus értékelési szempontrendszer alkalmazása képes-e növelni az értékelők közötti egyetértést. A vizsgálatban negyven, érettségiztetési gyakorlattal rendelkező magyar nyelv és irodalom szakos pedagógus vett részt, akik egy tanulói irodalmi elemző esszét pontoztak két eltérő értékelési rendszer alapján. Az elemzés az értékelők közötti egyetértést és a mérőeszközök belső konzisztenciáját több megbízhatósági mutató segítségével vizsgálja, emellett kitér az egyes értékelési szempontok differenciáló erejére és az értékelői mintázatok eltéréseire is. Az eredmények alapján az érettségi vizsgán alkalmazott szempontrendszerben alacsonyabb az értékelők közötti egyetértés, miközben a szempontok értelmezése számottevő variabilitást mutat. Ezzel szemben az alternatív, analitikus értékelési modell alkalmazásával magasabb egyetértési szinteket és stabilabb értékelési struktúrát lehet elérni. Az analitikus szempontsor részletesebb teljesítményleírásai hozzájárulnak az értékelői döntések következetesebb alkalmazásához, ugyanakkor az eredmények arra is rámutatnak, hogy az értékelési dimenziók további pontosítása indokolt lenne. A tanulmány következtetései alátámasztják az értékelési kritériumok világosabb meghatározásának és a standardizáltabb fogalmazásértékelési gyakorlat kialakításának a szükségességét. This study examines the reliability of writing assessment in the context of the Hungarian language and literature intermediate-level school-leaving examination, drawing on empirical data. The aim of the research was to explore the extent to which the marking and assessment guidelines introduced in 2024 provide an objective, consistent, and uniformly interpretable scoring framework for evaluating students’ written texts, and to examine whether applying an alternative analytic assessment rubric can enhance inter-rater agreement. The empirical investigation involved forty Hungarian language and literature teachers with experience in administering the school-leaving examination, who assessed the same student’s literary analytical essay using two different assessment systems. Interrater agreement and the internal consistency of the measurement instruments were analysed using multiple reliability indices, alongside an examination of the discriminative power of individual assessment criteria and differences in raters’ scoring patterns. The findings indicate that within the assessment framework currently applied in the examination, inter-rater agreement is relatively low, and the interpretation of assessment criteria shows considerable variability. By contrast, the alternative analytic assessment model yields higher levels of agreement and a more stable assessment structure. The detailed performance descriptors of the analytic rubric contribute to greater consistency in scoring decisions; however, the results also suggest that further refinement of the assessment dimensions would be justified. Overall, the study underscores the need for clearer specification of assessment criteria and the development of a more standardised approach to writing assessment.

Actions (login required)

Edit Item