Validating achievement tests of the English course: the use of the English part

LTŠio straipsnio tikslas – nustatyti pasiekimų testų turinio validumą, kuris rodo, ar anglų kalbos pasiekimų testų kalbos (gramatikos ir žodyno) vartojimo dalies turinys atitinka programoje numatytus reikalavimus. Tyrimo tikslams pasiekti buvo išanalizuoti aštuoni kalbos vartojimo testai (2018–2019 ir 2019–2020 m. m.). Jie buvo nagrinėjami dvejopai: pagal užduočių tipus ir pagal tikrinamus gebėjimus (gramatiniai, leksiniai, sintaksiniai). Analizė atskleidė, kad atvirojo ir pusiau atvirojo tipo užduotys buvo taikomos gana dažnai. Tačiau tam tikros uždarojo tipo užduotys buvo tendencingai įtraukiamos į testus. Tyrimo metu nustatyta, kad daugumos nagrinėtų testų turinys sutampa su egzamino programa. Tačiau reikia pabrėžti, kad kai kuriuose testuose trūko tokių tikrinamų gebėjimų kaip įgūdžių taisyklingai vartoti modalinius veiksmažodžius, sąlygos sakinių struktūras, santykinius sakinius, idiomas. Rezultatai parodė, jog sintaksiniai ryšiai ir konstrukcijos buvo gana plačiai testuojamos, nes atlikdami kiekvieną užduotį testuojamieji turėjo pritaikyti elementarias sakinių konstrukcijos žinias. Vis dėlto anglų kalbos pasiekimų testų kalbos vartojimo dalies turinys apskritai turėtų sulaukti daugiau dėmesio, todėl vertėtų egzamino programoje padaryti tam tikrus pakeitimus ir ją patobulinti. Reikšminiai žodžiai: testo validumas, kompetencija, pasiekimų testai, specifikacija, deskriptorius, kokybinis vertinimas. [Iš leidinio]

ENThis study advocates for the central quality of the language tests and their validity and aims to investigate the content validity of the use of the English part of the achievement tests administered to the first- and second-year students of General Jonas Žemaitis Military Academy of Lithuania. The tests were given in the form of the final examination of the English language course in order to find out if the papers’ content corresponded to the descriptors of the European language levels specified in the Common European Framework of Reference for Languages and the Europass on which the course syllabus was based. Seeking to examine the content validity, the study analyses the papers in terms of the task types and linguistic – grammatical and lexical – knowledge tested. The analyses of the papers revealed that although both open and semi-open tasks and closed tasks were present in the papers and specifications, the former were dominating for being more effective. Some of the papers lacked certain grammatical and lexical aspects to be tested which were mentioned in the specifications, such as pronouns, relative clauses, conditional clauses, modals, derivatives and collocations. The syntactic competence was tested in all the papers. As a result, the content validity of these papers can be partially supported, though in a general view, it can be inferred that the papers had the content validity, i.e. they measured what is supposed to be measured. Therefore, these findings suggest that the content of the achievement tests might be revised and may contribute to further research of validity in language testing. Key words: test validity, competence, achievement tests, specifications, descriptors, qualitative assessment. [From the publication]