LLM-ek alkalmazhatósága beadott feladatok kiértékelésében

Abstract

Bevezetés. A mesterséges intelligencia (MI) rohamos fejlődése az oktatási szektort sem hagyta érintetlenül, különösen a számonkérések és az értékelések támogatása és automatizálása terén. A nagy nyelvi modellek (LLM-ek), a GPT-alapú rendszerek ígéretes lehetőségeket kínálnak a szöveges feladatok kiértékelésére, de alkalmazhatóságuk és megbízhatóságuk továbbra is kutatás tárgyát képezi [1]. Jelen tanulmány célja, hogy megvizsgálja, milyen mértékben alkalmasak az LLM-ek az instrukciók alapján elvégzett szövegszerkesztési feladatok helyességvizsgálatára, és milyen mértékben helyettesíthetik vagy egészíthetik ki az emberi értékelést. Kutatási háttér. A mesterséges intelligencia oktatás és számonkérés támogatási alkalmazása és elemzése szerteágazó, dinamikusan fejlődő kutatási irány [5]. A számonkérések területén kiértékelés tekintetében a feleletválasztós tesztek kisebb kihívást jelentenek, ezek automatikus generálása is számos kutatás célja [4]. Az esszé jellegű feladatok automatikus kiértékelése már korábban is az oktatáskutatás fókuszában állt. Az Automated Essay Scoring (AES) rendszerek fejlődésével párhuzamosan az LLM-ek is egyre nagyobb szerepet kapnak az írásbeli feladatok kiértékelésében [6], a szabad szöveges dolgozatok automatikus értékelése aktív kutatási terület [3]. Bár az MI-alapú kiértékelési módszerek bizonyítottan hatékonyak az alapvető nyelvi struktúrák, a helyesírás és a mondatszerkesztés ellenőrzésében, a komplexebb szemantikai és érvelési összefüggések felismerése továbbra is kihívás számukra [2]. Az instrukciók alapján végrehajtott szövegszerkesztési és -formázási feladatok értékelése nem ilyen aktívan kutatott téma, ennek keretein belül vizsgálom a generatív MI modellek alkalmazhatóságát.