HuGME ‒ kiértékelő rendszer a generatív nyelvmodellek mérésére, különös tekintettel a nyelvi készségükre

A generatív nyelvmodellek (LLM-ek) feladatmegoldó képességei lenyűgözőek, ugyanakkor az sokszor kevésbé világos és jól meghatározott, hogy hogyan teljesítenek egy adott nyelv – jelen esetben a magyar – használatában. A Nyelvtechnológiai Kutatócsoportban ezért kifejlesztettük a HuGME rendszert, amely egységes, automatizált keretrendszerben értékeli többek között a modellek nyelvi készségét, világismeretét, feladatmegoldó képességét. A HuGME számos szempont alapján – grammatikalitás, helyesírás, szövegkomplexitás, toxikusság, relevancia stb. – értékeli ki a modelleket. Ezzel objektív és reprodukálható képet kapunk arról, hogy az egyes generatív modellek mennyire „beszélik” a magyart, támogatva a további fejlesztést és a mesterségesintelligencia-eszközök okos, biztonságos felhasználását.