Replikációs krizís jelensége a mesterséges intelligencia területén használt osztályozók esetében

Abstract

A replikációs vagy reprodukálhatósági krízis lényege, hogy a tudományos közleményekben leírt kísérletek vagy nem ismételhetők meg, vagy megismétlésük nem hozza a publikált eredményeket. Közel húsz éve jelentek meg az első írások, amelyek erre a jelenségre és annak káros hatására hívták fel a tudományos közösség figyelmét. A helyzet komolyságát többek között az is mutatja, hogy egy tanulmányban 350 uniós projekt esetén vizsgálták meg a reprodukálhatóságot. Az eredmények alapján a szerzők joggal jelentették ki, hogy a reprodukálhatósági válság jelen van a tudományban. Ennek egyik oka az informatika területén a forráskódok, szoftverek és negatív eredmények publikálásának elmaradása [1]. Annak ellenére, hogy minden kutató szerint a reprodukálhatóság kiemelten fontos, hiszen ez a tudományos eredményekkel kapcsolatos alapvető elvárások egyike, a gyakorlatban mégis háttérbe szorul. Példaként említsünk meg egy tanulmányt, amely a rákkutatással kapcsolatos kutatások reprodukálhatóságát vizsgálja. Sajnos kiderül belőle, hogy az eredmények mindössze 11%-a reprodukálható [2]. Ebben a tanulmányban bemutatjuk, hogy a reprodukálhatósági krízis az informatika, így a mesterséges intelligencia területén is jelen van [3]. Sőt, bizonyos értelemben a mesterséges intelligencia hozzá is járul a problémához, ezért kiemelten fontos, hogy erre a területre fókuszálva hívjuk fel a szakma figyelmét [4]. Ennek következtében különös figyelmet kell fordítani a mesterséges intelligencia területén végzett kutatásokra és az azokból származó eredmények ellenőrzésére, kritikai vizsgálatára. Ez különösen fontos akkor, amikor már a hétköznapi életben is használjuk a mesterséges intelligencia vívmányait, például a ChatGPT-t vagy ehhez hasonló rendszereket. Ezeket a rendszereket gyakran alkalmazzák szakmai kérdések megválaszolására, annak ellenére, hogy válaszaik nyelvi modelleken alapulnak, így nem szakmailag megalapozott következtetéseket, hanem nyelvi következtetéseket adnak.