Hver skrifaði útdráttinn? Greining á notkun gervigreindar í lokaritgerðum úr Skemmunni

Frá því að ChatGPT kom fram í lok árs 2022 hafa háskólar spurt sig hvaða áhrif þau hafa á ritgerðaskrif. Flest gögn um það koma þó úr könnunum eða frá greiningartólum sem hönnuð eru fyrir ensku. Í erindinu er fjallað um rannsókn á útdráttum lokaritgerða í Skemmunni. Gögnin ná til 22.240 ritgerða frá 2019 til 2026, með um 19.000 útdráttum á íslensku og 11.000 á ensku. Almenn greiningartól hafa ekki verið þróuð sérstaklega fyrir íslensku og því þjálfuðum við okkar eigin greiningarlíkön. Þau byggja á íslenskum og fjöltyngdum mállíkönum sem læra að greina á milli útdrátta sem skrifaðir voru fyrir tíma ChatGPT og nær 2.000 útdrátta sem 36 mállíkön sömdu upp úr texta ritgerðanna. Þröskuldar voru stilltir þannig að aðeins 1% eldri útdrátta eru flaggaðir. Með þeim hækkar hlutfall flaggaðra útdrátta á íslensku úr 2,4% árið 2023 í 42,2% það sem af er árinu 2026. Á ensku hækkar það úr 7,6% í 62,1%. Aukningin sést í flestum íslenskum háskólum og á öllum námsstigum, en munur milli fræðasviða er töluverður. Erlenda greiningartólið Pangram finnur nær alla enska útdrætti sem mállíkön sömdu, en aðeins 12% þeirra íslensku með sjálfgefnum stillingum sem hægt er að lagfæra með því að breyta flöggunarþröskuldinum. Niðurstöðurnar benda til raunverulegrar breytingar á því hvernig nemendur skrifa, en þær segja takmarkað um einstaka nemendur því þessi greiningartól sanna ekki að gervigreind hafi verið notuð.