A tanárok igen hamar felfedezték, hogy a számítógépek terjedése a munkájukat sokban megkönnyítheti – például a segíthet a tesztek elkészítésében és javításában. Arra viszont sokáig nem gondolhattak, hogy a számítógép a szöveges dolgozatok javítását is elvégzi – legalábbis a legutóbbi időkig. Míg a magyar terminológia szerint az esszé tudományos, művészeti vagy politikai kérdésekkel foglalkozó, de szubjektív, szépirodalmi eszközökkel is élő, formailag kötetlen műfaj. Ezzel szemben az angolszász esszé érvelő műfaj: az esszéíró két szemben álló álláspontot ismertet, és az egyik mellett érvel, miközben a téma szempontjából fontos tényeket is ismerteti. Az Egyesült Államokban azonban már intenzíven folyik az úgynevezett esszéjavító ás -értékelő szoftverek tesztelése, és vannak olyan programok is, melyek a szöveges válaszok értékelésére is képesek.

They had a dream....
(Forrás: Wikimedia Commons / Library of the London School of Economics an)

Válaszok és választások

A szöveges válaszokat feldolgozó szoftverek a választ úgy értelmezik, hogy a benne szereplő szavak között igyekeznek értelmi viszont teremteni. Így például az „a szív vért pumpál” szerkezetből azonosítják, mikről is van szó (a szív nevű szervről és a vér nevű anyagról), és milyen viszony van közöttük (az egyik pumpálja a másikat – természetesen a szoftver azt is azonosítja, melyik melyiket). A program egy táblázatból keresi ki, hogy mely viszonyok felelnek meg a valóságnak, és melyek nem.

A diákok nagyon szeretik a rendszert, hiszen emailben elküldik munkájukat, és egy percen belül máris megkapják az eredményt. Sőt, arra is lehetőségük van, hogy a hibákat kijavítsák, és újra elküldjék a szöveget. A módszer az oktatásban is hasznos: az egyik ilyen kísérletben részt vett diákok a 12,5%-kal magasabb eredményt értek el, mint a kísérletben részt nem vevő társaik.

Az oldal az ajánló után folytatódik...

Esztelen esszék?

Egy másik hasonló kísérletben esszéket értékelt a program. Az ezt a programot használó diákok mintegy háromszor annyit írnak, mint társaik, és ennek köszönhetően szintén gyorsabban fejlődnek. A program azért is motiváló, mert a diákok a munkát inkább játéknak fogják fel, és a negatív értékeléseket sem büntetésként élik meg.

A megfigyelések szerint ezek a rendszerek sokkal következetesebben osztályoznak, mint az emberi értékelők, már csak azért is, mert döntéseiket a fáradtság és a hasonló tényezők nem befolyásolják. De ami ennél is fontosabb: a gépi értékelés eredménye általában megegyezik az emberi értékelésével. Egy kísérletben kilenc esszéértékelő szoftvert használtak: ezek a szókincs gazdagságát és a nyelvhelyességet figyelték, és ugyanazon szövegekre hasonló osztályzatokat adtak – ezek mindig közel álltak az emberi kiértékelőkhöz által adott értékelésekhez.

Unokáink sem fogják látni?
(Forrás: Wikimedia Commons / WF )

Ugyanakkor vannak, akik kritizálják az ilyen programokat. Ezek ugyanis képtelenek valóban értelmezni a szöveget, helyette formális kritériumokra adnak pontot. Ha például valaki három példát hoz, az egy retorikai formulát használ, és ezért pontokat kaphat. Ha a diák a nagy helyett a hatalmas, gigantikus, jókora, terjedelmes stb. szavakat használja, szintén többletpontot nyer. Még azzal is pontokat lehet szerezni, ha valaki hosszú mondatokat ír, ellenben az érvelés szerkezetét a szoftver egyáltalán nem képes figyelembe venni.

Ennek köszönhető, hogy a diákok leginkább olyan külsődleges stílusjegyekre szoknak rá, melyeket a szoftver ugyan nagyra értékel, de az esszé minőségét nem befolyásolják – a rossz stílusról pedig úgy kell leszoktatni őket. Sőt, a programokat tökéletesen át lehet verni ügyesen megformált, de teljesen értelmetlen mondatokkal is.