Szórakoztató kutatás-módszertani sorozatunkban a legutóbb a mérések érvényességéről írtunk. Akkor az derült ki, hogy akkor érvényes egy mérés, ha tényleg azt mérjük vele, amit szerettünk volna. De nagyon sokféleképpen lehet érvénytelen mérést előállítani...

Pügmalión és Galatea. A kísérletvezető néha csodát vár
(Forrás: Wikimedia Commons)

Mi tehetünk róla?

Legutóbb azt ígértük, hogy hanyagoljuk a lövöldözést, de azért némi fegyveres harc csak becsúszott, habár nácik most nem lesznek. Agresszív példáinkért ezúton is elnézést kérünk olvasóinktól...

Arra már mutattunk pár példát, mik rontják a mérés külső érvényességét, azaz azt, hogy mennyire általánosíthatunk a kísérleti személyeinkről a teljes népességre. Most továbbmegyünk és megnézzük, hogyan lehet a belső érvényességet elszabotálni!

A belső érvényesség nagy vonalakban annyit tesz, levonhatjuk-e a következtetést, hogy tényleg a mi beavatkozásunk okozta-e a mért változást. Azt gondolhatnánk, egy laborkísérletben könnyű kizárni mindenféle egyéb tényezőt, de ez sincsen feltétlenül így.

Történelmi tények?

A mérésünktől függetlenül bekövetkezett, de arra ható események könnyen befolyásolhatják a mérés végeredményét, nekünk pedig fogalmunk sem lesz, mi okozott mit. Ez akár még állatkísérletekben is igaz lehet – Barkóczi Ilona pszichológus-kutató önéletrajzi visszaemlékezésében írja, hogy az ötvenhatos forradalom kitörésekor próbált bejutni az intézetbe, hogy folytassa az épp zajló patkánykísérletét. Azonban összefutott a főnökével és az elküldte, hogy menjen inkább a hazát védeni. Így is tett, a patkányok pedig elpusztultak. Ebben az esetben nem a kísérleti beavatkozás okozta a patkányok vesztét, hanem a forradalom...

Szétlőtt tank a Móricz Zsigmond körtéren
(Forrás: Wikimedia Commons)

A példa szélsőséges, de a hasonló hatások finomabb formájukban igen észrevétlenek is lehetnek. Szintén valós példa következik: lehet, hogy résztvevőink az egyik kísérleti feltételben azért teljesítettek rosszabbul, mint a másikban, mert épp besütött a szobába a nap, és ez zavarta őket.

Most ezt muszáj?

A legtöbb hasonló mérést önkénteseken végzik. (Szerencsére!) Ez azonban problémát is okozhat, ha sokan menet közben úgy döntenek, ők mégis inkább kiszállnának. Például – ez most teljesen fiktív példa – ha kísérleti személyeinknek nagyon idegesítő szóvicceket kell hallgatniuk, és java részük egyszerűen elmenekül, akkor a fennmaradó résztvevők adatai alapján akár azt a következtetést is levonhatjuk, hogy a szóviccek egyáltalán nem is idegesítőek.

Orvosi kísérletekben komoly gondot okozhat, ha az elviselhetetlen mellékhatások miatt lépnek ki a résztvevők a vizsgálatból, és a kutatók erről nem szereznek tudomást. Még rosszabb, ha embereink nem mernek kilépni a vizsgálatból, hanem inkább hallgatnak – ez történhetett a közelmúlt egyik nagyobb gyógyszerfiaskója esetében is. Az amerikai hadsereg által a malária megelőzésére kifejlesztett meflokin (Lariam) súlyos neuropszichiátriai mellékhatásokat okozhat: szedői hallucinálhatnak, alvászavaraik és öngyilkos késztetéseik támadhatnak. A katonák évtizedeken át panaszkodtak, de senki sem vette őket komolyan. Csak a 2000-es évek elején készültek hatásvizsgálatok civil önkénteseken: a résztvevők kétharmada jelentett a kutatóknak hasonló mellékhatásokat!

Mozambiki tájkép. Ebben az országban gyakori a malária
(Forrás: Wikimedia Commons)

Elegük van

Az ismételt mérés önmagában vezethet teljesítményjavuláshoz: a résztvevőknek a gyakorlás miatt jobban megy a kísérleti feladat. Az ellenkezője is igaz lehet: ha sokáig piszkáljuk őket ugyanazzal, megunják és romlik a teljesítményük.

Meglehetősen furcsa probléma is akadhat: mi van akkor, ha az okság iránya nem egyértelmű? Azt gondolnánk, amelyik hatás előbb volt, az okozza a másikat, de az időbeli sorrendet nehéz lehet megállapítani – sorozatunkban korábban már mutattunk több hasonló példát, amikor a harmadik változó problémájáról volt szó. Egy figyelmesen megtervezett kísérletben azért az ilyesmi nem igazán okoz gondot, de sosem lehet tudni... A következő, belső érvényességet rontó hatás viszont igencsak kellemetlen és a legsterilebb körülmények között is előállhat!

Önbeteljesítő jóslatok

Ezt a jelenséget olykor Pygmalion-hatásként is emlegetik. Pügmalión görög mitikus alak és a történetének modern adaptációja, G. B. Shaw Pygmalion című színdarabja után. A mű musicalváltozata, a My Fair Lady még közismertebb.

Még ijesztőbb példa az érvényesség korlátaira a felfedezőiről elnevezett Rosenthal-Jacobson-hatás. Ez annyit tesz, hogy minél többet várnak valakitől, annál jobban teljesít! (Fordítva is igaz: akitől kevesebbet várnak, rosszabbul teljesít.) Robert Rosenthal és Lenore Jacobson amerikai kutatók egy általános iskolában végezték el a következő kísérletet: felvettek a diákokkal egy IQ-tesztet, majd azt mondták a tanáraiknak, hogy ez alapján besorolták a gyerekeket a szerint, mekkora fejlődés várható tőlük a következő tanévben. A teszt valódi volt, a besorolás viszont véletlenszerű. Az év végén megismételték az IQ-tesztet és azt találták, hogy azok a diákok, akiktől a tanárok fejlődést vártak, tényleg jobban fejlődtek. (Ma már egy ilyen kísérlet valószínűleg nem igazán menne át az etikai bizottságon, de a hatvanas években ez még belefért.)

A kísérletvezető elvárásai bármilyen emberekkel kapcsolatos mérést érvénytelenné tehetnek. Sőt a kutatók elképzelései nemcsak az emberek, hanem akár az állatok viselkedését is befolyásolhatják! Nem véletlen, hogy a gyógyszerkísérletek szabványai szerint a kísérletvezető sem tudja, ki kapja a gyógyszert és ki a hatóanyag nélküli tablettát...

Az oldal az ajánló után folytatódik...

Segítség, hogyan mérjek?

Hogyan lehet a belső érvényességet magasan tartani? Sajnos erre nincsen csodamódszer. Mint a fentiekből is láthattuk, igen sokféle különböző tényező fenyegeti a mérésünk belső érvényességét; ez kicsit afféle „mindent bele” kategória a módszertanban. Sok tényezőről terjedelmi okokból szót sem tudtunk ejteni, csak néhány példát ragadtunk ki.

Ráadásul az sem biztos, hogy feltétlenül érdemes a belső érvényesség maximalizálására törekedni! Sok olyan mérés van, ami nem mond semmit az okságról, mert nem is ez a célja – csak együttjárásokat vizsgál. Persze mondhatjuk, hogy a hagyományos kísérlet mindennél feljebb való (vannak, akik tényleg így gondolják!), de azért az emberekkel foglalkozó tudományokban rengeteg olyan eszközre és módszerre is szükség van, ami a kísérleti módszer keretei közé igen nehezen gyömöszölhető be.

Sorozatunkban legközelebb terveink szerint a mérések megbízhatóságáról szólunk!

További olvasnivaló, felhasznált irodalom

Croft, AM (2007): A lesson learnt: the rise and fall of Lariam and Halfan. Journal of the Royal Society of Medicine, 100(4): 170–174.

Bodor-Lányi-Pléh (1998): Önarckép háttérrel. Pszichológusok önéletrajzi írásai. Budapest: Pólya.

Taylor, C. S. (2013): Understanding Statistics: Validity and Validation. Oxford: Oxford University Press.