Bakgrunden är en mångårig diskussion om varför vissa experiment inte går att upprepa med samma resultat, det vill säga replikera. Experiment som forskarna anade var problematiska valdes ut och jämfördes med lika många vars resultat redan visat sig vara tillförlitliga.
Studien har gjorts för att kunna utforma mer tillförlitliga experiment och är en fortsättning på en liknande studie från 2013. Då var syftet att undersöka i vilken utsträckning försöken kunde upprepas. I den studien gick 10 av 13 experiment att upprepa med samma resultat, det vill säga replikera.
- För runt tio år sedan blev vi forskare alltmer medvetna om att det fanns vissa problem med hur vi genomför våra studier. Vi har gjort en hel del sedan dess, men har fortfarande vägar kvar att gå. Denna studie är en del av den processen, säger Åse Innes-Ker, forskare i psykologi vid Lunds universitet som varit delaktig i både planering och genomförande av studien. Totalt 128 psykologforskare från 36 länder deltog.
Risk för kulturpåverkan spelade roll i urvalet
Den här gången var det primära syftet, utöver att testa ännu fler experiment, att testa dem i flera labb runtom i världen. På så sätt fick forskarna möjlighet att ta reda på vilka resultat som var kulturberoende och vilka som var universella. Forskarna valde därför medvetet sådana experiment som de anade kunde påverkas av sådana parametrar.
För att få en referens, och underlätta tolkningen av resultaten, ingick både studier vars effekter redan visat sig vara tillförlitliga och sådana där man tvärtom anade att effekterna inte var tillförlitliga. Resultaten visar att fjorton av de valda experimenten replikerade en effekt som liknade originaleffekten medan fjorton inte replikerade originaleffekten – någon effekt tycktes överhudtaget inte finnas.
Publiceringspress en del av förklaringen
Enligt studien finns inga tydliga mönster för vilken typ av forskning som misslyckades eller lyckades. Skillnaden i resultaten berodde inte heller på vilket laboratorium eller land där experimentet genomfördes. Av de experimenten som misslyckades var orsaken inte skillnader i kultur eller geografi.
Enligt Åse Innes-Ker handlar misslyckandena till viss del om tur eller otur. Inom psykologiforskningen finns mycket ”brus”, det vill säga en stor mängd parametrar som kan påverka. Exempel är individuella skillnader mellan deltagare, känslighet hos mät-instrumenten, och hur välutvecklad teorin bakom experimenten för närvarande är.
– En bidragande orsak till att experimenten inte kontrollerats mer, handlar om att forskare känner krav på att publicera något. Och chansen till publicering ökar om det går att visa en effekt. Man kan, om man vill, tala om ett systemfel här, säger Åse Innes-Ker.
Ett antal försök inom ”social priming” gick inte att upprepa med samma resultat. Detta forskningsfält utgår från antagandet att tankar kring ett område (exempelvis värme) kan påverka associationer kring ett annat, vagt närliggande (exempelvis global uppvärmning). Problematiken med dessa experiment har forskarna varit medvetna om sedan tidigare.
Lärdomar från studien hittills
Genomgången har gett forskarna större insikt i vilka effekter som kan upprepas över hela världen och vilka som är mer känsliga för var de görs. Forskarna har också fått upp ögonen för vilka typer av effekter som är extra sårbara för tillfälligheter.
– Samtidigt är en viss brist på replikerbarhet och reproducerbarhet en naturlig, och ofrånkomlig, del av tidig forskning, inte minst inom nya kunskapsfält. Vi arbetar med att bli bättre på att replikera och har hållit på med detta i sju år nu, säger Åsa Innes-Ker.
Forskare bakom originalstudierna har ofta varit delaktiga i replikationsstudierna för att bidra med analys och förslag på förbättringar.
Initiativtagare till studien är organisationen Center for Open Science.
Länk till vetenskaplig artikel i Advances in Methods and Practices in Psychological Science. psyarxiv.com/9654g