Istraživanja pokazuju – prevare u nauci!

Pre nekoliko godina, časopis Nature je objavio studiju koja je pokrenula niz tekstova o krizi u nauci. U ovoj studiji je Monja Beker pitala oko 1500 istraživača da li su uspeli da ponove rezultate prethodnih, već objavljenih istraživanja. Iako se procenat razlikovao u zavisnosti od naučne discipline, u proseku je njih 70% izjavilo da su dobili drugačije rezultate od onih koji su objavljeni u nekom od međunarodnih časopisa, a čak polovina njih je priznala da nisu uspeli da ponove rezultate sopstvenih istraživanja. Ono što je posebno pokrenulo javnost da govori o krizi u nauci bio je podatak da je svega 23% ispitanika uopšte pokušalo da objavi suprotne nalaze u naučnim časopisima, dok polovina od toga nije uspela u svojoj nameri – naučni časopisi su ih više puta odbijali.

Kada se pretraži naučna literatura, može se primetiti da se veoma mali broj nauka bavio krizom replikabilnosti u svojoj oblasti. Najpoznatije studije koje su pokušale da provere rezultate prethodnih istraživanja zabeležene su u psihologiji i tretmanu kancera. Analizom 100 psiholoških časopisa sa najvećim petogodišnjim impakt faktorom, na uzorku od 321.411 naučnih članaka pronađeno je da se u manje od 1% radilo o replikacijama nekih već objavljenih studija i da su polovinu tih replikacija sproveli autori originalnih studija.

Zašto je to tako? Da bismo imali poverenje u rezultate koje je neki istraživač dobio, potrebno je da na isto istraživačko pitanje, pod istim uslovima možemo da dobijemo iste rezultate kao u originalnom istraživanju. Međutim, problem kod replikacija je to što se one u proseku 4 puta ređe citiraju od originalnih naučnih nalaza.

 

Većina originalnih studija ne može se ponoviti

U istraživanju u kojem je ispitano 288 urednika prestižnih naučnih časopisa, njih čak 94% je izjavilo da „studije replikacije nisu u skladu sa uređivačkom politikom časopisa”, da „nisu vredne objavljivanja” i da „predstavljaju trošenje prostora”. Međutim, to što se studije koje ponavljaju neko prethodno istraživanje ređe i teže objavljuju, ne bi bio nikakav problem da te malobrojne studije ne pokazuju da se većina originalnih studija ne može ponoviti.

Brajan Nosek je, predvodeći tim od 269 istraživača iz 36 zemalja sveta, pokušao da ponovi 100 studija koje su 2008. godine objavljene u tri vrhunska međunarodna psihološka časopisa. Podatak koji su dobili bio je poražavajuć: u originalnim studijama 97% rezultata bilo je statistički značajno, dok je u replikacijama statistički značajnih nalaza bilo svega 36%. U manje od 30% studija iz socijalne, odnosno manje od 50% iz kognitivne psihologije dobijeni su rezultati kao u originalnim studijama.

Koliko je izostanak replikacija u nauci opasan, govori podatak da se od ukupnog broja objavljenih replikacija u onkologiji, u svega 26% njih potvrđuju nalazi dobijeni u originalnim člancima, dok je u slučaju studija tretmana kancera taj procenat svega 11%. U naučnim člancima i dalje možemo da čitamo brojne nalaze koji ne mogu da se ponove, samo to niko nije želeo ili mogao da objavi.

Kada je Bekerova upitala onih 1500 istraživača zbog čega veliki broj rezultata u već objavljenim studijama ne može da se ponovi, više od polovine njih je spomenula selektivno prijavljivanje rezultata, pritisak na istraživače da publikuju, akademske prevare i druge metodološke i statističke manjkavosti originalnih studija.

 

Harking i efekat fioke

Osim što se replikacije slabije citiraju i teže objavljuju, teško se objavljuju i istraživanja u kojima istraživači nisu potvrdili početnu hipotezu. U nauci su neke teme, određeni rezultati i određeni autori objavljiviji od onih drugih. To dovodi do selektivnog prijavljivanja rezultata. Istraživači će pre u časopise slati članke kojima su potvrdili hipotezu koju su postavili, a urednici će biti skloniji da dovode u pitanje rezultate istraživanja koji nisu u skladu sa njihovim očekivanjima.

U studiji koju je sproveo Fonelli analizirajući 2434 članka objavljena u različitim naučnim disciplinama, dobijeno je da je u oblastima u kojima je registrovan najmanji broj potvrđenih hipoteza taj procenat prelazio 70%, a da je u nekim naukama procenat potvrđenih početnih hipoteza i preko 90%. U nauci se ovo naziva efektom fioke. Nalazi koji ne potvrđuju očekivanja autora, recenzenata i urednika ili nalazi koji su u suprotnosti sa nekom visokovrednovanom teorijom u datoj oblasti, najčešće će završiti u fioci i nikada neće biti objavljeni.

Osim efekta fioke, u nauci je poznat i efekat pod nazivom harking (hypothesizing after the results are known), koji se odnosi na praksu da istraživači prvo obrade rezultate, a zatim odatle odaberu određene rezultate, za koje naknadno smišljaju teorijski okvir i hipoteze, koje na kraju budu potvđene rezultatima koje su znali unapred.

Budući da su istraživači pred izazovom da moraju da produkuju originalne naučne studije, koje, da bi bile objavljene, moraju da potvrđuju pretpostavke određenih teorija, u nauci se javlja veliki broj lažnih potvrda početnih hipoteza.

Rezultati istraživanja pokazuju da bi se, u slučaju da časopisi prestanu da favorizuju rezultate kojima se potvrđuje hipoteza i da počnu da objavljuju i negativne rezultate, broj lažno potvrđenih hipoteza smanjio za 30%. Međutim, praksa da prednost pri objavljivanju imaju rezultati koji potvrđuju ono što očekujemo dovodi do akademskog varanja, manipulisanja metodologijom i statistikom i selektivnog izbora rezultata da bi se dobila potvrda koja se očekuje.

 

Prestižni časopisi i neverovatni nalazi

U meta-analitičkoj studiji koja se bavila prevarama u nauci, dobijeni su sledeći podaci – oko 2% istraživača je priznalo da je fabrikovalo rezultate istraživanja, 34% njih da je modifikovalo rezultate kako bi dobili željene rezultate, 15% njih da znaju da su njihove kolege fabrikovale ili falsifikovale rezultate istraživanja, a čak 72% ispitanih naučnika je izjavilo da znaju da su njihove kolege manipulisale podacima kako bi dobili ono što su prethodno očekivali.

Osim originalnih studija sa potvrđenim hipotezama, prednost u objavljivanju imaju i studije koje donose neki neočekivani ili potpuno neverovatan nalaz, za koji se očekuje da će privući pažnju naučne publike. Tako u najprestižnijim naučnim časopisima može da se nađe podatak da lepi britanski muškarci imaju više ćerki, da desetominutno gledanje u američku zastavu povećava šansu da ćete za osam meseci glasati za republikance, da vas petominutno držanje šolje sa toplim čajem čini boljom osobom, kao i da će vas dve minute svakodnevne primene supermen-poze učiniti samopouzdanijim.

Neke od ovih studija imaju i po nekoliko desetina hiljada citata, bile su teme brojnih medija, a TEDTalk o supermen pozi ima oko 40 miliona pregleda. Zajedničko ovim naučnim rezultatima je da su svi objavljeni u najprestižnijim naučnim časopisima i da nijedan od ovih nalaza nije potvrđen u studijama koje su ih replicirale. Reč je o lažnim nalazima, koji su naučnim časopisima koji su ih objavili, zbog velikog broja citata, doneli samo korist i nimalo štete.

Nauka je u krizi, što je samo po sebi veliki problem. Veliki broj studija u koje verujemo ne mogu se ponoviti, a studije koje ih opovrgavaju ne mogu da se objave. Ipak, ono što najgore govori o naučnicima je da i nakon što se objave studije koje opovrgavaju originalnu studiju, originalna studija i dalje biva više citirana od studija kojima je opovrgnuta. Nauka kakvu je stvaraju naučnici, a to je jedina nauka koja je moguća, nije lišena predubeđenja iako je upravo to ono što joj po definiciji ne pripada.

 

Za FakeNews Tragač,

Milica Lazić
istraživač saradnik na Odseku za psihologiju
Filozofskog fakulteta u Novom Sadu