Britanski naučni establišment je aprila 2015 godine organizovao jednodnevni simpozij u Londonu, na koji su pozvani istaknuti naučnici, urednici vodećih naučnih časopisa i državni službenici za nauku. Cilj simpozija je bio pokušaj identifikacije uzroka koji su doveli do krize u jednom segmentu naučnog procesa – biomedicinskim naukama. Učesnici simpozija su zamoljeni da slijede Chatham House Rules – debatni model za analizu kontroverznih tema, prvi put korišten 1927 godine od strane Royal Institution for International Affairs, čija je kancelarija bila u zgradi Chatham House u Londonu. Prema pravilima Chatham House, učesnicima je dozvoljeno da javno iznose samo bazične informacije sa debate, ali bez navođenja izvora ili korištenja materijala prezentiranog na simpoziju.
Doba lažnih otkrića
Odmah poslije simpozija urednik vodećeg medicinskog časopisa, The Lancet, Richard Horton, je ukratko opisao simpozijsku debatu pridržavajući se propisanih pravila. Započeo je konstatacijom “da nešto nije u redu sa jednim od najvećih ljudskih dostignuća.” Oko polovina naučnih radova u biomedicini nisu tačni! Biomedicina je postala žrtva loše prakse velikog dijela učesnika u naučnom procesu. Nedovoljno veliki uzorci, pridavanje značaja slabim efektima, rasprostranjeni sukobi interesa, a iznad svega opsesija praćenjem sumnjivih modnih trendova, su doprinijeli da biomedicinske nauke uđu duboko u mračnu aveniju iz koje je teško izaći. U ovoj aveniji vladaju loše istraživačke navike. “U nastojanju da ispričaju ubjedljivu priču, naučnici prečesto oblikuju rezultate da bi se uklopili u željenu teoriju svijeta. Ili naknadno postavljaju hipoteze da bi odgovarale njihovim rezultatima.”
Jedan od glavnih uzroka za ovakvo stanje u biomedicinskim istraživanjima je nedostatak podsticaja da se traga za istinskim otkrićima. Umjesto ovoga, vlada snažni podsticaj da se rezultati istraživanja objave po svaku cijenu – u naučnim časopisima cvjetaju lažna otkrića (false discoveries). Horton je predložio nekoliko mjera za prevazilaženje krize. Uprkos korisnosti predloženih korektivnih mjera – od uvođenja ekvivalenta Hipokratove zakletve u nauku, preko neophodne demonstracije da su rezultati koji se šalju u štampu ponovljivi, pa do primjene bolje obrazovne prakse da bi se postigla neophodna rigoroznost u eksperimentalnoj praksi i analitici rezultata – njegov zaključak ostaje oprezan. Ključni akteri su svjesni ozbiljnosti problema, ali niko nije spreman da napravi prvi korak u čišćenju sistema.
Šta je sa ostalim naukama? Jednostavan odgovor je i da ostale nauke pate od sličnih problema. Godinu dana poslije Hortonovog članka, vodeći naučni časopis, Nature, je objavio anketu urađenu na uzorku od blizu 1600 naučnika svrstanih u šest grupacija: hemija, fizika i inženjerstvo, geologija i ekologija, biologija, medicina i ostale nauke. Anketa je testirala jedan od temelja naučnog metoda: ponovljivost eksperimentalnih rezultata (Is there a reproducibility crisis? Nature, 26. May 2016, str. 452-454). Vrlo pojednostavljeno, na pitanje da li postoji kriza ponovljivosti eksperimentalnih rezultata, 52% anketiranih naučnika je odgovorilo da postoji “signifikantna kriza”, 38% da postoji “kriza”, a samo 3% da “nema krize”, dok je ostatak od 7% odgovorio sa “ne znam”. Detalji analize otkrivaju suptilne razlike između pojedinih naučnih grupacija. Većina anketiranih naučnika je identifikovala tri uzroka krize ponovljivosti: loše eksperimentalne postavke, lošu statistiku i loše mentorstvo. Sve ovo je proizvod sistemske situacije: veliki broj naučnika se bori za relativno mali dio finansijskog kolača, pa su prisiljeni na (a) objavljivanje rezultata po svaku cijenu i (b) frekvenciju objavljivanja koja ne dozvoljava rigoroznu provjeru rezultata, što neminovno povećava broj lažnih otkrića.
Mane industrijske nauke
U ovom kontekstu postaje jasnije šta je Sir Fred Hoyl, briljantni astrofizičar i još bolji pisac naučne fantastike, mislio kada je prije 60 godina rekao “ako nauku hranite velikim novcem ona postaje lijena i debela.” Drugim riječima, industrijska nauka ima svoju logiku koja se ne poklapa sa idealizovanim modelom nauke za koji znamo, na primjer, od filozofa nauke Karla Poppera. Filozof nauke, Donald T. Campbell, je slično Hoylu, predvidio slabosti industrijskog modela nauke. Neki ovo njegovo predviđanje danas zovu Campbellov zakon, koji glasi:
Ako se naučnici podstiču da uvećaju broj objavljenih radova, oni će modifikovati njihove metode da bi proizveli najveći mogući broj objavljivih rezultata, a ne najrigoroznijih istraživanja.
Slično mišljenje je zastupao britanski ekonomista Charles Goodhart, danas poznato kao Goodhartov zakon: “Kad mjera postane meta, prestaje da bude dobra mjera.” Sve ovo znači da industrijski naučni sistem zanemaruje istinska otkrića. U industrijskom sistemu istinska otkrića postaju sekundarna. Primarni cilj aktera naučnog procesa, ili komponenti industrijskog sistema nauke, dakle naučnika, jeste egzistencijalni cilj: prosto preživljavanje kroz borbu za dobijanje i zadržavanje akademskih pozicija po svaku cijenu izražen engleskom frazom publish or perish (objavi ili nestani).
Moderna nauka je ultra-konkurentan posao. U američkom univerzitetskom sistemu oko tri četvrtine zaposlenog akademskog osoblja su na privremenim ugovorima. Dobijanje stalnog zaposlenja je premija. Da biste dobili stalni posao, i isti zadržali, morate zadovoljiti standarde metrike koju primjenjuju svi univerziteti: od broja publikacija, njihove citiranosti, pa do famoznong Hiršovog indeksa i količine istrživačkog novca koji morate osvojiti u žestokoj utakmici sa drugim naučnicima.
Međutim, u skladu sa Campbellovim i Goodhartovim zakonima, i broj publikacija i indeksi se lako mogu manipulisati. Odličan primjer je fiktivni naučni anti-junak, Ike Antkare. Kompjuterski naučnik sa univerziteta u Grenoblu, Cyril Labbé, je kreirao 102 lažna naučna rada korištenjem kompjuterskog programa Scigen. Svi lažni radovi su citirali jedni druge. Labbé je onda radove pohranio u Google Scholar bazu podataka i autorstvo pripisao Ikeu Antkareu. Google Scholar je za kratko vrijeme dodijelio Ikeu vrijednost h-indeksa od oko 100, čime je ovaj fiktivni lik nadmašio Alberta Einsteina! (Ikeovi “radovi” su u međuvremenu uklonjeni sa Google Scholar.) Na sličan način, grupa španskih naučnika je namjernim kreiranjem lažnih radova dramatično podigla h-indekse njihovih mlađih kolega. Iako su ova dva primjera bazirana na ilegalnoj praksi, postoji cijeli niz metoda koje detaljno opisuju profesionalni naučnici u svojim blogovima, kako vještački naduvati vlastiti h-indeks, ili povećati broj publikacija, legalno i na strateški način, u svrhu kreiranja metrike koja je u liniji sa egzistencijalnim ciljem.
Matematičko-evolucioni model dvojice sociologa nauke (Paul E. Smaldino i Richard McElreath) potvrđuje da se metrika može naduvati legalno i sugeriše darvinistički procvat lažnih otkrića prepoznatljiv u naslovu njihovog rada: Natural selection of bad science (Royal Society Open Science 3: 160384, 2016). Model pretpostavlja da su svi učesnici u procesu pošteni (ne koriste ilegalne metode), a ipak loša nauka uspijeva. Model pokazuje da ni jednostavno logičko rješenje problema – prosto ignorisanje loših naučnih rezultata – ne funkcioniše. Sistem ne uključuje rigoroznu provjeru ponovljivosti rezultata tako da je nemoguće utvrditi koji je rad dobar a koji loš, bez dodatnog dugotrajnog i skupog testiranja.
Kako razriješiti krizu?
Jedan od načina da se trenutna kriza eksperimentalne nauke prevaziđe, mogla bi biti primjena rigorozne prakse uobičajene u matematici. Kada matematičar(ka) pronađe rješenje za istinski problem (npr. sedam problema poznatih kao Milenijski problemi) drugi matematičari potom u dugom i detaljnom postupku verifikuju, ili ne, njegovo ili njeno otkriće. Samo verifikovano otkriće postaje istinsko otkriće. Jedini do sada riješeni problem sa Milenijske liste je Poenkarova hipoteza koju je riješio Grigorij Perelman.
Međutim, primjena matematičke prakse u eksperimentalnim naukama nije izvodljiva zbog skupoće eksperimentalnog postupka. Zamislite da verifikatori moraju ponoviti eksperimentalni postupak koji košta milion dolara. Dodatno, dugi verifikacioni postupak bi značajno produžio vremenski ciklus, od eksperimentalnog postupka do objavljivanja rezultata, i tako kaznio onu polovinu naučnika, u biomedicinskim naukama na primjer, koji objavljuju vjerodostojne rezultate i istinska otkrića. Cilj metodologije za prevazilaženje trenutne krize treba biti identifikacija procedure koja će destimulisati prirodnu selekciju loše nauke, a u isto vrijeme zaštiti grupaciju naučnika koji proizvode istinski kvalitet. Drugim riječima treba pronaći ravnotežu između kvantiteta i kvaliteta.
Ekstremi u kvantitetu i kvalitetu su jednako kontraproduktivni. Pretjerano oslanjanje na kvantitet, kroz akademske procjene koje se baziraju na broju objavljenih radova, impakt faktorima časopisa, citiranosti radova i indeksima kao što je Hiršov, vode ka prirodnoj selekciji loše nauke. Ovo je u liniji sa Campbellovim i Goodhartovim zakonima: mjera je postala meta i time prestala da bude dobra mjera. S druge strane, pretjerano insistiranje na kvalitetu u eksperimentalnim naukama, slično tipu verifikacije koji se primjenjuje u slučaju matematičkih problema, bi značajno usporilo naučni progres i vodilo ka perverznoj pedanteriji i destimulaciji kreativnosti.
Jedan od načina za uspostavljanje zdrave ravnoteže između kvantiteta i kvaliteta je dramatično smanjenje upotrebe standardne metrike u procjeni akademskog kvaliteta. Prvi korak u ovom pravcu je napravljen 2012. godine u San Francisku. Grupa naučnika na skupu američkog udruženja za ćelijsku biologiju je predložila i potpisala deklaraciju, od tada poznatu kao DORA (Declaration on Research Assessment). Cilj DORA-e je da se smanji uticaj korelacije između impakt faktora časopisa i procjene akademskog kvaliteta individualnih naučnika i time spriječi širenje perverzne i u krajnjoj liniji štetne metrike. Do danas je DORA-u potpisalo 1500 naučnih organizacija i 15000 naučnika. Među potpisnicima su Američko udruženje za napredak nauke (AAAS), Howard Hughes Medical Institute, časopis Proceedings of the National Academy of Sciences itd.
Dalje smanjenje uticaja metrike ide ka supresiji indeksâ poput Hiršovog, kao mjere kvaliteta individualnih naučnika. U ovom kontekstu interesantno je citirati jedan lucidni tekst koji se pojavio u elektronskom izdanju časopisa Galaksija Nova kao komentar na članak Srpska pamet nije ovde objavljen aprila 2019 godine. Komentatoru, koji se potpisao sa John Simonds, se izvinjavam na korištenju teksta bez dozvole. Ali, obzirom da je elektronska Galaksija Nova otvoreni medij, kriteriji Creative Commons 4:0 su zadovoljeni. Evo Simondsovog kratkog teksta:
Indeksi imaju “neku” vrednost – pokazuju aktivnost. To se tu završava. H-index na žalost ne “meri” ništa precizno. To je indikator broja objavljenih članaka i broja citiranja tih članaka od strane drugih (naučnika). O NAUCI, tj o sadržaju – nema ni reči. Dakle meri primećenu “aktivnost” nekog ko je u nauci, meri “popularnost”. Autori “popularne nauke” će onda imati najviše skorove: prikazi, opšti pregledi, praktično korisni članci, objavljivanje standarda, al ne i ključni tekstovi dajući duboke osnove nauke. Ti autori takvih tekstova neće biti odmah primećeni. Možda kasnije, kao Moncada (mada mu je izbegla Nobelova nagrada!). Rukovodioci institucija su ljudi koji onda imaju najviše skorove. Što su veće institucije, veći će im i biti skorovi (…) “Galaksija” treba da izbegne na svom samom početku ponovnog rađanja da propagira pseudo – nauku. Dakle treba dati kritičku ocenu h-indeksa. Onda će “Galaksija” biti to što se od nje očekuje. Nadam se da će ona to i biti. Puno uspeha!
Komentar reflektuje mišljenja sve većeg broja naučnika i naučnih administratora da je h-indeks postao meta i time prestao da bude dobra mjera. Da biste bili briljantan naučnik ne morate imati visok h-indeks. Nobelovac Peter Higgs, poznat po teoretskom predviđanju Higgsovog bozona, ima jednocifreni h-indeks (ili blizu jednocifrenog). S druge strane, vrijednost h-indeksa od 50 ne garantuje da je njegov vlasnik briljantan naučnik jer se indeksi relativno lako mogu manipulisati.
Sa Simondsovim komentarom se slažu dvojica američkih naučnika, Siddharta Roy i Marc A. Edwards. U radu objavljenom prije dvije godine predviđaju da se vjera u istinski naučni progres može vratiti samo pod uslovom da se dramatično smanji značaj kvantitativne metrike u procjeni akademskog kvaliteta. Ovo je vidljivo iz njihovog modela (Slika 1) koji predviđa uspostavljanje optimuma u naučnom procesu – koji znači svođenje broja “sumnjivih” naučnih radova na prihvatljivi minimum – samo pod uslovom da se značajno redukuje uticaj današnje metrike (impakt faktori, h-indeks, liste za rangiranje univerziteta itd.) na procjenu naučnog kvaliteta. Ovo je u liniji sa lucidnim komentarom Johna Simondsa: indeksi imaju neku vrijednost, ali nisu u stanju da izmjere istinsku naučnu produktivnost.
Poruka ovog eseja je jasna. Industrijalizacija nauke koja je započela prije nekoliko decenija rezultirala je lošom metodologijom za kontrolu kvaliteta. Impakt faktori, citatni skorovi, razni indeksi, međunarodne liste univerziteta, su postali mete i tako prestali da budu dobre mjere. Dobra vijest je da su naučnici i naučni administratori u zemljama koje drže do naučnog integriteta i etike svjesni ozbiljnosti problema i intenzivno tragaju za odgovarajućim rješenjima.
Šta Srbija može naučiti iz krize svjetske nauke?
Lekcija za Srbiju je da ne treba slijepo slijediti zastarjele trendove. Neophodno je razvijanje moderne nacionalne strategije za nauku i razvijanje odgovarajuće naučne kulture. Uspješna strategija mora (a) stimulisati istinske naučne inovacije i otkrića, posebno ona primjenjiva u privredi i medicini i (b) destimulisati sve manifestacije loše nauke: manipulacije raznim indeksima i citatnim skorovima, i pridavanje značaja listama univerziteta koje neminovno koriste istu onu metriku koja je dovela do krize nauke. Sastavni dio naučne kulture treba biti podsticanje i vrednovanje akademskog integriteta i etike. U tom smislu treba suzbijati sve forme loše akademske prakse, kao što su (a) sumnjivi i nepotrebni doktorati, (b) tezgarenje profesora koji tim činom zanemaruju studente matičnog univerziteta i konačno (c) sasijecanje u korjenu pokušaja još jedne forme tezgarenja koja se od nedavno zagovara: plaćanje naučnicima za objavljene radove što je u direktnom sukobu sa etikom naučnog procesa.
Predložene mjere nikako ne narušavaju autonomiju univerziteta, nego isključivo imaju za cilj promovisanje intelektualnog integriteta i etike u nauci i nastavi. John Archibald Wheeler, učenik Nielsa Bohra, mentor Richarda Feynmana i prvi popularizator termina crna rupa, za koji je čuo od jednog studenta na predavanju, je smatrao da univerziteti imaju studente samo zato da bi se profesori mogli edukovati. Wheelerova davno zaboravljena misao je ovih dana dobila realnu potvrdu na beogradskom univerzitetu u domenu etičke edukacije. Studenti mogu biti istinski čuvari autonomije i savjesti univerziteta pod uslovom da ne potpadnu pod uticaj dnevne politike.
Leave a Reply