Ponovljivi, nenaložljivi

Ponovljivi, nenaložljivi

Heinrich Vladimirovich Erlich,
Doktor kemijskih znanosti
"Kemija in življenje" št. 8, 2015

Umetnik S. Tyunin

Ena od najbolj umornih obtožb, ki jih je mogoče vložiti proti znanstveniku, je odgovornost za nepopravljivost rezultatov, ki so mu bili predstavljeni. Uničuje ugled, uničuje kariero, do izgona znanstvene skupnosti, vodi v zaprtje znanstvene smeri, do preusmerjanja izven meja resnične znanosti in obešanja različnih zavajajočih predpone – napačnih, para, psevdonih itd. nepopravljivost "ločenih" študij, je treba poudariti, da je velika večina preostalih dobro ponovljiva. Ali je to res?

Ključni koncept znanosti

Ponovljivost je temelj znanstvene metode, ključnega koncepta. Nastalo je na zori nastanka sodobne znanosti, ko so se raziskovalci obrnili na eksperimentiranje kot sredstvo poznavanja sveta in kvantitativnih meritev kot načina opisovanja pojavnih fenomenih. Objektivnost resnice implicira, da so izključeni vsi subjektivni dejavniki, zato morajo različni raziskovalci, ki preučujejo iste predmete z enakimi metodami, ki uporabljajo podobna orodja, dobiti enake rezultate ne glede na čas in kraj poskusa.To je kategorična nujnost ponovljivosti.

Seveda je treba identiteto rezultatov upoštevati statistično napako. V tem smislu je ponovljivost podobna (in v mnogih primerih tudi sinonim) natančnost merjenja. Primarni in ožji primer obnovljivosti je ponovljivost. Karakterizira konvergenco ponavljajočih se rezultatov posameznega raziskovalca, ki uporablja iste materiale in opremo, enako metodologijo v enakih delovnih pogojih za kratek čas. Ko raziskovalci sprašujejo o ponovljivosti rezultatov svojega dela, to pomeni natančno ponovljivost. Bližina vseh navedenih konceptov poudarja, da jih kvantitativno označuje skupni parameter – vrednost relativnega standardnega odklona (ali podobnih statističnih veličin).

Toda bistvo in vrednost obnovljivosti je veliko širša od njegovega matematičnega izraza. Služi kot glavno merilo za ločevanje pšenice od pleve, jagnjet iz koz, znanstvenih spoznanj iz drugega informacijskega hrupa.Rezultat, ki ga je pridobil raziskovalec – to je le niz številk, risb in nekaj zaključkov. Status znanstvenih spoznanj bo prejel te rezultate šele potem, ko jih bo sprejela znanstvena skupnost. In edina zanesljiva metoda takega preverjanja je ponovitev, reprodukcija dobljenih rezultatov s strani drugih, neodvisnih raziskovalcev po predstavljenih protokolih (metodah) eksperimenta. Sklicevanja na "tajno" znanje, čarobne rituale, dostopne samo izbranim in začrtanim, "skrivnim" komponentam in skrivnostnim "know-how", tukaj niso dovoljene; na različne načine, od prevarantov in goljufij do pravil v celoti operativnih procesov.

Močnejša različica preverjanja rezultatov je njihova predstavitev znanstveni skupnosti na znanstvenih konferencah in obrambnih tezah v obliki publikacij v znanstvenih revijah. Pregled rezultatov, odgovori na nastajajoča vprašanja, razprave nam omogočajo, da ugotovimo, kako je bilo opravljeno metodološko pravilno, kako zanesljivi so bili doseženi rezultati in razumni zaključki. Višja stopnja strokovnjakov (pregledovalcev), večje je zaupanje v rezultate preizkusa.Jasno je, da izdelki v nelicenciranih revijah povzročajo največji dvom (kljub dejstvu, da med odkritimi smeti lahko nastanejo pravi diamanti, ki zaradi nekega razloga ne morejo priti v izdaje "visoke ocene"). V vsakem primeru pa so vse te predstavitve le predhodna odobritev rezultatov, le njihovo reproduciranje s strani drugih raziskovalcev lahko prinese pravo priznanje.

Razsežnost nesreče

Toda vse to je v teoriji. Vse to je bilo v preteklosti. Resnično življenje se razlikuje od teoretičnih shem, moderna znanost pa je daleč od klasičnih kanonov. Eden od glavnih problemov znanosti je bilo hitro povečanje števila nenapovedljivih rezultatov. Besmislen – ker se zgodi dobesedno pred našimi očmi.

V času mladih mojstrov študentskih diplomantov so bile ponavadi reproducirane literarne metode, prvi odziv vodje na sporočilo, da se tehniko ne reproducirajo, so bile neprijetne predpostavke, iz katerih se roke izvajalcev rastejo. Po tridesetih letih se je prvi odziv temeljito spremenil: spet so se začele te (nepolitično pravilna omemba državljanstva avtorjev članka).In to se zgodi ne samo v kemiji, ampak tudi v vseh disciplinah, kjer obstaja koncept objektivne resnice in kjer je ponovljivost rezultatov nujno merilo znanosti.

Težko je količinsko opredeliti obseg katastrofe (in to je ravno katastrofa), ker ni nobenih študij o tem pojavu in verjetno ne bo mogoče. Toda rezultati vzorčenja so na nekaterih ozkih območjih. Torej, Glenn Beagley in Lee Ellis, vodilni strokovnjaki ameriške farmacevtske družbe Amgen, v članku objavljen v Narava (2012, 483, 7391, 531-533), je povedal o predkliničnih preizkušanjih zdravil proti raku, ki so jih podjetju prenesli univerzitetni laboratoriji. Od 53 preizkušanih zdravil je le 6 pokazalo zadovoljive rezultate, podatki za preostalih 47, ki so bili objavljeni, mimogrede, v visokih časopisih, niso bili reproducirani. Nekoliko bolj optimistični strokovnjaki družbe "Bayer", po njihovih podatkih, objavljeni leto prej v Narava Mnenja Drug Discovery, ponovljivost del na onkologiji, kardiovaskularnih in ženskih bolezni je 20-25%. In to je kljub dejstvu, da so testiranje opravljali visoko strokovni strokovnjaki, zainteresirani za pozitiven rezultat testa,- konec koncev na ta način podjetja izberejo izdelke za poznejši komercialni razvoj.

Te in nekatere podobne publikacije so povzročile široko razpravo. Ankete strokovnjakov na teh področjih so pokazale, da je v povprečju 55% anketirancev naletelo na neproduktivnost rezultatov drugih ljudi. Tretjina anketirancev je to poročala v znanstvenih publikacijah, "starejši" raziskovalci pa so pokazali največja načela, medtem ko so "mlajši" tisti, ki se niso želeli izogibati. In to je razumljivo, ker sta dve tretjini mladih pogumnih duš priznali, da imajo težave pri objavljanju nesprejemljivih podatkov.

Vzroki za ponovljivost

Največ zanimanja so mnenja udeležencev v razpravah o vzrokih za naraščajočo nepopravljivost znanstvenih rezultatov. Frank in namerno goljufanje podatkov praktično niso upoštevani. Seveda v vsaki skupnosti obstajajo goljufi, vendar se strinjamo, da je delež teh posameznikov v znanosti neprimerno nižji kot na drugih področjih človeške dejavnosti – v politiki, ekonomiji, zakonodaji itd.

Glavna gonilna sila nereaktivnosti je naglica, želja po uveljavljanju svoje prednostne naloge na novem področju raziskav.To ima zelo zemeljsko ozadje – prednostna naloga povečuje verjetnost prejemanja sredstev za nadaljnje raziskave. Prej znanstveniki so bili zaskrbljeni zaradi ugleda, zdaj razmišljajo o rojstvu in donacijah. Kar se tiče morebitnih obtožb neproduktivnosti, lahko avtorji tukaj sledijo logiki Kochkareve iz Gogolovega "Poroka": "Kakšna nesreča, če se razjezi! … ker tukaj je najbolj, če eden od njih pljusa v oči – to je vse" . Ko se bo razkrilo vse, bo dotacija že prejeta, in tam boste videli, da bo razvoj imel na pamet, to je ponovljivo.

Naslednji razlog za objavo "surovih" rezultatov – uresničevanje števila publikacij in Hirschovega indeksa, ki je zdaj povišan na čin glavnega kazalnika kakovosti znanstvene dejavnosti. Kot pravijo mladi raziskovalci, objavijo v reviji z visoko oceno ali umrejo. Kot rezultat, vidimo sliko, ki je bila v starih časih nepredstavljiva – odpoklic člankov iz revij (vključno z recenzijskimi in visokimi ocenami), tako v pripravljalni fazi za objavo kot tudi po objavi zaradi nasprotovanja drugih raziskovalcev.

Prav tako daje vtisda mnogi avtorji niso popolnoma zainteresirani za reprodukcijo svojih del s strani drugih raziskovalcev in zato precej namenoma izpustijo nekatere pomembne eksperimentalne podatke. Prej so bili ti patenti zmotni: vsakdo, ki je kdaj poskusil reproducirati primer iz patenta, bo razumel. Toda patent za izum je predvsem pravni dokument, ki določa bistvene značilnosti izuma. In nekatere eksperimentalne subtilnosti, znanje in izkušnje, lahko avtor prikriti kot dodaten adut pri prodaji patenta. S tega vidika patenta na splošno ni mogoče šteti za znanstveno objavo in v okviru, na primer, disertacije, lahko patent deluje samo kot dokaz praktičnega pomena.

Zdaj pa se na žalost načelo strokovnega znanja vedno bolj širi v znanstvene članke. Prizadevati si moramo, da ugotovimo, kaj avtorji prvotne publikacije niso povedali. In tiste, ki dobijo nekaj začasnih ovir, da ostanejo na grebenu raziskav in se morda premaknejo k njihovi komercializaciji. Pri tem se nevidno igrajo do založnikov znanstvenih revij, kar zmanjšuje prostor, ki je namenjen opisu eksperimentalnega dela (materiali, metode, oprema).Res je, da so zdaj vodilni znanstveni dnevniki na njihovih straneh postavili tehnike kot priponke k člankom. Toda to je še vedno izjema namesto pravila.

Vendar nihče ne reproducira večino objavljenih znanstvenih rezultatov in zato ne preveri. To je ena od posledic ogromne gredi, Big Data, znanstvenih publikacij, ki jih je znanstvena skupnost proizvedla v zadnjih letih in ki jih sama ne more prebaviti. Če želite reproducirati rezultate, predstavljene v kateremkoli članku, ga najprej preberite. Koliko objavljenih člankov je bral vsaj ena oseba, ki ne ve celo splet znanosti in Scopus, zlasti ker ne pokrivajo celotnega sklopa znanstvenih informacij. Toda lahko opravite oceno, ki temelji na psihologiji. Če je raziskovalec iz neznanega razloga prenesel članek in ga prebral, se bo zagotovo skliceval na to, v pozitivnem ali negativnem smislu ali preprosto »v kup«, ki bi bil trdnost na seznamu referenc.

Po količini imamo bogato statistiko – to so vplivni dejavniki časopisov, ki se izračunajo kot razmerje med številom citatov člankov, objavljenih v določenem letu, in skupnim številom člankov, objavljenih v istem letu.Vzemimo zdaj dejavnike vpliva časopisov, na primer ruske s seznama VAK. Pretežni del pade v intervalu od 0,01 do 0,5. To bo ocena povprečnega števila bralcev enega članka v ustreznem dnevniku. Ni dvoma, da veliko teh člankov pripravljajo pristojni, visoko usposobljeni strokovnjaki, ki preučujejo ozke, posebne probleme. Hkrati pa je treba priznati, da takšno pomanjkanje vsaj nekaj zunanjega strokovnega znanja zmanjšuje notranje zahteve glede kakovosti dela in ustvarja pogoje za proizvodnjo in objavo nezanesljivih, nenapovedljivih podatkov.

Kaj storiti

Kako se spopasti s tem? Težko, če ne celo nemogoče, se bojevalo, kajti vsi ti vzroki so posledica same strukture sodobne znanosti, katere namen je objavljanje in tržni učinek. Ni naključje, da raziskovalci, ki sodelujejo pri razpravi o teh problemih, ne morejo ponuditi ničesar konstruktivnega, razen za oblikovanje posebnih znanstvenih organizacij, ki se bodo ukvarjale z naključnim testiranjem objav, vsaj na ključnih področjih, za obnovljivost. Vendar je zamisel o inkviziciji neomajljiva v glavah človeštva in se takoj oživi v kateri koli krizi! Še bolj utopično, po mojem mnenju,Zdi se, da je predlog za ustvarjanje indeksa obnovljivosti rezultatov iz publikacij v znanstvenih revijah po analogiji s faktorjem učinka ali v revijah v obliki elektronske aplikacije objaviti vse primarne podatke, ki jih je pridobil raziskovalec.

Edini način, da bi rešili težavo, je izobraževanje in izobraževanje mlajše generacije znanstvenikov. Znanstvena dejavnost je v zadnjih desetletjih postala množična poklica, število znanstvenikov, izobraževalnih ustanov in raziskovalnih centrov pa se je neverjetno povečalo. Posledično se je povprečna stopnja eksperimentalnega usposabljanja mladih strokovnjakov zmanjšala (izjava je sporna, vendar menim, da se bodo mnogi strinjali z njo). Pogosto preprosto ne razumejo, kateri ponovljivi rezultati so. V najboljšem primeru znova merijo značilnosti vzorca. Da bi v tem primeru dobili dober konvergenco rezultatov, je preprosta zadeva z določeno veščino. Zamisel, da je treba ponoviti celotno zaporedje preizkusa, vključno s pridobivanjem vzorcev, sploh ne pride do njih. Kdo bi jim razložil, koliko velikih odkritij je bilo zaprtih po raziskovalcu, ko je izčrpan eno kozarec reagentov, odprl novega!

Toda nobena pojasnila, privlačnosti ali virtualni poskusi ne bodo nadomestila živega eksperimentalnega dela z neizogibnimi napakami (ki se dejansko učijo). Šele na ta način, ki je napolnil udarce, začetni raziskovalec bo razumel, da "neumno" ponavljanje poskusov, standardizacija in preverjanje opreme ni tisti, ki je vodja, temveč sestavni del znanstvene dejavnosti. V smislu izobraževanja je treba trdno vključiti v glavo, da je najpomembnejša naloga znanstvenika pridobiti zanesljivo znanje in ponovljive rezultate, to je eno najpomembnejših načel znanstvene etike in ne moden razmislek o odgovornosti znanstvenika za posledice uporabe njegovih rezultatov raziskav. Neizvedljivi rezultati imajo lahko samo eno posledico – padec ugleda znanosti. In za to mora biti odgovoren.

Problem edinstvenosti

Vsi ti dejavniki, ki vplivajo na obnovljivost znanstvenih raziskav, je mogoče razvrstiti med subjektivne, predvsem zaradi delovanja sodobne znanosti. Vendar pa je treba upoštevati tudi, da se je znanost spremenila in pojavili objektivni dejavniki, ki se igrajo proti ponovljivosti v svojem klasičnem pomenu.

Sodobna znanost se vedno bolj spreminja v preučevanje edinstvenih objektov, sistemov, pojavov, raziskovalci izvajajo edinstvene eksperimente na enovrstni opremi. Vse to vzbuja legitimno občudovanje napredka znanosti, vendar na drugi strani povzroča neudobna vprašanja. Vzemite, na primer, zgodbo o odkritju Higgsovega bozona na Large Hadron Collider. To odkritje niso potrdile neodvisne študije in seveda se ne bo ponovilo v bližnji prihodnosti, ker svetovna skupnost preprosto nima sredstev za izgradnjo nove podobne strukture ciklopona. Kako biti tukaj: zavzemati se za pozitivno razsodbo Nobelovega odbora ali stojno slediti trdni izjavi slavnega filozofa Karla Popperja, da "eno samo neizvedeno sporočilo nič ne pomeni znanosti"?

Drugi nedavni primer je povezan s pristankom sonde Phila na površini jedra kometa Churyumov-Gerasimenko. To samo po sebi je izjemen dosežek. Zdaj se znanstveniki veselijo, kdaj bo končno delovala znanstvena oprema, nameščena na sondi, in prejeli bodo informacije o fizikalnih in kemijskih lastnostih kometnega jedra.Vse to je seveda neverjetno zanimivo, a navsezadnje bo v bližnji prihodnosti enotno, neizvedeno in nepopravljivo, pa tudi nereprezentativno. (Predstavljajte si, da so nekateri tujci iztovorili eno samo sondo na Zemlji in opazovali nekaj kvadratnih metrov površine. Jasno je, da bo njihov pogled na Zemljo močno odvisen od pristajališča – na severnem polu, v puščavi Sahara ali na zračnem polju v Moskvi. te podatke razumeti kot pravo znanstveno znanje? O tem je treba razmišljati.

Klasična znanost se je ukvarjala z velikimi ansambli predmetov in s ponavljajočimi se procesi ter se naučila, kako se dobro soočiti z njimi. Analiza rezultatov meritev v takih sistemih in koncept intervala zaupanja temeljita na normalni, Gaussovi porazdelitvi, pri kateri je verjetnost dogodkov, ki se bistveno razlikujejo od povprečne vrednosti, zanemarljiva. Toda v zadnjih desetletjih je znanost začela preučevati sisteme, v katerih se porazdelitev dogodkov razlikuje od Gaussovega, se imenujejo tudi "težke repov". Zlasti so značilni za fraktalne sisteme, ki ne vsebujejo velikosti.V njih je verjetnost dogodkov, ki se bistveno razlikujejo od povprečja, znatna vrednost, ki je ni mogoče zanemariti. Takšne redke dogodke lahko imenujemo edinstvene, v mnogih primerih pa jih imenujemo tudi katastrofe, ki zaradi očitnih razlogov privlači poseben interes za njih.

Če želite preučiti edinstveno, potrebujete drugačno metodologijo. Na splošno je še vedno poučevati študente – prihodnje raziskovalce in zelo zaželeno, da se v širši javnosti prenesejo v priljubljeno obliko, da jih ne bodo zamenjali "senzacionalni razkritji" novinarjev.

Problem edinstvenosti in neproduktivnosti, povezanega s tem, se je še povečal s širjenjem znanosti iz študije nestanovitnih predmetov in z ustvarjanjem tehničnih pripomočkov za preučevanje živih sistemov. Danes je vsaj polovica publikacij v znanstvenih revijah nekako povezana z medicino, zdravjem, ekologijo in preučevanjem družbenih procesov. In vsa živa bitja so v bistvu drugačna in standardi, ki se uporabljajo pri delu z neživimi predmeti, se ne nanašajo na njih.

Zgoraj smo govorili o katastrofalni ne-ponovljivosti značilnosti zdravil in jih povezali s subjektivnimi dejavniki – naglico, uresničevanje prednosti, komercializacijo,pomanjkanje kvalifikacij in napake v metodologiji. Vendar obstajajo objektivni dejavniki. Življeni predmeti so neverjetno kompleksni. V osnovi je nemogoče temeljito opisati vzorec živih predmetov (muh, miši, ljudi) in še bolj, da ga ponovno vzamemo. Raziskovalci vsakič obravnavajo edinstven vzorec, to je, da je v prvem poskusu prisotnost kalčkov nepopravljivosti in da je zelo težko obravnavati.

V preteklih desetletjih je bil razkrit še en temeljni razlog za morebitno nepopravljivost rezultatov. Klasična znanost temelji na ideji determinizma procesov, edinstvenosti njihovega pretoka. Tukaj lahko pripravimo analogijo z matematiko: če izhajamo iz istih postulatov in pravilno uporabimo dovoljene logične postopke, se bo neizogibno dosegel isti rezultat. Prav tako lahko rečemo, da je obnovljivost druga stran predvidljivosti, prva se nanaša na eksperiment, druga na teorijo.

Matematika, ki je uničila to blaženo sliko, razkriva procese z več rešitvami. Obstaja obsežen sistem, katerega razvoj poteka skozi točke bifurkacije, kjer se pojavijo alternativne različice razvoja sistema.Izbira ene ali druge variante se pojavi pod vplivom manjših nihanj parametrov sistema in v bistvu slučajno. Končna stanja sistema (merilni rezultati) so lahko bistveno drugačna.

Toda v takih sistemih obstaja vsaj možnost teoretične napovedi teh večkratnih končnih stanj (z majhnim številom točk bifurkacije). Veliko slabše je pri sistemih, ki so občutljivi na nihanja parametrov prvotnega sistema. V njih se pojavlja tako imenovani metulji: majhna sprememba začetnih parametrov vodi do nepredvidljivih posledic razvoja sistema. Obnašanje takšnih sistemov je opisano z uporabo različnih pristopov, zlasti teorije dinamičnega (determinističnega) kaosa. In to niso eksotični sistemi, temveč znani atmosferski pojavi, srčne patologije, populacijska dinamika, ekonomija, politika in drugi socialni pojavi.

Težava je v tem, da a priori eksperimentator ne ve, ali sistem, ki ga proučuje, pripada "kaotičnemu" razredu. Videl je le patološko nepopravljivost rezultatov.Seveda, s prepozno, lahko poskusite ustvariti teoretični model, ki pojasnjuje te rezultate, vendar pa vsak raziskovalec nima potrebnega znanja, da to naredi, in lahko tudi misli, da igra ni vredna sveče. Le malo se bo odločilo objaviti takšne protislovne eksperimentalne podatke, še manj pa urednikov znanstvenih revij, ki bodo sprejeli podoben članek. Torej raziskovalci, ki so utrujeni od spopadov, ponavadi zapustijo svoja delovna mesta ali objavijo najbolj zbližane podatke, zavržejo vse "čudne". In v drugem primeru vedno obstaja tveganje, da bi se izognili nepopravljivosti.

Ciljna resnica in subjektivni napor

Na koncu opažamo, da so sistemi, ki jih študija sodobna znanost, postali neverjetno zapleteni. Lahko so zelo občutljivi tako za začetne parametre (kar povzroča težave s standardizacijo) kot za številne parametre procesa. Naloga raziskovalca je določiti te parametre, jih optimizirati in doseči največjo ponovljivost rezultatov. Toda stanje je zelo realno, če ne more rešiti tega problema, ne more najti parametrov,kritično za proces v študiji. Morda so popolnoma nepričakovani, če le zato, ker ne sledijo obstoječemu znanju. To je lahko pred odkritjem in čast in pohvalo raziskovalcu, ki bo znanstvene skupnosti seznanil s temi surovimi rezultati v upanju, da bodo njegovi kolegi uspeli pri svojih raziskavah.

Pri ocenjevanju takih rezultatov je treba upoštevati tudi subjektivne dejavnike, ki jih "teoretiki" znanosti ponavadi ne upoštevajo. Iz življenjskih izkušenj vemo, da ni enostavno reproducirati nobenega dejanja, tudi s podrobnimi navodili ali predstavitvami. Najprej izdelana jed ali blato je ponavadi zelo daleč od vzorca. Toda, ponovitev potrebnih operacij znova in znova postopoma približujemo popolnosti. In zdi se, da delamo vse na enak način, vendar se rezultat izboljšuje, to je tisto, kar se imenuje "zapolniti roko". In nekatere stvari se igrajo enostavno, ena-dva-tri, medtem ko druge trajajo leta usposabljanja.

V znanosti se vse zgodi na enak način. Ciljna resnica je odvisna od subjektivnih prizadevanj za dosego tega cilja. Raziskovalec, da bi dosegel ponovljivost rezultatov (tudi če ni zelo dober), mora tudi včasih iti skozi zelo dolg potovanje, da "vleče roko" v določenem eksperimentu.Ali obstajajo kakšna zagotovila, da bo ta poskus ponovil še en raziskovalec? Nihče Razmnoževanje bo naključje in ne pravilo. Še posebej, če raziskovalec ne verjame, da bo v nečem uspel, in je podzavestno postavljen, da bo ovrževal in ne potrdil.

Zdaj govorimo o raziskavah, ki se ne ujemajo v splošno sprejetem pogledu. Tukaj moramo biti zelo previdni pri izjavah o nepopravljivosti rezultatov in še toliko bolj, ker ne mudi z označevanjem. Tako lahko otroka spustite z vodo. To so "čudni" rezultati, ki bi morali biti predmet prednostne študije v znanosti. Po podrobni študiji bo večina njih sčasoma zavrnila in zavrnila, toda tisto, kar ostane, se bo spremenilo v odkritja. Znanost se ne more in ne bi smela ustaviti v svojem poznavanju sveta in se osredotočiti na služenje uporabniških potreb ljudi. Verjamemo v prihodnja odkritja. Morda so jih že naredili. Samo igrajo.


Like this post? Please share to your friends:
Dodaj odgovor

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: