Rozvíjí se věda jeden pohřeb za druhým?

Přestože vědci usilují o růst lidského pozvání, i ve vědě hrají významnou roli ambice, boje o postavení, budování reputace či nepotismus. Techniky výzkumu či oblasti zkoumání význačných vědců jsou považovány za užitečnější a hodnověrnější než u začínajících výzkumníků. Vědecké celebrity tak snadněji získávají granty pro svoji práci, editoři vědeckých časopisů jsou k nim vstřícnější; obecně se těší mnohem větší podpoře. Obvykle jde o zcela oprávněné výhody, protože jejich práce prostě přinesla cenné poznání. Někdy však taková vědecká kapacita dokáže svou vahou zničit alternativní přístupy, myšlenky a kariéry mladších kolegů. Nepoužívá-li či přímo odsoudí jiné techniky, nedokáží se tyto jiné přístupy rozvinout a pokrok oboru ustrne.

Pierre Azoulay, Christian Fons-Rosen a Joshua Graff Zivin (pdf) se jali otestovat, zda vědecká celebrita skutečně dokáže zpožďovat vývoj oboru. Využili předčasných úmrtí 452 vědců z přírodních věd, kteří byli skutečnými hvězdami svých oborů a podívali se na vývoj vědeckých publikací jejich dosavadních kolegů a pak jiných, s nimi dříve nespolupracujících výzkumníků. Nepřekvapivě zjistili, že publikace nových výsledků u kolegů po smrti hvězdy radikálně a trvale poklesly, průměrně až o 40 %. Naopak „výzkumníkům z vnějšku“ se začalo více dařit, publikovali více svých myšlenek a do 5 let propad publikační aktivity v oboru vyrovnali. Navíc jsou tyto práce považovány za kvalitnější a užitečnější (navázalo na ně více dalších vědců a byly více citovány).

Vývoj publikační aktivity spolupracovníků hvězdného vědce (tmavší linka, "Collaborators") a "výzkumníků z venku" (světlejsí linka, "Non-collaborators") v období před a po jeho smrti.

Nepotvrdilo se přitom, že by vědecké celebrity ve velkém nějak formálně bránili jiným ve vzestupu. Málokdy byly zároveň i editory vědeckých časopisů či předsedy grantových komisí – stvrdilo se tak mj. i populární pořekadlo, „kdo vědu umí, ten ji dělá, kdo ji neumí, ten ji řídí“. Výsledky v souhrnu ukazují, že práce hvězdného vědce či vědkyně oslní obor natolik a na tak dlouho, že přístupy a myšlenky jiných jednoduše nejsou vidět, i když mohou být mnohem lepší.


Psáno pro Vesmír.

Dá se věřit ekonomickému výzkumu?

Velkým tématem vědy posledních let je nereplikovatelnost publikovaného poznání. To jest, závěry, ke kterým vědecké studie – i velmi vlivné a slavné – dospěly, se jednoduše nedaří ověřit, pakliže stejné experimenty či stejné analýzy dat jsou provedeny odlišnými vědci.

Největší krizí patrně prochází psychologie, v níž se až dvě třetiny (pdf) výsledků nedaří potvrdit. Nicméně i v lékařství či biologii je situace podobná. Důvodů, proč replikace nevycházejí, je mnoho. Od existence prostého podvádění – slavným případem je nizozemský psycholog Diederik Stapel, který si data a výsledky svých experimentů vymýšlel a až 55 jeho studií muselo být staženo. Přes publikační zkreslení – tj. publikují se výsledky experimentů, které „vyšly“, nicméně po světě mohlo být provedeno několik stejných experimentů, které „nevyšly“ a protože výzkumníci vědí, že negativní výsledky mají nižší šanci být publikovány, raději je vůbec nezveřejní. Dochází k tomu, že jen „pozitivní“ výsledky spatří světlo světa, přičemž mohly vyjít jen náhodou. Výsledky experimentů rovněž ovlivňuje nekonečná šíře faktorů, od vlastností skupin účastníků, po místo, kde jsou prováděny, denní doba, roční období atd. a není proto zcela překvapivé, že někdy, někde, na někom jiném stejná procedura nevyjde úplně stejně. Konečně, výzkumníci mají rovněž volnou ruku, jak data analyzují, takže mohou zkusit tolik přístupů, až dojdou k výsledkům, které chtějí.

Stapel o svých podvodech vydal v roce 2012 knihu Ontsporing, "Vykolejení", zde je anglický překlad (pdf). Předmluva začíná: "Zahnul jsem špatně, ztratil cestu, naboural a shořel... Nebyla to zábava. Měl jsem se dobře, ale stal jsem se netrpělivým, přehnaně ambiciózním a lehkovážným... Myslel jsem, že mi pomůže, když si zkrátím cestu jednou malou odbočkou, ale nakonec jsem stále častěji a častěji jel v úplně špatném pruhu, až jsem nakonec vůbec nebyl na cestě... Dokud mé podvody nebyly odhaleny, žil jsem celkem normálním, běžným, šťastným životem... Zničil jsem si ho, ale ani to není úplně nejhorší,... protože moje lehkomyslnost zasáhla všechny důležité osoby mého života."

I ekonomie pamatuje několik skandálů s vymyšlenými daty či chybně provedenými výpočty, nicméně obecně se zdá, že netrpí krizí replikace. Je to dáno i tím, že velká část ekonomického výzkumu je prováděna na reálných hospodářských datech, která se nedají (až tak) manipulovat. Replikace (či spíše reprodukce) pak spočívá v tom, že stejná data vyhodnotí někdo jiný a dá se celkem očekávat, že dospěje k podobným výsledkům (vhodných metod analýzy dat je mnoho, takže nějaké odchylky ve výsledcích se dají očekávat). Málokdo čekal, že by zde bylo ukryto nějaké velké překvapení.

Andrew Chang a Phillip Li (pdf) se o podobnou replikaci beztak pokusili. Z náhodně vybraných 67 studií z nejlepších ekonomických časopisů se jim však podařilo ověřit jen 33 % výsledků – tak málo proto, že nebyli schopni dohledat původní data (ačkoliv by měla být dostupná). Kontaktovali proto původní autory a s jejich pomocí se snažili reprodukovat jejich metody analýz. Přesto byli schopni potvrdit jen 49 % výsledků. Jak uvedeno, hlavním důvodem pro neověřitelnost výsledků je, že nejsou dostupná data, z kterých autoři vycházeli. Dalším důvodem ale je, že i když data a postupy byly k dispozici, stejně se nepodařilo dosáhnout stejných výsledků, jaké byly zveřejněny.

Závěry Changovi a Liho studie ukazují, že ekonomický výzkum má problém – není zřejmé, jak se k polovině jeho poznatků dospělo a tedy zda jsou či nejsou pravdivé. Řešení jsou přitom prostá, transparentně zveřejňovat data a nejlépe i předem zveřejnit hypotézy, které jsou testovány a způsoby, jak budou testovány.


Psáno pro Vesmír.