Dá se věřit ekonomickému výzkumu?

Velkým tématem vědy posledních let je nereplikovatelnost publikovaného poznání. To jest, závěry, ke kterým vědecké studie – i velmi vlivné a slavné – dospěly, se jednoduše nedaří ověřit, pakliže stejné experimenty či stejné analýzy dat jsou provedeny odlišnými vědci.

Největší krizí patrně prochází psychologie, v níž se až dvě třetiny (pdf) výsledků nedaří potvrdit. Nicméně i v lékařství či biologii je situace podobná. Důvodů, proč replikace nevycházejí, je mnoho. Od existence prostého podvádění – slavným případem je nizozemský psycholog Diederik Stapel, který si data a výsledky svých experimentů vymýšlel a až 55 jeho studií muselo být staženo. Přes publikační zkreslení – tj. publikují se výsledky experimentů, které „vyšly“, nicméně po světě mohlo být provedeno několik stejných experimentů, které „nevyšly“ a protože výzkumníci vědí, že negativní výsledky mají nižší šanci být publikovány, raději je vůbec nezveřejní. Dochází k tomu, že jen „pozitivní“ výsledky spatří světlo světa, přičemž mohly vyjít jen náhodou. Výsledky experimentů rovněž ovlivňuje nekonečná šíře faktorů, od vlastností skupin účastníků, po místo, kde jsou prováděny, denní doba, roční období atd. a není proto zcela překvapivé, že někdy, někde, na někom jiném stejná procedura nevyjde úplně stejně. Konečně, výzkumníci mají rovněž volnou ruku, jak data analyzují, takže mohou zkusit tolik přístupů, až dojdou k výsledkům, které chtějí.

Stapel o svých podvodech vydal v roce 2012 knihu Ontsporing, "Vykolejení", zde je anglický překlad (pdf). Předmluva začíná: "Zahnul jsem špatně, ztratil cestu, naboural a shořel... Nebyla to zábava. Měl jsem se dobře, ale stal jsem se netrpělivým, přehnaně ambiciózním a lehkovážným... Myslel jsem, že mi pomůže, když si zkrátím cestu jednou malou odbočkou, ale nakonec jsem stále častěji a častěji jel v úplně špatném pruhu, až jsem nakonec vůbec nebyl na cestě... Dokud mé podvody nebyly odhaleny, žil jsem celkem normálním, běžným, šťastným životem... Zničil jsem si ho, ale ani to není úplně nejhorší,... protože moje lehkomyslnost zasáhla všechny důležité osoby mého života."

I ekonomie pamatuje několik skandálů s vymyšlenými daty či chybně provedenými výpočty, nicméně obecně se zdá, že netrpí krizí replikace. Je to dáno i tím, že velká část ekonomického výzkumu je prováděna na reálných hospodářských datech, která se nedají (až tak) manipulovat. Replikace (či spíše reprodukce) pak spočívá v tom, že stejná data vyhodnotí někdo jiný a dá se celkem očekávat, že dospěje k podobným výsledkům (vhodných metod analýzy dat je mnoho, takže nějaké odchylky ve výsledcích se dají očekávat). Málokdo čekal, že by zde bylo ukryto nějaké velké překvapení.

Andrew Chang a Phillip Li (pdf) se o podobnou replikaci beztak pokusili. Z náhodně vybraných 67 studií z nejlepších ekonomických časopisů se jim však podařilo ověřit jen 33 % výsledků – tak málo proto, že nebyli schopni dohledat původní data (ačkoliv by měla být dostupná). Kontaktovali proto původní autory a s jejich pomocí se snažili reprodukovat jejich metody analýz. Přesto byli schopni potvrdit jen 49 % výsledků. Jak uvedeno, hlavním důvodem pro neověřitelnost výsledků je, že nejsou dostupná data, z kterých autoři vycházeli. Dalším důvodem ale je, že i když data a postupy byly k dispozici, stejně se nepodařilo dosáhnout stejných výsledků, jaké byly zveřejněny.

Závěry Changovi a Liho studie ukazují, že ekonomický výzkum má problém – není zřejmé, jak se k polovině jeho poznatků dospělo a tedy zda jsou či nejsou pravdivé. Řešení jsou přitom prostá, transparentně zveřejňovat data a nejlépe i předem zveřejnit hypotézy, které jsou testovány a způsoby, jak budou testovány.


Psáno pro Vesmír.