pondělí 12. října 2015

Dá se věřit ekonomickému výzkumu?

Velkým tématem vědy posledních let je nereplikovatelnost publikovaného poznání. To jest, závěry, ke kterým vědecké studie – i velmi vlivné a slavné – dospěly, se jednoduše nedaří ověřit, pakliže stejné experimenty či stejné analýzy dat jsou provedeny odlišnými vědci.

Největší krizí patrně prochází psychologie, v níž se až dvě třetiny (pdf) výsledků nedaří potvrdit. Nicméně i v lékařství či biologii je situace podobná. Důvodů, proč replikace nevycházejí, je mnoho. Od existence prostého podvádění – slavným případem je nizozemský psycholog Diederik Stapel, který si data a výsledky svých experimentů vymýšlel a až 55 jeho studií muselo být staženo. Přes publikační zkreslení – tj. publikují se výsledky experimentů, které „vyšly“, nicméně po světě mohlo být provedeno několik stejných experimentů, které „nevyšly“ a protože výzkumníci vědí, že negativní výsledky mají nižší šanci být publikovány, raději je vůbec nezveřejní. Dochází k tomu, že jen „pozitivní“ výsledky spatří světlo světa, přičemž mohly vyjít jen náhodou. Výsledky experimentů rovněž ovlivňuje nekonečná šíře faktorů, od vlastností skupin účastníků, po místo, kde jsou prováděny, denní doba, roční období atd. a není proto zcela překvapivé, že někdy, někde, na někom jiném stejná procedura nevyjde úplně stejně. Konečně, výzkumníci mají rovněž volnou ruku, jak data analyzují, takže mohou zkusit tolik přístupů, až dojdou k výsledkům, které chtějí.
Stapel o svých podvodech vydal v roce 2012 knihu Ontsporing, "Vykolejení", zde je anglický překlad (pdf). Předmluva začíná: "Zahnul jsem špatně, ztratil cestu, naboural a shořel... Nebyla to zábava. Měl jsem se dobře, ale stal jsem se netrpělivým, přehnaně ambiciózním a lehkovážným... Myslel jsem, že mi pomůže, když si zkrátím cestu jednou malou odbočkou, ale nakonec jsem stále častěji a častěji jel v úplně špatném pruhu, až jsem nakonec vůbec nebyl na cestě... Dokud mé podvody nebyly odhaleny, žil jsem celkem normálním, běžným, šťastným životem... Zničil jsem si ho, ale ani to není úplně nejhorší,... protože moje lehkomyslnost zasáhla všechny důležité osoby mého života."

I ekonomie pamatuje několik skandálů s vymyšlenými daty či chybně provedenými výpočty, nicméně obecně se zdá, že netrpí krizí replikace. Je to dáno i tím, že velká část ekonomického výzkumu je prováděna na reálných hospodářských datech, která se nedají (až tak) manipulovat. Replikace (či spíše reprodukce) pak spočívá v tom, že stejná data vyhodnotí někdo jiný a dá se celkem očekávat, že dospěje k podobným výsledkům (vhodných metod analýzy dat je mnoho, takže nějaké odchylky ve výsledcích se dají očekávat). Málokdo čekal, že by zde bylo ukryto nějaké velké překvapení.

Andrew Chang a Phillip Li (pdf) se o podobnou replikaci beztak pokusili. Z náhodně vybraných 67 studií z nejlepších ekonomických časopisů se jim však podařilo ověřit jen 33 % výsledků – tak málo proto, že nebyli schopni dohledat původní data (ačkoliv by měla být dostupná). Kontaktovali proto původní autory a s jejich pomocí se snažili reprodukovat jejich metody analýz. Přesto byli schopni potvrdit jen 49 % výsledků. Jak uvedeno, hlavním důvodem pro neověřitelnost výsledků je, že nejsou dostupná data, z kterých autoři vycházeli. Dalším důvodem ale je, že i když data a postupy byly k dispozici, stejně se nepodařilo dosáhnout stejných výsledků, jaké byly zveřejněny.

Závěry Changovi a Liho studie ukazují, že ekonomický výzkum má problém – není zřejmé, jak se k polovině jeho poznatků dospělo a tedy zda jsou či nejsou pravdivé. Řešení jsou přitom prostá, transparentně zveřejňovat data a nejlépe i předem zveřejnit hypotézy, které jsou testovány a způsoby, jak budou testovány.


Psáno pro Vesmír.

3 komentáře:

  1. Moc hezký článek a naprostý souhlas s navrhovaným řešením! :)

    OdpovědětVymazat
  2. V Číne nám profesor hovoril, ako sa snažili replikovať nejaké pokusy, zozbierali si aj vlastné data, a nepodarilo sa im to. Nielen že sa dočkali ignorácie od autorov paperov, ktorí sú z najvýznamnejších Čínských univerzít, ale majú problém uverejniť svoje zistenia v nejakom žurnále, pretože aj tie sú za zverejňovanie týchto falzifikátov spoluzodpovedné a samy by sa tak usvedčili. Jeho meno je Ran Tao z Renmin University, ak by vás to zaujímalo.

    OdpovědětVymazat
    Odpovědi
    1. Jj tohle je docela obecny problem, ze kazdy zurnal chce publikovat jen "uzasne vysledky" nekterych experimentu, ale o neuspesne zopakovane studie se nikdo nezajima...

      Na druhou stranu, pokud by pan Ran Tao prokazal, ze se mu nepodarilo replikovat dany experiment, tak muzeme rict, ze ten puvodni experiment je falzifikat a nebo experiment pana Ran Taa byl jen spatne provedeny?

      Osobne vidim reseni (cti prevenci) v tom, co napsal pan Houdek, tedy transparentne zverejnovana data + hypotezy + zpusob jakym se bude testovat a to vse vzdy predem.

      Jako lecba soucanych problemu by mohla slouzit nejaka stranka, kde by se sbirala evidence nereplikovanych experimentu. Pokud by se pak ukazalo, ze ke stejnym vysledkum jako pan Ran Tao doslo dalsich x experimentu, tak si troufam tvrdit, ze nejaka metaanalyza popirajici puvodni experiment by si jiste nasla prostor k otisteni...

      Vymazat