Tip na víkend: Superprognózy, Umění a věda předpovědí

Spadne kurz eura do konce roku pod 27 korun? Objeví se během nastávající zimy chřipková epidemie, kvůli níž v Česku zemře více než 5000 lidí? Bude Miloš Zeman kandidovat v příštích prezidentských volbách? Jak to vše odhadnout? Zejména tím, že nebudete poslouchat vlastně žádné komentátory a experty v médiích. Philip Tetlock a Dan Gardner ve své knize Superprognózy, Umění a věda předpovědí vyhodnocují nejrozsáhlejší experiment v dějinách lidstva zaměřený na odhalení schopností a postupů, jak úspěšně předpovídat (a vlastně i jak dobře přemýšlet).

Knihu Superforecasting: The Art and Science of Prediction od: Philip Tetlock a Dan Gardner vydalo letos nakladatelství Crown.

Projekt financovaný mj. americkou zpravodajskou komunitou ukázal, že od obvyklých mluvících hlav v televizi se lidé se schopnostmi nejpřesněji předpovídat (tzv. superprediktoři) liší téměř ve všem – upravují své názory, vyjeví-li se nové, relevantní informace. Nechají se přesvědčit, vidí-li, že myšlenky někoho jiného přesněji sedí na dostupná fakta. Nejsou dogmatičtí a fatalističtí, svůj světonázor si neustále „testují“ – hledají mnoho perspektiv, jak zkoumaný problém vidět. Zohledňují informace z mnoha velmi různorodých zdrojů a jsou schopni probabilistického myšlení, tj. události pro ně nejsou jen jisté, nejisté a „možné“, ale dokáží svůj odhad „možnosti“ konkrétněji kalibrovat, tedy stanovit, že nějaká událost může nastat třeba s 25% nebo 33% pravděpodobností.

I když se odfiltruje, že úspěšné trefování se do budoucnosti může být způsobeno i ryzí náhodou, superprediktoři dokáží konzistentně a dlouhodobě předpovídat budoucí jevy i s mnohem vyšším úspěchem než zpravodajci mající unikátní, tajné informace. Tetlockova a Gardnerova kniha učí, jak být schopní jako oni.


Psáno pro Lidové noviny.

Dá se věřit ekonomickému výzkumu?

Velkým tématem vědy posledních let je nereplikovatelnost publikovaného poznání. To jest, závěry, ke kterým vědecké studie – i velmi vlivné a slavné – dospěly, se jednoduše nedaří ověřit, pakliže stejné experimenty či stejné analýzy dat jsou provedeny odlišnými vědci.

Největší krizí patrně prochází psychologie, v níž se až dvě třetiny (pdf) výsledků nedaří potvrdit. Nicméně i v lékařství či biologii je situace podobná. Důvodů, proč replikace nevycházejí, je mnoho. Od existence prostého podvádění – slavným případem je nizozemský psycholog Diederik Stapel, který si data a výsledky svých experimentů vymýšlel a až 55 jeho studií muselo být staženo. Přes publikační zkreslení – tj. publikují se výsledky experimentů, které „vyšly“, nicméně po světě mohlo být provedeno několik stejných experimentů, které „nevyšly“ a protože výzkumníci vědí, že negativní výsledky mají nižší šanci být publikovány, raději je vůbec nezveřejní. Dochází k tomu, že jen „pozitivní“ výsledky spatří světlo světa, přičemž mohly vyjít jen náhodou. Výsledky experimentů rovněž ovlivňuje nekonečná šíře faktorů, od vlastností skupin účastníků, po místo, kde jsou prováděny, denní doba, roční období atd. a není proto zcela překvapivé, že někdy, někde, na někom jiném stejná procedura nevyjde úplně stejně. Konečně, výzkumníci mají rovněž volnou ruku, jak data analyzují, takže mohou zkusit tolik přístupů, až dojdou k výsledkům, které chtějí.

Stapel o svých podvodech vydal v roce 2012 knihu Ontsporing, "Vykolejení", zde je anglický překlad (pdf). Předmluva začíná: "Zahnul jsem špatně, ztratil cestu, naboural a shořel... Nebyla to zábava. Měl jsem se dobře, ale stal jsem se netrpělivým, přehnaně ambiciózním a lehkovážným... Myslel jsem, že mi pomůže, když si zkrátím cestu jednou malou odbočkou, ale nakonec jsem stále častěji a častěji jel v úplně špatném pruhu, až jsem nakonec vůbec nebyl na cestě... Dokud mé podvody nebyly odhaleny, žil jsem celkem normálním, běžným, šťastným životem... Zničil jsem si ho, ale ani to není úplně nejhorší,... protože moje lehkomyslnost zasáhla všechny důležité osoby mého života."

I ekonomie pamatuje několik skandálů s vymyšlenými daty či chybně provedenými výpočty, nicméně obecně se zdá, že netrpí krizí replikace. Je to dáno i tím, že velká část ekonomického výzkumu je prováděna na reálných hospodářských datech, která se nedají (až tak) manipulovat. Replikace (či spíše reprodukce) pak spočívá v tom, že stejná data vyhodnotí někdo jiný a dá se celkem očekávat, že dospěje k podobným výsledkům (vhodných metod analýzy dat je mnoho, takže nějaké odchylky ve výsledcích se dají očekávat). Málokdo čekal, že by zde bylo ukryto nějaké velké překvapení.

Andrew Chang a Phillip Li (pdf) se o podobnou replikaci beztak pokusili. Z náhodně vybraných 67 studií z nejlepších ekonomických časopisů se jim však podařilo ověřit jen 33 % výsledků – tak málo proto, že nebyli schopni dohledat původní data (ačkoliv by měla být dostupná). Kontaktovali proto původní autory a s jejich pomocí se snažili reprodukovat jejich metody analýz. Přesto byli schopni potvrdit jen 49 % výsledků. Jak uvedeno, hlavním důvodem pro neověřitelnost výsledků je, že nejsou dostupná data, z kterých autoři vycházeli. Dalším důvodem ale je, že i když data a postupy byly k dispozici, stejně se nepodařilo dosáhnout stejných výsledků, jaké byly zveřejněny.

Závěry Changovi a Liho studie ukazují, že ekonomický výzkum má problém – není zřejmé, jak se k polovině jeho poznatků dospělo a tedy zda jsou či nejsou pravdivé. Řešení jsou přitom prostá, transparentně zveřejňovat data a nejlépe i předem zveřejnit hypotézy, které jsou testovány a způsoby, jak budou testovány.


Psáno pro Vesmír.

Jak ne/zlepšit prospěch žáků

Mnoho rodičů, škol i pedagogických odborníků má obavy, že žáci dnes nejsou natolik motivovaní studovat, jejich znalosti i schopnosti se zhoršují a vůbec studijní morálka se vytrácí. Celosvětově bylo navrženo nespočet opatření, jak tento trend zvrátit. Leonardo Bursztyn a Robert Jensen (pdf) se ve své studii zaměřili na opatření jednoho státu USA, který pro určité středoškolské kurzy ve svých více než 100 školách zavedl soutěžní prostředí. Žáci řeší v některých předmětech standardizované testy na počítačích, výsledky jsou okamžitě zpracovány a zveřejněny – jména nejlepších žáků z třídy, školy i celého systému jsou vyvěšeny při vstupu do testovacího programu. Očekávalo se, že se v žácích probudí soutěživost, nárůst píle a více snahy. Výsledek byl však zcela opačný.

Po zavedení uvedených „stupňů vítězů“ se zhoršil prospěch průměrně o 24 procent, přičemž dříve nejlepší žáci se zhoršili až o 40 %. Bylo rovněž zjevné, že propad v testech je důsledkem jejich nižší snahy – žáci zodpovídali méně otázek (než že by je zodpovídali špatně) a méně využívali studijní podpory. Horší žáci se v testech se zveřejňovanými výsledky sice zlepšili, ale nijak výrazně.

Průměrný počet správných odpovědí denně pro čtvrtinu nejlepších žáků. Červená linka značí, kdy bylo zavedeno zveřejňování "stupňů vítězů". Jak patrno, úspěšnost žáků poté výrazně propadla.

Tento přirozený experiment názorně dokázal, že pro žáky je extrémně důležité, jak je vnímají spolužáci. Vědí, že image šprta jim na popularitě nepřidá a mnozí jsou proto ochotni obětovat svůj dobrý prospěch, aby za něho nebyli považováni. Tomuto vysvětlení nahrávají i výsledky dalších opatření, které školy zavedly. Nabídly žákům dodatečné příležitosti k on-line učení, testování a zkoušení. V některých třídách se museli k této příležitosti zapsat žáci veřejně, v jiných bylo přihlašování soukromé. Opět se ukázalo, že více studia preferovali žáci ve třídách, kde se o jejich „snaze navíc“ nevědělo. Ve výběrových třídách, do kterých chodili nejnadanější děti – jež naopak prospěch vnímají jako cestu k popularitě – se k práci navíc přihlásilo více žáků při veřejném oznámení.

Vedle toho, že studie měří, jak obrovský vliv na prospěch dítěte mají jeho spolužáci, ukazuje i, jak důležité je opatření nejprve testovat, než se zavedou ve velkém rozsahu. I intuitivně správná opatření někdy mohou vést spíše k prohloubení problému než k jeho řešení.


Psáno pro Vesmír.

Partneři v zločinu: Jak spolupráce dá vzniknout korupci

Budou se lidé chovat čestněji, když se rozhodují sami nebo když je do rozhodování zainteresováno více lidí? Chci-li podvádět, třeba okrádat zaměstnavatele, pak zapojení kolegy může nést rizika. Může mne udat, bude na mne vědět informace, které může v budoucnu zneužít. Na druhou stranu si můžeme vzájemně hlídat záda, ujišťovat se, že zaměstnavatel je beztak vydřiduch, takže neděláme nic špatného a odpovědnost za zločin bude rozdělena. Ori Weisel a Shaul Shalvi (pdf) vytvořili unikátní experiment, který měl pomoci nahlédnout, které motivy v podobných situacích převáží.

V naprosté anonymitě kancelářského boxu první hráč hodil kostkou. Číslo, které mu padlo, uvedl do počítače. Výsledek na monitoru viděl druhý hráč, sedící v jiném boxu, a nyní měl on hodit kostkou a reportovat svůj výsledek. Oba hráči přitom věděli, že odměnu si odnesou jen tehdy, budou-li se jejich čísla shodovat. Pakliže oba hodí „šestku“, získají oba po 6 eurech, hodí-li oba „jedničku“, získají po 1 euru atp. Nicméně, hodí-li různá čísla, nikdo nedostane nic. Takto se mělo sehrát 20 kol. Experiment umožňuje, aby podváděl jak první hráč (uvádí vyšší body, než mu padly) i druhý hráč (uvádí tolik bodů, kolik padlo prvnímu hráči a ne kolik hodil on). Jelikož pravděpodobnost, že se jejich hody shodnou je 1/6 a kol bylo 20, vydělat mohli teoreticky jen při 3,3 případech. Průměrně pak měli naházet 3,5 bodů.

Vlevo vidíte simulaci, jak by teoreticky měly kostky padat, kombinace všech bodů jsou rovnoměrně rozloženy. Vpravo vidíte realitu experimentu, jak patrno, nejen že mnohem častěji docházelo k shodám, rovněž vyšší čísla „padala“ častěji.

Přes 250 dvojic sehrálo tento experiment a hráči průměrně v 16 případech uváděli, že jim padaly stejné body (pětkrát častěji než bylo teoreticky možné). Průměrně jim pak – prý – padalo 5 bodů. Rovněž se ukázalo, že naznačoval-li první hráč ochotu podvádět – třeba tak, že psal skoro samé šestky, druhý hráč tento signál téměř vždy zachytil a začal dorovnávat stejné body. Stali se z nich partneři v zločinu. Experiment byl i různě modifikován; třeba odměna pro druhého hráče byla v každém kole fixní, bez ohledu na hozená čísla. I když se za těchto podmínek hráči chovali čestněji, k podvodům beztak docházelo. Výsledky studie v souhrnu ukazují, že je-li jeden člověk druhým „pozván k podvodu“, mnozí toto volání vyslyší, zejména jsou-li zájmy podvodníků ve shodě a lze hodně vydělat. Vidí-li druhá strana ochotu se podrazů účastnit, začne pak podvádět bezostyšně.

Výsledky několika typických párů hráčů. První pár (A): oba bezostyšně podvádějí, "padají" jim samé šestky. V druhém páru hráčů (B) první hráč podvádí, "hází" samé šestky, nicméně druhý hráč se nenechává svést a pravdivě stanovuje, co mu padlo. Třetí situace (C) je obrácena, tentokráte první hráč pravdivě uvádí své hody a druhý hráč je nečestně vždy dorovnává.

Psáno pro Vesmír.

Jak přimět lidi, aby jedli zdravě?

Úmrtí na nemoci spojené s obezitou a chybnou životosprávou v následujících letech sesadí z trůnu dosavadní jedničku v zabíjení – kouření tabáku. Co dělat, aby i těchto smrtí bylo co nejméně? Medicína se soustředí na léčení konkrétních nemocí, ať už jde o oběhové problémy, cukrovku či rakovinu, a ultimátní příčinu – obvykle – neřeší. Koneckonců lékaři nemohou pacienty nutit do zdravé stravy či aktivního pohybu. Opatření pro zlepšení zdraví tedy musí vycházet odjinud a vyvolat změnu, jak často lidé sportují či jaké jídlo si kupují.

John List s kolegy (pdf) se zaměřili na volbu potravin a jali se zjistit, jaká opatření přimějí člověka zlepšit své stravování. Najali 222 dobrovolníků a více než půl roku sledovali jejich nákupy potravin. Rozdělili je zároveň do 3 skupin, na nichž byly otestovány intervence na zvýšení spotřeby zdravějších potravin. První skupina účastníků dostávala před nákupem informace, jakou zeleninu či ovoce nakoupit, jak je zpracovat a jak jsou důležité pro správnou funkci těla. Druhou skupinu experimentátoři manipulovali penězi – kdykoliv si dobrovolník koupil alespoň 5 větších kousků zeleniny či ovoce, získal darem navíc jeden dolar. Třetí skupina obdržela obé, jak informace, tak peněžní odměny. Poslední skupina nezískala nic a sloužila jako kontrolní vzorek, vůči kterému byly intervence porovnávány.

Podoba některých letáčků, které účastníci experimentu dostávali. První, "Incentives", upozorňuje, že nakoupí-li spotřebitel nad 5 kusů zeleniny či ovoce, dostane 1 $ odměny. Druhý letáček, "Information", upozorňuje, že jezení ovoce je zdravé a radí, že dají-li si lidé misku ovoce na stůl, pult či do lednice, svačinku budou mít vždy po ruce.

Bylo zjištěno, že samotné i podpůrné poskytování informací o prospěšnosti zeleniny či receptů na její zpracování má jen velmi malý dopad na nakupování spotřebitelů. Peněžní odměna, byť malá, měla naopak obrovský efekt – zdvojnásobila množství nakupovaného ovoce či zeleniny (z průměrných 1,6 kusů nakupovaných kontrolní skupinou na 3,4 kusy). Efekt navíc přetrval i po konci experimentu. Lidé odměňovaní penězi se naučili kupovat zeleninu a vytvořený zvyk jim zůstal, i když experiment skončil a žádné odměny již nezískávali. Experiment (nejen) organizacím usilujícím o zlepšení zdraví obyvatel ukazuje, že je možné poměrně jednoduše a levně vytvořit automatické chování, které bude ku prospěchu lidem usilujícím o zdravý životní styl.


Psáno pro Vesmír.