Když jistotu umí dát jen náhoda

"Mysleli jsme to dobře, ale dopadlo to jako vždycky," povzdechl si bývalý ruský premiér Černomyrdin nad peripetiemi politiky. Tu zkušenost by mohli podepsat kdekoli na světě. Všude, kde vlády lijí miliony do nejrůznějších programů (naše nová už se také chystá), dochází k tomu, že v lepším případě vyletí peníze oknem, v tom horším rovnou uškodí. Bez ohledu na úmysly. Přesto existuje způsob, jak se tomu vyhnout. Oč víc je kontraintuitivní, o to je účinnější: praxe ukazuje, že v mnoha případech stačí, aby plánovači potlačili "logické" uvažování a otevřeli dveře náhodě.

Psala se 70. léta minulého století, když ve Spojených státech odstartovala pilotní část pozoruhodného školního programu Vystrašit, zostra. Vystrašeny měly v jeho rámci být děti a mladí lidé, u kterých se dalo důvodně předpokládat, že budou mít do budoucna potíže s dodržováním zákona. Program jim zprostředkoval návštěvu věznic a setkání s lidmi, kteří si odpykávali doživotní tresty. Ti jim naturalisticky líčili svůj život za mřížemi, plný hrozeb, útrap a znásilnění. Na konci dekády pak o celém programu vznikl dokument, který jej představoval jako bezmála zázračný lék proti delikvenci mladistvých s úspěšností skoro 90 procent. Téměř žádné z dětí, které se programu účastnily, totiž v následujících třech měsících nezpůsobilo žádný přestupek.

Strašení zostra se tak v následujících letech začalo lavinovitě šířit po školách v celé zemi. Zdálo se to být logické: čím dřív a dramatičtěji se ukáže problémovým dětem, kam je dostane porušování pravidel, tím budou motivovanější změnit se. Vyhnou se špatné partě, zanechají drobných krádeží i vandalismu – prostě nepřekročí linii, za níž už je to do vězení jen krůček. Program se zdál být grálem sociální politiky. Realita – jak později vyšlo najevo a jak si ještě ukážeme – byla ale o dost jiná (pdf).

Zkus vyhmátnout rozdíl

Zjistit, jestli nějaký konkrétní program opravdu efektivně a dobře funguje, totiž nelze tak přímočaře, jak by se mohlo zdát – a jak by si jistě mnozí přáli. Krátká komparace stavu "před" a "po" sice může odhalit určité zlepšení, není ale sama o sobě schopna dokázat, že za to vděčíme právě zkoumanému opatření.

Jednoduchý příklad: vláda zavede nový program podpory nezaměstnaných. Přihlásí se řada uchazečů a po jeho absolvování zmizí z evidence úřadu práce mnohem rychleji, než bylo obvyklé. Třebaže to vypadá přehledně a jednoznačně, nelze vůbec říci, že je to důsledek úspěšného programu. Výsledek totiž mohla ovlivnit celá řada faktorů: akce mohla být spuštěna v době, kdy hospodářství začalo růst, takže všichni nezaměstnaní nacházeli práci najednou rychleji. Spolu s tím mohlo dojít i k "chybě výběru" – do programu se primárně přihlásili lidé silně motivovaní najít si práci, případně ti, jimž brzy měla vypršet podpora a z evidence by byli vyřazeni tak jako tak. Zkrátka: lidé, kteří se programu účastnili, mohli být systematicky odlišní od ostatních nezaměstnaných. Zda by tedy program fungoval i pro širokou populaci, zůstává nezodpovězenou otázkou.

Abychom nezůstali jen u teorie, nabídněme ryzí aktualitu: nová vláda už avizovala, že chce opět začít s podporou zateplování. Setká se ale její nabídka se zájmem? Bude fungovat? Nevíme! Ve Velké Británii v roce 2011 zavedli podobný program. Jakkoli ale vypadal na první pohled lákavě, skončil fiaskem. Tamější dotace pro domácnosti byly vysoké a zateplení by se během let samo zaplatilo. Vláda tedy očekávala obrovský zájem. Jenže ten se nedostavil.

Britové totiž podceňovali "abstraktní" a vzdálené úspory zateplení, zato se zalekli okamžité a hmatatelné nepříjemnosti – před rekonstrukcí by museli vyklidit půdy a sklepy. Vedle programu Zateplení tedy kabinet otestoval i program Zateplíme a vyklidíme – stavební firmy musely v jeho rámci nabídnout i vyklizení půd a sklepů. I když rekonstrukce kvůli tomu stála majitele více, zájem o program se prakticky okamžitě zvedl trojnásobně. A když se dotace vztahovala dokonce i na vyklízení, vzrostl zájem pětinásobně! (Pozn.: Analýzy tohoto a dalších projektů Rady pro vhled do chování lidí (Behavioural Insights Team), někdy také nazývané "Jednotky Šťouch" (Nudge Unit), lze nalézt na jejím blogu.)

Skupina, na kterou je opatření cíleno, se náhodně rozdělí na dvě. Na první skupině se opatření skutečně otestuje, druhá slouží jen k srovnání. Zda opatření zafungovalo se zjistí porovnáním stavu v obou skupinách (zdroj).

Zjistit, co funguje, přitom není tak obtížné, jak by se z těch několika příkladů mohlo zdát. Velmi spolehlivě to dokáže metoda náhodných (randomizovaných) testů. Ověřena v medicíně a později i v byznysu, začíná si dnes hledat cestu také do hodnocení různých státních a jiných veřejných programů. V praxi je založena na tom, že lidé vybraní do pilotních programů jsou – zcela náhodně a aniž by o tom měli ponětí – rozděleni do skupin. Někteří do skupiny, která testovaný program podstoupí. Druzí do druhé, kontrolní, již nakonec program mine. Jelikož rozdělení lidí je náhodné, veškeré ostatní faktory působí na všechny se stejnou pravděpodobností. Pak už lze identifikovat, zda program má nějaký vliv. Bude-li totiž mezi skupinami rozdíl, jediný faktor, v němž jsou dané skupiny odlišné, je to právě účast v programu.

Zostra zastrašeni

Splňme teď slib a vraťme se k programu Vystrašit, zostra. I on byl totiž s odstupem času podroben randomizovanému testu. Výzkumníci vytvořili skupinu dětí, které měly pletky se zákonem, a náhodně je rozdělili na dvě poloviny. Jedna z nich byla zostra vystrašena, druhá toho zůstala ušetřena. Všechny děti pak dál žily svým běžným životem, jen o nich školní psychologové vedli statistiky. Jejich analýzy, provedené po několika měsících i letech, ukázaly, že děti, které prošly programem, způsobují více zločinů než ty, které minul. Ani důkladné přezkoumávání dat na šokujícím výsledku nic nezměnilo: test zkrátka ukázal, že z dlouhodobého hlediska by bylo bývalo účinnějším preventivním opatřením nedělat nic – pozitivní efekt strašení byl jen velmi krátkodobý, v delší časové perspektivě spíše škodil.

Proč se program zprvu jevil být úspěšným, i když ve skutečnosti spíše "učil" kriminalitě, není zřejmé. Děti možná cítily, že na nich někomu záleží, a své chování krátce zlepšily. V delším období převážily jiné faktory (třeba chybějící životní vyhlídky) a osud vězně jim mohl začít spíše imponovat. Celkové ekonomické vyhodnocení programu (pdf) každopádně ukázalo, že každý dolar do něj investovaný přinesl škody ve výši zhruba dvouset dolarů, zaviněné budoucí vyšší kriminalitou, zneužíváním drog či závislostí na dávkách.

Anabáze s Vystrašit, zostra ilustruje, jak extrémně důležité je navrhovaná opatření otestovat, než se zavedou ve větším rozsahu. I když to od stolu či z malých studií může vypadat, že prostě nemohou nefungovat, bez randomizovaně kontrolovaných pokusů tomu není záhodno věřit.

Asi nejznámějším příkladem, jak testovat sociální politiku, je mexický projekt PROGRESA (pdfs). Jedním z jeho cílů bylo zlepšit školní docházku dětí. Nouze a bída se totiž předávají v rodině. Chudé domácnosti nemají dostatek prostředků, aby udržely děti na škole. Okolnosti často vyžadují, aby se potomci věnovali domácímu zemědělství, začali brzy pracovat či aby dívky pomáhaly s výchovou sourozenců. Děti z nuzných poměrů navíc nemají adekvátní výživu, žijí ve stresu a jsou nemocnější. Ve školách proto častěji absentují, jsou v látce pozadu a propadají. Krom toho jejich rodiče podceňují důležitost vzdělání. Tím se kruh uzavírá. Bez vzdělání nelze dosáhnout vyššího příjmu, samostatnosti ani rozhledu.

Mexická vláda tudíž naplánovala program s jehož pomocí chtěla odměňovat chudé rodiny dle docházky jejich dětí do škol a dle počtu tříd, jež absolvují. Roku 1997 proto nejprve vybrala 506 vesnic a náhodně je rozdělila na ty, které do PROGRESA vstoupí a které se stanou jen kontrolními. Rodiče v těch "šťastnějších" obcích pak mohli získat dávky ve výši 20 až 30 procent měsíčního příjmu, když jejich dítě pravidelně navštěvovalo školu. Nastavení respektovalo, že starší děti mají větší příležitosti vydělávat mimo školu, proto jejich rodiče dostávali vyšší dávky. Za docházku dívek – které školy z rodinných důvodů častěji nedokončovaly – bylo rovněž více.

Testy PROGRESA slavily úspěch. Do škol bylo zapsáno více dětí, vzácněji propadaly a vydržely v lavicích déle. Když už musely školu opustit, podstatně více z nich se do ní znovu přihlásilo. Dosavadní výsledky naznačují, že program zvýšil účast dětí ve školách o 21 procent a přinesl jim alespoň třídu vzdělání navíc. A zváží-li se očekávaná mzda, koruna dávky v programu dětem přinese tři koruny vyššího příjmu díky pokročilejšímu vzdělání.

PROGRESA se tedy začala aplikovat univerzálně, vstoupilo do ní přes dva a půl milionu rodin a dostalo se tak i na ty, které zprvu sloužily jen jako kontrolní skupina. I když v průběhu testování i během realizace programu samozřejmě došlo k řadě chyb, celkově lze považovat program za mimořádně úspěšný a efektivní. Však už také posloužil jako inspirace několika dalším vládám v Jižní Americe i Asii.

Chce se někdo vystěhovat?

Ve Spojených státech existují v řadě metropolí ghetta s vysokou nezaměstnaností a vysokou kriminalitou. Situace je obvykle důsledkem státních urbanizačních projektů z 50. a 60. let, během nichž erár levně vystavěl funkčně i esteticky monstrózní čtvrti a nastěhoval do nich nízkopříjmové rodiny. Děti, které tam vyrůstají, chodí do horších škol, jsou častěji oběťmi zločinu a brzy se stávají i jeho pachateli. Jedním z navržených řešení bylo nabídnout motivovaným rodinám dotaci na získání lepší adresy a pomoci jim tak s novým začátkem. Vznikl program Stěhování za příležitostí.

Ze všech přihlášených rodin bylo loterií určeno, která poukázku na lepší život dostane a která bude patřit jen do kontrolního souboru. Analýza ukázala (pdf), že pozitivní dopad na kvalitu života přestěhovaných rodin je extrémní (což mimochodem dokazuje, že do bídy byly stahovány okolím, nikoliv nutně svými špatnými vlastnostmi či jednáním). Děti i dospělí byli zdravější, méně u nich docházelo ke zraněním, cítili se podstatně šťastněji a bezpečněji. U chlapců se snížil výskyt problémů s chováním, lépe vycházeli s rodiči i učiteli, nestávali se členy gangů. Klesla kriminalita (pdf). I když se (zatím) neukázalo, že by přestěhování zlepšilo i vyhlídky dospělých na trhu práce, Stěhování za příležitostí získalo jednoznačné doporučení pro další rozšíření.

Graf ukazuje vývoj násilné kriminality mladých u skupin zařazených do programu Stěhování za příležitostí (čáry s čtvercem a trojúhelníkem) vůči kontrolní skupině (plné kruhy). I když skupiny v programu začínají na vyšší úrovni kriminality, je patrné, že časem se u nich zatýkání vytrácí.

Kouzlo testování

Ve Velké Británii, jak řečeno, dokonce existuje vládní Rada pro vhled do chování lidí, která se snaží systematicky vyhledávat, jaké státní programy nefungují nebo jsou neefektivní (v úvodu zmiňovaný nápad s vyklízením půd pochází od ní). (Pozn.: Názorný úvod, z kterého vychází i tento článek, do využívání randomizovaných testů v hospodářské a sociální politice ve Velké Británii nabízí tento text (pdf)).

Když tedy britské ministerstvo práce a důchodů chtělo ušetřit na úřadech práce tím, že by se instruktáž a pohovory s nezaměstnanými uskutečňovaly telefonicky, popřípadě hromadně ve skupinách, vybrala rada 137 lokálních úřadů, 66 600 nezaměstnaných a na 33 100 z nich myšlenku otestovala. Vyšlo najevo (pdf), že pro nezaměstnané je důležitá pravidelná, častá osobní pomoc.

Navržená "úsporná řešení" totiž vedla ke snížení pravděpodobnosti, že žadatel nalezl práci (ve srovnání s kontrolní skupinou, která standardně docházela na úřady). Eventuálně ušetřené náklady by tedy byly řádově překročeny vyššími sociálními dávkami a ušlým příjmem nezaměstnaných. Od nápadu proto ministerstvo upustilo dříve, než mohl napáchat dalekosáhlé škody (v navazujícím testování se pak překvapivě ukázalo, že i jednoduchá psychologická terapie – pravidelné vypisování frustrací, obav a naopak plánování malých cílů, jak získat práci – dokáže poměrně významně zlepšit vyhlídky nezaměstnaných, že nějakou práci naleznou).

Podobně v Británii dopadlo testování programu na zvyšování finanční gramotnosti (pdf). Stejně jako u nás, ani ve Spojeném království není řada rodin schopna adekvátně plánovat své výdaje a zadlužuje se na nevýhodných úvěrech. Britský kabinet proto zavedl volně přístupné kurzy. V některých dokonce frekventantům nabízel peníze za docházku (v přepočtu zhruba 200 korun za absolvovanou přednášku). Kdo očekává, že na přednášky za odměnu chodili lidé častěji, mýlí se. Ač "logika" napovídala něco jiného (proto je prvotní testování tak důležité!), peněžní odměna zhoršila účast na přednáškách, jakož i množství naučené látky. Lidé totiž přestali brát návštěvu přednášek jako věc, díky níž se mohou posunout dopředu, a zarámovali si ji spíše jako "povinnost, za kterou mohu dostat dvě stovky" – a ta za to někdy prostě nestála...

Randomizované pokusy samozřejmě nejsou samospasitelné a ani s nimi nelze otestovat vše. Nejsou dokonce ani prosté etických dilemat, jelikož kontrolní skupina při nich vždy přichází o nabídky, které by jí mohly pomoci. Tím je vykoupeno pochopení, co funguje a jak se dají opatření zlepšovat. Ve výsledku nakonec dokážou při správné aplikaci přinést zlepšení celé společnosti. Vlády na západ od nás pod tíhou krize objevují čím dál častěji jejich kouzlo. Třeba tento trend dorazí i k nám.


Psáno pro Lidové noviny (redigováno), v rozšířené podobě byl text přetištěn v Terra Libera (pdf).