Spravedlivé hodnocení

Když studentovi chybí k lepší známce jediný bod, nastává zvláštní okamžik akademické spravedlnosti. Na jedné straně stojí procedura, která by měla být dodržována, aby bylo hodnocení pro všechny rovné. Třeba u nás na Vysoké škole ekonomické studenti v průběhu semestru za každý úkol, zkoušku či test získávají body, které se sečtou, dle nich pak dostanou známku: 74 bodů značí trojku, zatímco 75 už je dvojka, nad 90 bodů jednička. Vše je transparentní a pro avšechny stejné. Na druhé straně stojí úsudek vyučujícího. Může si říct „umí to, snažila se, testy nejsou dokonalé“ a body přidat, aby vyšla dobrá známka. Tento přístup je empatický, lidský, ale neobjektivní. Při subjektivním hodnocení se studenti naučí o známky vyjednávat -- potřebují mít dobrý průměr pro stipendium či výjezd do zahraničí… babička by byla smutná, kdyby vylítli… test neudělali dobře, protože byli nemocní, ale jinak vše věděli... 

Otevře-li učitel možnost body přidávat, důvodů pro zlepšování známek se najde přehršel. O bod navíc pak častěji usilují ti, kteří mají náturu a odvahu žádat, zatímco ti tišší odejdou bez pokusu. Výsledek může paradoxně zhoršit spravedlnost: místo znalostí rozhoduje vytrvalost (chcete-li drzost) a schopnost prodat dojímavý příběh. Každé vyhovění navíc posiluje očekávání, že zkusit to je racionální strategie.

Jak se učitelé obvykle zachovají? S kolegy Štěpánem Bahníkem a Simonem Senčarem jsme zkoumali, jak často se v takových chvílích bod „najde“, proč se to děje a komu to typicky pomáhá. Klíčový důkaz našeho výzkumu byla analýza 873 899 závěrečných hodnocení v horizontu deseti let na VŠE.

Pokud by body vznikaly jako čistý součet výkonů napříč semestrem, měly by být hodnoty různě dosažených bodů víceméně spojité, těsně pod hranicí známky a těsně nad ní zhruba stejně časté. Jenže u prahů, kde se láme známka, bylo ve skutečnosti radikální shlukování bodů těsně nad hranicí. Jednoduše, je velmi málo „73“ či „74“ a strašně moc „75“ či „76“. Tyto asymetrie jsou největší právě tam, kde má přidání bodu největší výnos – mění známku; ne tam, kde jsou souhrnná čísla „kulatá“ či kde končí 5. Naše výsledky ukazují, že učitelé systematicky známky zlepšují, než že by jen dávali zaokrouhlené body. Potvrdilo nám to i šetření mezi nimi. Mnozí se přiznali, že se se studenty nechtějí hádat, a rovnou jim tedy známku vylepší, jiní uznali, že systém hodnocení je nedokonalý, a proto raději studenům pomohou.

Relativní četnosti bodů. Prahové hodnoty pro tři známky (90 b. pro "1", 75 b. pro "2" a 60 b. pro "3") pro úspěšné absolvování jsou zobrazeny červeně. Ostatní „kulaté“ počty bodů (dělitelné 5) jsou zobrazeny tmavě šedě.

 

Zajímavé je, co podobné „zaokrouhlovací milosrdenství“ vysvětluje. Výzkum ve vzdělávání třeba naznačuje, že učitelky jsou mnohem benevolentnější (jsou obvykle více empatické a zároveň se více vyhýbají konfliktům) či že starší učitelé se drží spíše objektivního hodnocení. Ani jedno jsme ve svém výzkumu nepotvrdili. Naopak se objevila výhoda studentek v hraničních případech: o něco častěji skončí „nad“ než „pod“ bodovým prahem známky. To odpovídá i mezinárodním výsledkům. Žákyním a studentkám je obvykle trochu nadržováno, protože jsou pilnější a víc respektují školní pravidla, za což se učitelé odvděčují.

Naše studie potvrzuje obecnější pravdu, že kdekoli se zavede ostrý práh, ať už je to známka, bonus, sleva, či jiný nárok, lidé se začnou soustředit hlavně na to, jak být těsně nad ním. Pokud nechcete věčné dohadování, napište dopředu, co se děje „u hranice“: jak se posuzují sporné případy, kdo rozhoduje a podle čeho. Nejvíc konfliktů nevzniká ze špatného výsledku, ale že se pravidla tvoří až po výsledku.

 

Psáno pro Orientaci, sobotní přílohu MF Dnes.

Měřit s mírou

Zbytečné operace i neotevřené kriminální případy. Když se manažeři nebo politici nechají zaslepit metrikami, snadno se jim podaří docílit pravého opaku toho, k čemu měla čísla pomoci.

Od svých chytrých hodinek se každý večer dozvídám, kolik kroků jsem ušel, a zda plním svůj (minimalistický) závazek aktivního pohybu. Všiml jsem si ale, že ač teď chodím více, závazek neplním – při tlačení kočárku se mi totiž kroky nepočítají. Hodinkám chybí houpání ruky sem-tam a myslí si, že jedu na kole. Upřímně mě rozezlilo, o kolik kilometrů chůze jsem přišel.

Naštvání je pochopitelně iracionální – že chybí digitální doklad, nehraje přece žádnou roli, pokud jsem doopravdy chodil. Psychologové věnující se gamifikaci však vědí, že obsese viditelnými metrikami je silnou a návykovou emocí. Jakmile výkonům přiřadíte číslo, lidé pocítí slast z dosažení cíle. Ještě větší dávku endorfinů dostanou, když se zlepšují – ať už jde o kroky, naposlouchané minuty chytrých podcastů či kredity ve věrnostních programech.

Přitom může jít i o body zcela irelevantní. Americko-čínská dvojice behaviorálních vědců, Luxi Shenovéa Christophera Hsee, kdysi vytvořila prostou počítačovou hru: hráči měli v časovém limitu napsat co nejvíc slov. Kromě počtu vložených slov viděli na obrazovce i „body“. Jedna skupina hráčů získávala za každé slovo konstantní počet bodů, v druhé příděl bodů s každým dalším slovem rostl, v poslední naopak postupně klesal.

I když byly body samoúčelné a neměly naprosto žádný význam, hráči ve skupině s rychle rostoucím skóre se mnohem více snažili a hru si k tomu užívali. Ti, kterým bodová odměna postupně klesala, byli naopak naštvaní. S poznatkem pracuje řada videoher: body, levely, schopnosti či odměny získávají začínající hráči mnohem rychleji, aby si rostoucími pocity úspěchu vytvořili na hře závislost.

Jak vyčíslit spokojenost

Příběhy s krokometrem a irelevantními body jsou banální, dobře ale ilustrují všudypřítomný jev, o kterém v knize Tyranie metrik píše americký historik Jerry Muller. Manažerská mantra „chceme-li cokoliv zlepšit, musíme to být schopni změřit a dát lidem motivaci s tímto ukazatelem pohnout,“ začala podle Mullera dávno prosakovat z firem do osobního a veřejného života. A zejména v politice má děsivé dopady.  

Knihu Tyranie metrik od: Jerry Z. Muller vydalo letos v překladu nakladatelství Academia.

Metrika je vždy zjednodušením činnosti i jejího smyslu. Skutečným cílem není ujít deset tisíc kroků denně, ale být aktivní a zdravý. Pravidelná chůze s tímto přáním silně souvisí, sama ovšem zdravím není. Metrika naopak může působit kontraproduktivně – zbavuje totiž odpovědnosti za složitý cíl ve prospěch dosažení jednoduchého čísla. Má známá hubne podle aplikace, která měří týdenní sportovní výkony. Jelikož někdy nestíhá a nechce „selhat“, v některých dnech dohání zmeškané… a občas se při tom zraní. A dosáhne-li cíle, odmění se obžerstvím – řečeno ještě eufemisticky.

U komplexního cíle je stanovení jednoduché metriky fakticky i teoreticky nemožné. Nelze jej zjednodušit natolik, aby se neztratily jeho podstatné charakteristiky. Přitom jakákoliv veřejná služba, argumentuje Muller, ať už jde o veřejnou správu, zdravotnictví, školství, policii či armádu, je navázána na extrémně těžko definovatelné cíle, jako jsou spokojený život, zdraví, moudrost či bezpečí. Svůdnost metrik zde začne páchat zlo.

Když zlepšování škodí

Například cílem práce policie je všeobecné bezpečí a co nejčastější dopadení pachatelů. Objasněnost trestných činů je obvyklou a přehlednou metrikou, a proto i základem pro odměny policistů. Pohříchu je však metrika motivuje k tomu zločiny překvalifikovávat: ze zjevně neobjasnitelné krádeže se stane ztráta majetku. Sbor se také přeorientuje na jednoduché přečiny, za které se dá snadno udělat čárka, místo řešení komplexních problémů bez konkrétní oběti. Kdo by se chtěl zabývat korporátními finančními machinacemi, když nikdo nenahlásil újmu, že?

Nebo se podívejme na cíl nemocnic – jejich cílem je poskytování kvalitní zdravotní péče. Jako metrika kvality se často stanovuje úmrtnost po operacích. Zdá se být rozumná, protože čím více pacientů přečká po zákroku měsíc bez úhony, tím lépe. Leč epidemiologické studie z USA ukazují, že chirurgové kvůli metrice posílají rizikové pacienty na jiná oddělení či je vůbec neoperují, aby si nezkazili skóre. Zato mají motivaci zbytečně operovat mladší a zdravější pacienty, u kterých by byla vhodnější konzervativnější léčba. Pacientům tak metrika odpírá nejvhodnější péči.

Podobně: je-li cílem univerzity motivovat vědce k přelomovým výzkumům, jak potom měřit onu přelomovost? Význam objevu není často jasný po desetiletí. Počet studií v nejprestižnějších vědeckých časopisech se zdá být jednoduše vyhodnotitelnou, efektivní metrikou – leč opět vytvoří motivaci jeden objev raději rozdělit do několika menších studií a publikovat okamžité výsledky bez robustního ověřování. Důsledkem je nepřehledná záplava objevů, které jsou navíc mnohdy brzy vyvráceny jako neúplné či zcela chybné. Stejně na univerzitách dopadá snaha odměňovat učitele dle dotazníků spokojenosti studentů. Výsledkem je snížení standardů, inflace dobrých známek a nahrazení výuky infotainmentem.

Muller metriky nezavrhuje – jsou bezesporu užitečným nástrojem pro další úsudek, ne však úsudkem samotným. Alternativou by bylo dát se všanc jakékoliv subjektivní víře, která se zrovna namane – což by bylo horší. Muller ale názornými příklady varuje před situacemi, kdy metriky zdáním tvrdých dat a jejich transparentnosti vedou nejprve k tunelovému vidění světa – a když se na ně naváží odměny, pak rovnou k dokonalé slepotě. Citátem amerického prozaika Uptona Sinclaira: „Je těžké přimět člověka, aby něčemu porozuměl, když jeho plat závisí na tom, že neporozumí.“

 

Psáno pro Finmag.