Kafemlejnek – mea culpa?

V posledních letech se v diskusích o hodnocení českého výzkumu, vývoje a inovací (VaVaI) objevuje pojem „kafemlejnek“. Posměšně se jím označuje systém, v němž je každému výsledku (vědecké publikaci, knize, patentu…) přiřazen určitý počet bodů. Pro instituce, jež se zabývají VaVaI, dostávají na ně z veřejných prostředků podporu a vykazují výsledky, lze každoročně určit celkový počet takto vyprodukovaných bodů. Mělo by se tak objektivně ukázat, jak byla která instituce produktivní, a tato produktivita by se měla vzít v úvahu při rozdělování veřejných prostředků na další období.

Foto: Stanislava Kyselová, Akademický bulletin
Své postoje k hodnocení vědy vyjádřili vědci například při happeningu Vážení vědy na piazzettě Národního divadla (říjen 2009).

Systém vznikl z dobrého úmyslu získat nástroj k odlišení institucí, jež produkují cenné výsledky (publikace v mezinárodních časopisech, vědecké monografie, mezinárodní patenty), od organizací, které produkují spíše jen „informační šum“, bezcenné výzkumné zprávy a publikace v obskurních časopisech. Problémy ovšem nastaly, když se část institucionálních prostředků začala rozdělovat přímo úměrně k počtu dosažených bodů. Tehdy se objevil i termín „kafemlejnek“ jako označení systému, do něhož se nasypou výsledky a ty se automaticky „přemelou“ na body (a ty zase prostou trojčlenkou na peníze). Ukázalo se, že v tomto systému lze snadno nahradit kvalitu kvantitou, že je problematické srovnávat bodové hodnocení podobných výstupů (vědeckých publikací) v různých oborech, že bodové hodnocení aplikačních výstupů je arbitrární. U některých subjektů to vede k produkci „bodů pro body“, což nemá nic společného s původním bohulibým záměrem objektivizovat výzkumnou produktivitu.
V případě vědeckých publikací má „kafemlejnek“ zabudovaný mechanismus, který v principu preferuje kvalitní výsledky – bodové hodnocení se odvíjí od kvality a prestiže časopisu, ve kterém byly výsledky publikovány, a bere v úvahu i oborová specifika. Problém ovšem je, že počet bodů za publikaci v opravdu vysoce prestižním světovém časopise je stejný nebo i nižší než za několik publikací v podprůměrných časopisech, které se dají „vyrobit“ mnohem snáze. Je také těžké objektivně určit, zda například odborný článek v kvalitním chemickém mezinárodním časopise má mít obdobný počet bodů jako článek v kvalitním matematickém či sociologickém časopise („srovnávání hrušek a jablek“). Je dobré si ale uvědomit, že v „předkafe­mlejnkové“ době se často jako měřítko výzkumné produktivity používal prostě celkový počet publikací stylem „kus jako kus“, bez ohledu na to, jestli šlo o články ze světově prestižního časopisu nebo z Podbrdských rozhledů. To je určitě ještě horší než „kafemlejnek“!
Přiznávám, že vznik „kafemlejnkového“ systému mám do značné míry na svědomí. V letech 2003–2005 jsem totiž byl předsedou jedné ze tří poradních komisí při tehdejší Radě pro výzkum a vývoj (RVV). V komisi pro oblast věd o živé přírodě a chemických věd tehdy působili mnozí význační vědci (Pavel Hobza – místopředseda, Michal Anděl, Milan Elleder, Josef Fulka, Jan Krekule, Michal Marek, Bohuslav Ošťádal, Václav Pačes, Blanka Říhová, Vladimír ­Viklický, Kamil ­Wichterle, Jan Zrzavý). Komise považovala za prioritu vypracovat návrh systému hodnocení kvality a produktivity výzkumných institucí. V té době totiž snahy o objektivizované hodnocení vědeckých institucí narážely na názory typu „my přece sami víme, kdo je dobrý“, případně „kvalitu vědecké práce hodnotit z principu nejde“; téměř všechny grantové projekty končily hodnocením „vynikající výsledky na světové úrovni“.
Výsledkem byl v roce 2004 návrh podobný současnému „kafemlejnku“, který přiřazoval body za publikace v závislosti na impaktovém faktoru příslušného časopisu normovaném „oborovým koeficientem“ založeným na třídění v informačním systému Web of Science. Od počátku bylo zřejmé, že existuje problém, jak ohodnotit aplikační výsledky, knihy a monografie, prezentace na významných konferencích (některé obory je považují za důležitější než časopisecké publikace), výsledky v humanitních oborech (výstavy a další ­podobné prezentace). Vzniklo postupně několik verzí návrhu, které sice předpokládaly vazbu mezi kumulativním počtem bodů a přídělem financí, ale upozorňovaly i na nutnost konečného „moudrého zhodnocení“ získaných údajů (kontrolu, zda nedochází k nějakému účelovému zneužívání systému, podvodům), ale také na nutnost vzít v úvahu „strategické“ aspekty (například cílenou selektivní podporu nově vzniklých institucí).
Jak nakonec návrhy definitivně dopadly, již mnoho nevím – na členství v komisi jsem rezignoval počátkem roku 2005 na protest proti postupu RVV v ostudné záležitosti Výzkumných záměrů vysokých škol, ukázkově zpackaných tehdejším Ministerstvem školství, mládeže a tělovýchovy. Jisté je, že systém přijatý na základě návrhu naší komise zprvu fungoval docela dobře – identifikoval instituce, které nevyprodukovaly téměř žádné reálné výsledky. Jakmile se ale systému zmocnili úředníci, kteří v něm našli jakýsi zázračný „objektivní“ nástroj, který z nich sejme zodpovědnost za rozhodování, a začalo se s přidělováním části institucionálních prostředků přímým převodem „kafemlejnkových“ bodů, vyjevily se zásadní problémy: špatná souměřitelnost různých oborů; nevhodnost systému pro některé obory (humanitní, technické, matematika), v nichž není nutné zveřejňovat výsledky publikováním v mezinárodních časopisech nebo ve kterých je korelace impaktových faktorů časopisů s „kvalitou“ problematická; snadné zneužití systému účelovou produkcí aplikačního balastu. Jako další zásadní problém se ukázalo použití přímé úměry mezi (problematickými) body a přidělovanými financemi a faktická stimulace výzkumníků k produkci (pod)průměrné kvantity na úkor skutečné kvality.
Přiznejme však, že na některých pracovištích měl „kafemlejnkový“ systém zjevně pozitivní efekt – zvýhodnil produktivní týmy na úkor týmů, které dlouhodobě produkovaly jen balast, jenž ani v „kafemlejnku“ nezabodoval. Vedoucím těchto pracovišť tak výsledky poskytly vítané „alibi“ k reorganizaci pracovišť.

Na zásadní vady „kafemlejnku“ poukázal nedávný audit, který provedla mezinárodní organizace Technopolis: „Použití Metodiky hodnocení pro účely institucionálního financování je nevhodné, protože deformuje chování, snižuje stabilitu výzkumného systému a je na překážku jeho výkonnosti. Obecně bere hodnocení v potaz nevhodné ukazatele.“
I kdyby existoval teoreticky „ideální“ kafemlejnek, který by spravedlivě oceňoval dosažené výsledky a neměl by výše uvedené problémy (což je zřejmě nemožné), bylo by problematické převádět tyto „spravedlivé“ body přímou úměrou na peníze a zohledňovat i poměrně malé bodové rozdíly. Určitý smysl by takový systém asi měl pro odhalení skutečně velkých (násobných) rozdílů, které by indikovaly ­reálné rozdíly v produktivitě posuzované jakýmkoli způsobem.
Nynější nedokonalý systém jistě funguje pro odhalení nejhoršího „suchého dřeva“, avšak nikoli pro identifikaci kvalitativních špiček a má tendenci odměňovat méně náročnou velkoobjemovou produkci průměrných či podprůměrných výsledků. Tisíc bodů za několik článků v nejprestižnějších světových časopisech je určitě mnohem cennější než stejný počet bodů za několikanásobně více článků v časopisech průměrných či ještě horších. Nynější systém je užitečný i pokud jej použijeme jako podklad pro srovnávání produktivity oborově blízkých pracovišť, a to ve velkých přírodovědeckých oborech (například různých ústavů či kateder zaměřených na molekulární biologii), v nichž jsou hlavním výstupem vědecké publikace v mezinárodních časopisech. Avšak i v tomto případě může docházet ke zkreslení typu „kvantita místo kvality“ – potřebné je tedy kvalifikované zhodnocení těchto podkladů.
Musíme si uvědomit, že i při použití solidního systému hodnocení základního výzkumu metodou „peer review“ využívají nezávislí odborní hodnotitelé v podstatě jakýsi „kafemlejnek“ – vyhodnocují především kolik a jak kvalitních odborných článků (posuzováno do značné míry podle impaktového faktoru časopisu) hodnocený subjekt vyprodukoval. „Kafemlejnkový“ systém může posloužit při rozumném použití jako užitečný, avšak nikoli absolutní nástroj.
Nevhodný je u oborů, v nichž má publikace v „impaktových“ časopisech relativně malý význam. Arbitrární kvantifikace různých výstupů například aplikovaného výzkumu nebo výzkumu v humanitních oborech může vést až k směšným absurditám (viz úvahy přidělovat uměleckým vysokým školám body například podle velikosti namalovaných obrazů nebo délky komponovaných skladeb…). Upřímně řečeno nevím, jak by se měla objektivně hodnotit kvalita a produktivita aplikovaného výzkumu a vývoje – jako samozřejmost asi každého napadne prokazatelná ekonomická návratnost; ta se ale zpravidla ukáže až po mnoha letech.
Závěrem – ano, skutečně jsem se významně podílel na vypuštění „kafemlejnkového džina“ z láhve, ale nijak se za to nestydím. I zde platí, že „všechno zlé je k něčemu dobré“. Jsem totiž přesvědčen, že někdejší návrhy naší poradní komise otevřely důležitou otázku, jak hodnotit kvalitu a produktivitu výzkumu, že vedly k opuštění ještě horšího stavu absence jakéhokoli hodnocení, respektive sčítání publikací „kus jako kus“, a že po zjištění, že primitivní použití „kafemlejnku“ je slepou uličkou, vbrzku dospějeme k něčemu lepšímu.

VÁCLAV HOŘEJŠÍ,
Ústav molekulární genetiky AV ČR, v. v. i.