Zkušenosti z hodnocení ústavů AV ČR a jejich útvarů za období 2005–2009 a doporučení Vědecké rady pro příští hodnocení

Vědecká rada připravila pro vedení Akademie věd ČR souhrn zkušeností získaných při hodnocení vědecké činnosti AV ČR, jejích ústavů a jednotlivých útvarů v období let 2005–2009. V souladu se svým posláním zároveň předložila i soubor doporučení pro budoucí hodnocení, které by mělo dle současných předpokladů proběhnout cca za šest let. Vycházela přitom mimo jiné z postřehů, které jí zaslali na vyžádání předsedy Vědecké rady AV ČR Jiřího Čtyrokého hlavní aktéři hodnocení (místopředsedové vědních oblastí, členové Řídicí skupiny, předsedové osmi hodnoticích komisí a ředitelé ústavů) a které v úhrnu čítaly víc než 80 stran textu. Z následné diskuse na jednání Vědecké rady AV ČR 23. února 2012 vyplynuly následující závěry.

A) Hlavní klady hodnocení ukončeného v roce 2011
Vědecká rada AV ČR se ztotožňuje s názorem převážné většiny respondentů, že Akademie věd ČR projevila zdravé sebevědomí, když se rozhodla provést hodnocení svých ústavů až na úroveň výzkumných útvarů. Otevřela tím novou cestu pro organizaci a evaluaci české vědy v budoucnosti.
I přes některé nesporné nedostatky nejenže nebyl nikým ze zúčastněných význam tohoto hodnocení zpochybněn, ale vcelku panovala shoda, že je lze považovat za nejlepší z dosud u nás uskutečněných.
Příspěvky respondentů často obsahovaly explicitně nebo implicitně i náměty na zlepšení hodnoticího procesu. Z nich vychází i následující souhrn doporučení Vědecké rady AV ČR.

B) Klíčové problémy ukončeného hodnocení a návrhy na jejich možné řešení v budoucnu

1) Hodnocení pracovišť až na úroveň jednotlivých útvarů
Popis stavu:
Hodnocené útvary byly často účelově vytvářeny pro potřebu tohoto hodnocení. Definice hodnocených útvarů tak byla mnohdy pracná a problematická.
V příspěvcích respondentů se také často objevuje potřeba hodnotit útvary v kontextu celých pracovišť. Celkové hodnocení pracovních skupin by mělo být součástí hodnocení pracoviště, protože pracoviště není jen suma pracovních útvarů, ale „organismus vyššího řádu“.
Hodnoticí komise i zahraniční posuzovatelé se přirozeně snažili postihnout funkci útvarů v celku pracoviště, ale v ad hoc vytvořeném členění to bylo obtížné.
Návrh řešení:
Hodnotit pracoviště (ústavy) až na úroveň jednotlivých útvarů v jejich obvyklém členění, zakotveném např. v organizačním řádu pracoviště.
Ústavy využijí svého již existujícího členění, odpadnou přípravy a někdy zdlouhavé diskuse s komisemi o tvorbě útvarů. Odpadnou i pochybnosti o spojování útvarů do větších celků s cílem zakrýt slabší články. Bude možné posoudit i to, jak ústavy zajišťují svá vnitřní hodnocení útvarů. Při tomto členění se zahraniční posuzovatelé budou moci vyjádřit i k pracovišti jako celku, nejen k útvarům podle své specializace.
Tato úprava zachová a prohloubí princip hodnocení nejen výsledků samotných, ale umožní posoudit je i v kontextu jejich vzniku.

2) Hodnocení výsledků útvarů podle kritérií
Popis stavu:
Hodnocení se realizovalo známkováním různých kritérií
(A: Kvalita a výsledky vědecké činnosti; B: Přínos pro společnost; C: Mezinárodní spolupráce; D: Úroveň řízení; E: Další aktivity, tedy grantová činnost, vedení doktorandů a kvalifikační růst) s předem přidělenou vahou. Výsledky pro jednotlivá kritéria byly agregovány do výsledné známky pro útvar. Hodnocení různých útvarů však v zásadě musí být multikriteriální a agregace do výsledné známky je důležitá až pro manažerské rozhodování. Navíc nebylo předem jasné, jak budou agregované známky nakonec využity k zařazení ústavů do kategorií pro ­financování.
Je třeba přitom uvážit, že pro různé útvary nebo ústavy mají kritéria různou závažnost. Dalším problémem bylo, že při hodnocení kritéria A hodnoticí komise nebyly omezeny v udělování nejlepších známek, což vedlo k přirozenému sklonu dávat dobré známky. Samotný princip ocenění útvarů známkou se mnohdy ukazoval jako nedostatečný, což vedlo ke zjemňování stupnice v rozporu s původním pokynem.
Agregace do výsledných známek měla ještě dva další neblahé důsledky, kterým je lépe se napříště vyhnout:
a) Snaha vzájemně srovnat náročnost hodnocení ve výsledných známkách od různých komisí vedla Akademickou radu ve třetím stadiu hodnocení k úpravám, které byly všeobecně vnímány jako narušení předem stanovených pravidel vědeckého hodnocení (viz také bod 6).
b) Veřejně oznámené výsledné známky nabízejí mediálně lákavou zkratku, která ničemu neprospívá.
Návrh řešení:
Navrhujeme upustit od přidělení vah jednotlivým kritériím a neprovádět agregaci hodnocení do výsledné známky útvaru (viz také bod 6 o následném manažerském rozhodování). Navrhujeme také znovu zvážit roli známek nebo i možnost upustit od udělování známek úplně.

3) Hodnocení útvarů z hlediska jejich perspektivy
Popis stavu:
Hodnocení je významnou součástí procesu, který ovlivňuje budoucí směřování Akademie. Kritéria hodnocení byla však zaměřena především na již dosažené výsledky, tedy na minulost. Předpoklady útvaru k úspěšnému budoucímu výzkumu (např. útvaru tvořeného mladými pracovníky nebo nově vzniklého útvaru) se objevovala jmenovitě jen v části kritéria D (úroveň řízení).
Návrh řešení:
Odhad perspektivnosti útvarů by měl být samostatným kritériem v hodnocení.
Zařazení tohoto kritéria nabízí ostatně zpětnou vazbu i pro samotný proces hodnocení, protože v příštím hodnocení bude možno s odstupem posoudit, jak dobrý byl odhad hodnotitelů.

4) Transparentnost hodnocení
Popis stavu:
Podrobné výsledky hodnocení v rámci kritérií i od jednotlivých posuzovatelů jsou velmi důležitou zpětnou vazbou pro účastníky hodnocení na všech úrovních. Veřejně však byly dostupné jen známky, nikoli posudky. Navíc agregace do výsledných známek informační obsah zpětné vazby znehodnotila, protože je v rozporu s potřebou multikriteriálního pohledu.
Návrh řešení:
Vědecká část hodnocení by měla být veřejná. Posudky zahraničních posuzovatelů stejně jako výsledná hodnocení komisemi (bez agregace) by rovněž měla být veřejně dostupná.
Patřičné zveřejnění všech posudků a výsledků hodnocení by odstranilo problémy vyplývající z nedostatku informací v průběhu hodnocení (např. někteří zahraniční hodnotitelé neznali hodnocení komisemi). Zveřejnění posudků by vedlo i k větší osobní odpovědnosti posuzovatelů.

5) Koordinace postupu jednotlivých hodnotitelských komisí
Popis stavu:
Jednotlivé hodnoticí komise uplatňovaly kritéria často odlišně a s různou mírou přísnosti. To bylo jedním z důvodů, proč do práce komisí zasahovala Řídicí skupina a proč nastaly některé úpravy v hodnocení až po skončení práce komisí (oba tyto jevy mnozí respondenti kritizovali).
Návrh řešení:
Vědecká rada navrhuje pro koordinaci postupu jednotlivých hodnotitelských komisí vícestupňovou hierarchii hodnotitelských grémií, například následovně:
A) Hodnoticí komise pro příbuzné vědní disciplíny.
B) Hodnotitelská grémia pro jednotlivá oddělení věd.
C) Celoakademické hodnoticí grémium.
Grémia pro jednotlivá oddělení věd by mohla být složena z předsedů a zástupců hodnoticích komisí. Kromě sjednocování kritérií by mohla postihnout i případy, kdy se stejná nebo velmi podobná tematika řeší na různých pracovištích hodnocených různými komisemi.
Celoakademické hodnoticí grémium by si mělo vytvořit i mechanismus pro vypořádávání připomínek vzniklých v procesu hodnocení, a to nejlépe vytvořením pracovní skupiny ad hoc, v níž by zasedali především specialisté v příslušném vědním oboru.

6) Důsledné oddělení vědeckého hodnocení a manažerského rozhodování
Popis stavu:
Hodnocení zadávala AR hodnoticím komisím jako formu auditu, který nakonec sloužil mj. i k rozdělení pracovišť do kategorií pro další financování. Z toho plynulo směřování celého procesu k označování útvarů výslednou jedinou známkou (1–5) a nakonec k rozdělení pracovišť podle průměru známek do kategorií (Ia, Ib, IIa, IIb a III) pro financování.
Návrh řešení:
Agregace výsledků do výsledné známky za účelem rozdělování financí již není součástí vědeckého hodnocení, nýbrž jako manažerské rozhodnutí je plně v kompetenci Akademické rady. Je proto žádoucí tuto fázi jasně oddělit od vlastního vědeckého hodnocení prováděného komisemi, resp. grémii.
Nezastupitelnou úlohou Akademické rady je na základě výsledků vědeckého hodnocení a dalších kritérií (nákladovost oboru, perspektiva pracoviště aj.) rozhodnout o výši finanční podpory ústavů, projednat tato rozhodnutí s řediteli a předložit je ke schválení Akademickému sněmu. Takový postup je ostatně v souladu s plánem hodnocení, který byl sdělen ředitelům hromadným dopisem předsedy AV ČR v únoru 2011. Tento proces je svou povahou neveřejný, je nicméně také třeba předem určit způsob vyřizování případných odvolání a eventuálních korekcí rozhodnutí Akademické rady.

Závěrem by Vědecká rada chtěla vyjádřit přesvědčení, že tyto změny pomohou pokročit Akademii věd na již zahájené cestě, která směřuje v prvé řadě k hodnocení kvality týmů (a potažmo ústavů), protože to je důležitější než sledování kvantity dosažených výstupů.

Vědecká rada Akademie věd ČR