Nová metodika hodnocení výzkumných organizací aneb co nás (možná) čeká

Začátkem února letošního roku schválila vláda dokument, který by měl během příštích pěti let změnit způsob hodnocení výzkumných organizací – tzv. „metodiku M17+“. Týká se všech výzkumných organizací, tedy i vysokých škol a nemocnic. Co má být jeho podstatou?


Zřejmou motivací Rady vlády pro vědu, vývoj a inovace, která M17+ předkládá, je zbavit se mechanického hodnocení bibliometrických a jiných parametrů metodou tzv. kafemlejnku. Ten byl od počátku terčem kritiky, oprávněné i neoprávněné. Jeho zavedení bylo proti předchozímu období, kdy byly peníze na vědu rozdělovány zcela subjektivně, určitě pozitivním krokem. Nevyřešil ale samozřejmě neřešitelné, zejména to, jak porovnávat exaktní vědy se společenskými a humanitními; a obsahoval řadu postupně odstraňovaných, či naopak nově zaváděných metodických chyb. Dokonce se začali objevovat „specialisté“ na získávání kafemlejnkových bodů pomocí článků v predátorských časopisech nebo formálních patentů a celý systém se časem přežil. V posledních dvou letech kvůli formálním tahanicím ani k hodnocení na celostátní úrovni nedošlo. Takže starý systém je mrtev, ať žije M17+!

Nový postup M17+ zcela nezavrhuje bibliometrické parametry či patenty (tedy alespoň v našich biomedicínských oborech), soustřeďuje se na výsledky nejvyšší kvality a přidává k nim panelové hodnocení odborníky. Využívat k tomu má pět modulů, a ty jsou v různé míře postaveny na třech hodnotících nástrojích: bibliometrické analýze, vzdálené recenzi, a konečně na místním posuzování komisemi odborníků.

  • MODUL 1 zahrnuje hodnocení vybraných (výzkumnou organizací poskytnutých) vynikajících výsledků v kategorii základního a aplikovaného výzkumu – neboli výběr toho nejlepšího, co má daná fakulta nebo nemocnice v RIVu.
  • MODUL 2 má sledovat výkonnost, neboli produktivitu, kvalitu a konkurenceschopnost najednou. V našem případě tedy opět především časopisecké výstupy, vztažené k velikosti vědeckého rozpočtu či počtu pracovníků.
  • MODUL 3 bude sledovat společenskou relevanci od ekonomického přínosu pro dané odvětví až po výchovu studentů. Jak se to bude dělat, dokument raději neuvádí...
  • MODUL 4 je zaměřen na schopnost výzkumné organizace získávat další prostředky z nestátních zdrojů, na mezinárodní spolupráci i třeba kvalitu řízení.
  • MODUL 5 se věnuje strategii a koncepci v rámci jednotlivých organizací a např. sebeevaluaci.

Na papíře vypadá koncepce jistě zajímavě, kromě prvních dvou „modulů“ působících logicky a proveditelně však okamžitě naskakují varovné signály. Jak bude zaručena objektivita panelového hodnocení (v Čechách se to zatím nikdy zcela nepodařilo, viz např. grantové agentury), jak zabránit manipulacím s různými číselnými údaji (počty pracovníků, rozpočty), formalismu („koncepce“ a „strategie“, v sepisování takových dokumentů jsme mistři) či definicí mezinárodní spolupráce. To nás ale nemusí příliš trápit, protože až do roku 2020 budou v praxi fungovat (pokud vůbec něco...) právě jen první dva moduly. Podle podrobnějšího čtení textu bude důraz kladen nikoli na kvantitu (tedy celkové počty „bodů“ za všechny publikace), ale spíše na kvalitu (publikace v časopisech v prvním kvartilu daného oboru podle WoS – v případě biomedicíny). Zajímavým detailem je zmínka o tom, že spoluautorství (a tedy podíl na vykazovaných výsledcích) nebude řešeno matematicky, ale posuzováno expertně – snad tedy už někdo chápe, jaký propastný rozdíl je skutečně vytvořit původní špičkový vědecký výsledek (tedy např. prvo- a/nebo seniorautorskou publikaci) nebo podílet se na něm spoluautorsky.

Celý dokument Metodika hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací je k dispozici na stránkách RVVI.

V dokumentu samozřejmě chybí řada detailů a přebývá trocha „newspeaku“ a žertovných procesních schémat. Nicméně celkově se jedná o zajímavý trend a snad i kvalitativní posun vpřed v posuzování výkonnosti a udržitelnosti výzkumu. Jako obvykle se ale vůbec nemluví o „drobnosti“ – a to jak, kdo a podle čeho bude rozdělovat peníze na vědu mezi jednotlivá ministerstva. Že se pak popereme o peníze s ostatními univerzitami a Akademií věd, je jasné, a možná dokonce podle férovějších pravidel – o kolik se ale popereme, to určí někdo vysoko nad námi a podle nejasných kritérií.

Otázkou samozřejmě zůstává implementace celého systému M17+ a jeho skutečný dopad na náš vědecký rozpočet. Změny od roku 2018 budou zřejmě (alespoň finančně) malé a pomalu se rozvíjející – a pak zas třeba nějaká nová vláda a její Rada přijde s další variantou hodnocení výzkumu...

prof. MUDr. Jan Trka, Ph.D.
proděkan pro vědu, výzkum a doktorské studium

Excelentní výsledky na 2. LF: naše publikace v prvním kvartilu za rok 2016

Nová metodika hodnocení kvality výzkumu M17+ navrhuje (mimo jiné) rozdělení publikací podle oborových kvartilů definovaných na Web of Science. Co to přesně znamená: v kategorii Hematologie (Hematology) je podle WoS celkem 70 časopisů, počínaje časopisem LEUKEMIA s IF=12,104 a konče ruským GEMATOLOGIYA I TRANSFUZIOLOGIYA s IF=0,114. Do prvního kvartilu oboru tedy patří 17 časopisů, na posledním 17. místě JOURNAL OF LEUKOCYTE BIOLOGY s IF=4,165. Pokud časopis patří do více oborů, proklouzne článek v něm také do kategorie 1. kvartil (1Q) – neboli jakéhosi měřítka excelence – pokud aspoň v jedné z kategorií do ní patří.

Podívali jsme se s dr. Kubešem z ÚVI, jak by vypadalo interní hodnocení takové „excelence“ na naší fakultě. Celkem za rok 2016 do kategorie 1Q spadlo 137 publikací – ve většině se jedná o spoluautorské publikace. Pokud se zaměříme jen na naše originální výsledky (= první a/nebo poslední autor je z 2. LF), zúží se seznam na pouhých 39 prací. Která pracoviště patří mezi nejúspěšnější?

S celkem 11 příspěvky vede Klinika dětské hematologie a onkologie – což je jistě správné, neboť je příjemcem největší porce z výzkumného rozpočtu fakulty. Následuje Pediatrická klinika s pěti zásahy, za ní pak Kardiologická klinika, Ústav mikrobiologie či Ústav imunologie se čtyřmi. Přispěly i Klinika dětské neurologie a Urologická klinika a po jednotlivých pracích další.

Co by přineslo toto „kvartilové“ hodnocení? Bezesporu zprůhlednění systému hodnocení – jak interně, tak mezi institucemi. Na rozdíl od smrště celkových dat z RIVu je výběr excelentních výsledků z 1Q přehledný a kontrolovatelný. Relativně dobře také vymezuje skutečně mezinárodně konkurenceschopné publikace a dobře si poradí i s mezioborovým porovnáním (tedy v rámci biomedicíny!). Pomůže institucím zaměřit se na jejich skutečně silné stránky a najít si pro zpřísnění rozpočtové politiky podpůrné argumenty. A snad pomůže i v debatách o tom, zda sbírka publikací v posledním kvartilu oboru skutečně zakládá „světový význam“, jak často slýcháme na zasedání vědeckých rad či čteme v grantových aplikacích.

Očekávanou námitkou bude arbitrárnost kritéria 1Q – ano, nepochybně časopisy těsně pod hranicí 1Q jsou stejně kvalitní jako ty nad ní. A potenciální demotivace publikovat méně závažné výsledky? Pořád tu budou granty vyžadující publikace výsledků, doktorandi potřebující původní práce k obhajobě i nutnost doložit širokou publikační aktivitu pro habilitační a jmenovací řízení. Jen oddělení skutečně excelentních výsledků však umožní definovat obory, na které se má výzkumná organizace zaměřit.

-jt-

 

Vytvořeno: 27. 3. 2017 / Upraveno: 29. 5. 2017 / Mgr. Ing. Tereza Kůstková