Hodnocení vědeckých výsledků – na fakultě, univerzitě a výše...

Jen několik věcí dokázalo zahýbat akademickou obcí 2. LF v loňském roce – vedle nastavování nových vztahů s FN Motol to byly některé změny v hodnocení vědeckých výsledků. Vedení fakulty výrazně omezilo počet kategorií hodnocených výstupů (zmizela abstrakta všech druhů, nevykazují se monografie, učebnice, skripta) a omezila se váha česky psaných publikací v časopisech bez impact factoru (IF). Tyto změny nejsou samozřejmě zásadní a celkově systém hodnocení navazuje na hodnocení zaváděné postupně předchozím vedením fakulty (osou systému zůstávají publikace v mezinárodních časopisech).
 
Co nás tedy vedlo ke změnám a jak vypadá srovnání našeho současného systému s tím, který používá Rada vlády pro výzkum a vývoj (RVVV) a Universita Karlova (UK)?

 
Proč ne abstrakta a monografie
Abstrakta ve své naprosté většině nevypovídají nic o kvalitě dosažených výsledků. Jak víte, řada konferencí přijímá (téměř) vše a oponentský proces je buď žádný anebo symbolický. Jistě, jsou výjimky, ale jak je spolehlivě odlišit?
Stejně obtížnou kategorií (z hlediska posuzování) jsou i knihy. Knihy jsou různé, malé, velké, tlusté, i drobné sešitky; v nákladu tisíců i 30 výtisků. Některé jsou vydávány předními světovými nakladatelstvími, jiné jsou sponsorované firmami. Nikdo nemůže sestavit poctivá kvantitativní i kvalitativní kriteria, která by všechny myslitelné kategorie popsala. Navíc – odpusťte mi můj možná mírně provokativní názor – monografie a učebnice přece nejsou primárním výstupem vědecké práce. V moderní biomedicíně jsou už mnoho desítek let výhradním výstupem vědecké práce časopisecké publikace. A musíme stále mít na mysli, že naším úkolem není vytvořit jakýsi žebříček pracovišť na 2. LF sestavený z různých ukazatelů, ale právě jen porovnat finanční vstupy s vědeckou výkonností.
Skutečně významné knihy je možno využít v další, nezávislé kategorii hodnocení výkonu pracovišť – v kategorii jiných úspěchů.
 
Proč tak málo bodů za publikace v časopisech bez IF
V Česku vychází mnoho desítek odborných časopisů – nejrůznější úrovně. Řada z nich má problémy s prostým naplněním obsahu jednotlivých čísel. Jako v předchozích případech, odlišení těch několika výjimečných časopisů je nemožné. Bodové ohodnocení, které se českým článkům dostává v našem systému, proto odpovídá časopisu s velmi nízkým IF. Podle našeho názoru je to v tuto chvíli optimální kompromisní řešení.
 
Jaký je přístup RVVV a UK
Především je třeba zdůraznit, že RVVV se začala seriosně zabývat hodnocením vědeckých výsledků příjemců státní podpory. Jinými slovy – kolik výstupů jednotlivé instituce přinášejí a kolik na to do nich musel stát formou nejrůznějších typů podpory investovat. Obě instituce (RVVV a UK) se prozatím pro hodnocení vědeckých výsledků shodly na jednoduchém bodovacím systému, který se od našeho příliš neliší.
 
Jaké jsou výsledky
Snad trochu překvapivé, pro vysoké školy ale potěšitelné. Efektivita výzkumu je nejvyšší na veřejných vysokých školách – vyšší než na ústavech Akademie věd a téměř dvojnásobná ve srovnání s přímo řízenými výzkumnými ústavy (kdo zná situaci, možná ani tolik překvapen není...). Průměrný výkon je 19,15 uznaných výsledků na 1 milion Kč (jak se bodují výsledky viz níže), vysoké školy mají průměr 38,4. Naše fakulta má 26,15 bodu, umístila se za plzeňskou a 3. lékařskou fakultou a před hradeckou a 1. lékařskou. Ještě lépe pro nás vypadá situace, podíváme-li se na nejpodstatnější výstupy – publikace v časopisech s IF. Umisťujeme se mezi lékařskými fakultami UK hned za 1. LF a dokonce máme vyšší průměrnou impactovou hodnotu na jednu publikaci.
Celkově však pro ČR výsledky tak potěšitelné nejsou: stoupá sice celkový počet publikací, nikoli ale těch s IF. Logicky proto také (až na čestné oborové výjimky) nestoupá citovanost – jeden z hlavních ukazatelů „vědecké vyspělosti“ země. V průběhu posledních 5 hodnocených let (2001–2005) však došlo k masivnímu nárůstu investovaných peněz (asi o 30 %). Přestože si můžeme myslet ledacos o kličkách, kterými se některé části rozpočtu dostávají do kategorie „investice do výzkumu a vývoje“, zřetelná diskrepance tu je. Jak se k tomu chce stát postavit?
 
Jaké jsou další plány a trendy
Zatím se podle výsledků statistik RVVV neřídí nic. Zásadní změna by ale měla nastat v roce 2011, kdy doběhne poslední vlna výzkumných záměrů. Financování by se pak mělo přímo řídit jednoduchou matematikou – kolik výstupů, tolik peněz od státu (tedy něco jako známý a populární „finský model“). Samozřejmě, že zůstanou některé resortní grantové agentury – zásadní institucionální financování by se však mělo vydat touto novou cestou. Takže v nepříliš dlouhém (z hlediska plánovaní, rozpočtů, vesmíru atd.) „přípravném“ období musíme udělat jako fakulta i jako jednotlivé týmy vše pro to, abychom hodnotitelných výstupů dosáhli co nejvíce.
Pohled UK i RVVV na vývoj hodnocení výstupů je tedy podobný tomu, který jsme přijali na naší fakultě. Prorektor Gaš předpokládá snižování významu časopiseckých publikací bez IF a monografií (týká se biomedicínských a dalších přírodovědných oborů), vyřazení tzv. článků ve sbornících (sem patří i účelové publikace „zaplevelující“ literaturu i database). České patenty mají být hodnoceny pouze tehdy, budou-li realisované.
 
Jak jsou tedy nyní hodnoceny publikace v databasi RIV
Anglicky psaná publikace v časopise s IF je hodnocena takto:
4+(10xIFčasopisu/medián IFoboru)
Česká publikace dostane 1 bod a kniha v češtině 5 bodů.
Prakticky to znamená následující: článek v časopise Paediatrics přinese instituci 42,77 bodu, článek v European Journal of Paediatrics 16,54. V oboru patologie článek v Modern Pathology přinese 25,1 a článek v Human Pathology 19,7 bodu. Jinými slovy, článek v nadprůměrném časopise v oboru „poráží“ vše, článek s IF okolo mediánu několikanásobně převáží jakoukoli knižní publikaci. (Impactovou hodnotu článku budeme i na fakultě vypočítávat z poměru k mediánu oboru)
 
Závěr
Nový způsob hodnocení vědeckých výstupů na naší fakultě vzbudil řadu negativních ohlasů. Je to pochopitelné, jedná se o změnu. Nicméně je vidět, že náš systém je v kontextu universitním i širším správně nastaven. Pomůže nám připravit se na blízkou budoucnost, ve které pro získání vědeckých dotací budou platit stejně tvrdá pravidla jako jinde ve světě.
 
-jt-

Vytvořeno: 17. 5. 2007 / Upraveno: 1. 2. 2019 / Administrátor 2. LF UK