Oficiální časopis Akademie věd ČR

 


Z monitoringu tisku

 

Akademický bulletin 2010–2015

Plakat_obalky_web.jpg



Stopy AB v jiných titulech

Stopa AB v dalších médiích a knižních titulech

Abicko  > archiv  > 2005  > září  > obsah

"Impact Factor" a hodnocení kvality vědeckého časopisu

Obrázek k článku Obrázek k článku Obrázek k článku 

Usnesení Rady pro výzkum a vývoj (dále jen Rada) ze 204. zasedání dne 10. června 2005 ve svém bodě B 7), Návrh metodiky hodnocení výzkumu a vývoje a jejich výsledků v roce 2005 praví: \"Rada souhlasí s návrhem Metodiky hodnocení výzkumu a vývoje a jejich výsledků roce 2005 a ukládá rozeslat ho do meziresortního připomínkového řízení.\"

Uvedenou Metodiku se mi nepovedlo najít ani na www stránkách Rady, ani na stránkách Akademie věd ČR. Z diskuse, která předcházela projednávání této Metodiky v Radě, byl zřejmý různý přístup k hodnocení kvality výsledků vědeckého bádání, alespoň co se týká návrhu Odborné komise Rady vlády pro vědu a výzkum (OK RVV). Součástí zápisu z jednání OK RVV pro vědy neživé přírody a inženýrství ze dne 18. 4. 2005 byl i návrh kritérií pro hodnocení efektivnosti vědy a výzkumu, který oceňoval publikace v tzv. impaktových časopisech hodnotou 10 bodů krát impakt faktor (IF) časopisu normovaný k mediánu IF dané skupiny časopisů dle ISI (vysvětlení ISI je uvedeno níže). Práce ve "vybraném" recenzovaném časopise bez IF by měla obdržet paušálně pět bodů. Absurdita tohoto hodnocení byla v tom, že práce v podstatně méně kvalitním časopise může být hodnocena lépe než práce v mnoha časopisech s IF. I když tento návrh nakonec Rada (podle neoficiálních informací) neakceptovala a práce v jekémkoliv neimpaktovém časopise má být oceněna jedním bodem, domnívám se, že je načase se (opět jednou) zamyslet nad parametrem zvaným "Impact Factor", zejména nad tím, do jaké míry vyjadřuje kvalitu vědeckého časopisu – alespoň podle standardního, mezinárodně vžitého chápání pojmu "kvalita výsledku vědeckého bádání".

Je zřejmé, že základním atributem vědy je diskuse: sdělování nových poznatků a tříbení nazorů. Ohlas na vědeckou práci vyjádřený jejími citacemi v pracích kolegů z vědecké komunity by tedy mohl být nejpravdivějším měřítkem její kvality a jejího významu pro obor. Naneštěstí sledování citovanosti má několik praktických úskalí – jednak je třeba definovat právě okruh periodik, která budou zohledněna, jednak příslušné období pro jejich sledování. Znamená to vydělit odborné časopisy s jistým "prahovým významem" pro odbornou komunitu. Pro tuto kategorizaci se celkem přirozeně nabízí procedura ISI (ISI Web of Knowledge firmy Thomson Scientific se sídlem ve Philadelphii, USA), kterou tato společnost vybírá okruh sledovaných periodik. Se sledovaným obdobím je větší potíž, protože jsou práce s ohlasem "rychlým" a "pomalým", viz poločas citovanosti používaný právě ISI. Ohodnocení kvality samotné vědecké publikace se uskutečňuje v recenzním řízení odborného časopisu, kde se uchází o zveřejnění, a po kladném výsledku nezbývá než věřit v její kvalitu. Recenzní řízení, jemuž delegujeme takovou pravomoc, musí být dostatečně přísné, odborně zdatné, nezávislé a prosté osobních nebo lokálních zaujatostí, tedy mezinárodní v pravém slova smyslu.

Rozeberme si, alespoň ve stručnosti, proces posuzování kvality vědeckých časopisů společností Thomson ISI, který končí zveřejněním časopisu v seznamu Journal Citation Reports (JCR), jinými slovy zveřejněním jeho IF. Samotný IF je prostý podíl citací v daném roce a článků vytištěných v daném časopise v předchozích dvou letech. Bohužel, tento scientometrický údaj se často používá jako jediný ukazatel "kvality" časopisu. Nicméně ISI sleduje celou řadu ukazatelů, které ve svém souhrnu představují celkovou kvalitu časopisu. Každý rok ISI sleduje asi 2000 nových časopisů (kdokoliv může navrhnout ke sledování jakýkoliv časopis). Pokud časopis vyhoví v celém souhrnu parametrů náročným kritériím (každoročně je to asi 10–12 % z nově sledovaných), je uveden nejdříve na tzv. Master List k dalšímu sledování. Po dalších asi 2–3 letech "kvality" je zahrnut do největší referenční databáze Web of Knowledge (resp. Web of Science, WoS). Nakonec, při zachování své "kvality", je zahrnut do JCR, tzn. je zveřejněn jeho "oficiální" IF. V současné době obsahuje Master List téměř 14 000 časopisů (většinou periodicky, ale i občasně vycházejících), z nichž je více než 8600 v databázi WoS. Ta pokrývá více než 200 různých oborů. V posledním JCR za rok 2004 bylo celkem 5968 časopisů s nejvyšším IF 52.431 (Annu. Rev. Immunol.), u 35 z nich nebyl IF uveden, dalších 15 mělo IF 0.000.

Mezi sledované parametry, které ve svém souhrnu vyjadřují kvalitu časopisu, patří např.: dochvilnost, včasnost vycházení časopisu; výstižnost názvů, klíčových slov a abstraktů článků; geografický význam časopisu; mezinárodní charakter redakční rady, odběratelů a autorů; několik citačních faktorů (IF je pouze jedním z nich); podíl auto-citací (autorů i časopisu); kvalita recenzního procesu (z hlediska mezinárodních nároků); publikační aktivita redakční rady a pod. Podrobný popis lze najít na adrese http://www.isinet.com/essays/selectionofmaterialforcoverage/199701.html.

Pokusili jsme se, alespoň přibližně, na základě veřejně dostupných údajů, porovnat některé z těchto kvalitativních ukazatelů pro dva časopisy, které jsou uváděny v JCR (Studia Geophysica et Geodaetica, s IF 0.447 pro rok 2004 a Geologica Carpathica – vydáván SAV v Bratislavě, s IF 0.494), se dvěma dalšími časopisy z tohoto (resp. velmi blízkého) oboru, které taky vycházejí v ČR (Acta Geodynamica et Geomaterialia a Bulletin of Geosciences). Tímto srovnáním nikterak nezpochybňujeme tradici jednotlivých časopisů, ani jejich místo v příslušných vědeckých komunitách. Pouze se snažíme poukázat na to, že zveřejnění IF vyjadřuje nezpochybnitelnou kvalitu v mnoha parametrech, a byť je definován jako prostý podíl citací a počtu článků za určité období, akt jeho zveřejnění je dostatečnou zárukou kvality, jak ji asi půl století sleduje ISI.

Mezinárodní charakter autorů
Z www stránek jednotlivých časopisů jsme analyzovali první autory jednotlivých článků z hlediska jejich země původu za poslední tři roky (2002–2004, v případě Acta Geodyn. Geomater. je pro roky 2002–2003 počítáno s Acta Montana A, B, nepočítali jsme se sérií AB, která obsahuje disertace a zprávy z grantů). Z výsledků (tabulka 1) je zřejmé, že geologicky orientovaný časopis Geol. Carpath. soustřeďuje články z regionu a převážnou část tvoří autoři z Polska, ČR a Slovenska. U obdobně zaměřeného Bull. Geosci. je tento mezinárodní charakter výrazně slabší, když autoři ze samotné ČR představují až 72 % všech prvních autorů. V případě Acta Geodyn. Geomater. je tento ukazatel ještě méně příznivý, kdy z ČR je sice taky 72 % všech prvních autorů, ale zahraniční autoři pochází z pouze pěti různých zemí (včetně ČR) a pouze dva články jsou původem mimoevropské. Stud. Geophys. Geod. má nejpestřejší strukturu původu autorů.

Charakter redakčních rad
Srovnali jsme redakční rady, uvedené na www stránkách časopisů, z hlediska jejich mezinárodního charakteru a publikační aktivity podle databáze WoS v roce 2002. Z výsledků (tabulka 2) je zřejmé, že zatímco členové redakční rady Stud. Geophys. Geod. pochází z 10 zemí dvou kontinentů, byli v roce 2002 publikačně nejaktivnější a jejich práce jsou nejvíce citovány, mezinárodní charakter redakční rady Bull. Geosci. je z tohoto pohledu méně výrazný a v případě Acta Geodyn. Geomater. lze stěží mluvit o mezinárodním charakteru a aktivitách redakční rady (z celkem devíti členů je sedm domácích, jeden je původem Čech, působící ve Švédsku, a jeden z Polska, s jediným záznamem ve WoS jako spoluautor článku z roku 1996). Časopis Geol. Carpath. jsme do tohoto hodnocení nezahrnuli, protože není z jeho www stránek jasná role členů Vědecké rady, Poradního sboru a Výkonného výboru.

Citační ohlas
Protože je zřejmé, že cílem vědeckého bádání je rozšířit současné poznání o nové znalosti a ty zpřístupnit co nejširšímu okruhu odborníků z dané oblasti, o kvalitě publikací do značné míry vypovídá citační ohlas. Srovnali jsme celkový počet citací, které jsou uváděny v databázi WoS od roku 1980, ke všem článkům v historii jednotlivých časopisů. Neuvádíme zde celkový počet článků, ani počet článků bez jakékoliv citace. Nicméně údaje lze alespoň přibližně porovnat, protože všechny časopisy mají dlouholetou tradici. Výsledky jsou uvedeny na obr. 1 ve formě histogramu s logaritmickou osou pro četnost výskytu citací. Z uvedeného je zřejmé, že Stud. Geophys. Geod. a Geol. Carpath. mají slušný citační ohlas, odpovídající jejich IF. Bull. Geosci. má také nezanedbatelný citační ohlas. Nicméně v případě Acta. Geodyn. Geomater. je citační ohlas velmi nízký, s nejčastějším výskytem jedné citace a s jediným výskytem nejvíce sedmi citací.

Závěrem, pro posouzení kvality dvou sledovaných IF časopisů (Stud. Geophys. Geod. a Geol. Carpath.) v kontextu celé této vědní oblasti, uvádíme základní statistiku hodnot IF za rok 2004 pro časopisy ze skupiny Geofyzika a geochemie, Geologie a Geovědy, Multidisciplinární (tabulka 3). Tabulka 4 uvádí údaje několika příbuzných časopisů s podobným IF a "špičkových" časopisů v daném oboru. Je tudíž zřejmé, že kvalitativní rozdíl (při zvážení několika parametrů, které jsou sledovány i ISI) mezi demonstrovanými dvěma typy časopisů rozhodně neodpovídá poměru navrženému v zápise OK RVV. Navíc, vzhledem k tomu, že bodové ohodnocení článku v časopise s IF je vztaženo k medianu IF dané skupiny časopisů, v případě 17 (13 %) geovědních časopisů by byla bodová hodnota článku menší než pět, t. j. menší než ve vybraném časopise bez IF (dle původního návrhu OK RVV). V případě několika dalších ISI skupin časopisů o neživé přírodě a inženýrství by byly takto podhodnoceny publikace až ve více než 30 % časopisů s IF, tudíž z mezinárodního hlediska kvalitních.

Z uvedého rozboru je evidentní, že zveřejnění IF je až na konci dlouhého procesu hodnocení celé řady parametrů. IF sice představuje prostý podíl citací a počtu článků za určité (krátké) období a každá jednotlivá vědní oblast má své typické rozdělení hodnot IF, nicméně skutečnost, že ISI zveřejňuje IF daného časopisu, má dostatečnou vypovídací hodnotu o jeho kvalitách (dle mezinárodně uznávaných hledisek), což nelze říci o časopisech bez zveřejněného IF (i když matematicky můžou mít tento parametr větší než 0). Aby se vědecký časopis "uvedl" do této "elitní" skupiny impaktových časopisů, musí se nejdříve nutně dostat na ISI Master List, seznam periodik, u kterých ISI sleduje jejich kvalitu. Z geovědních časopisů vycházejících v našem regionu (ČR a SR) jsou to Acta Universitatis Carolinae Environmentalica, Acta Universitatis Carolinae Geologica, Bulletin of Geosciences a Acta Geologica Universitatis Comenianae.

Dr. Eduard Petrovský,
Geofyzikální ústav AV ČR,
technický redaktor Studia Geophysica et Geodaetica