Diskuse: Citovanost – samoúčely – slepé uličky a peer review

Ostatní |

Nevím, kdo vědě škodí víc. Jestli ti, kteří scientometrii ignorují, a nebo ti, kteří jí přisuzují vlastnosti, jež nemá, a mechanicky sčítají a porovnávají hodnoty, které se sčítat a porovnávat nedají.




Nevím, kdo vědě škodí víc. Jestli ti, kteří scientometrii ignorují, a nebo ti, kteří jí přisuzují vlastnosti, jež nemá, a mechanicky sčítají a porovnávají hodnoty, které se sčítat a porovnávat nedají.
Horší jsou asi přece jen ti první, nicméně o skutečné vypovídací hodnotě scientometrických parametrů by se před jejich používáním k hodnocení vědecké práce (Vesmír 80, 548, 2001) měla vést diskuse. Do této diskuse bych rád přispěl níže uvedeným nikoli jako vědecký pracovník, člen nějakého vědeckého orgánu nebo zaměstnanec vědecké instituce, ale jako občan České republiky, který spolufinancuje vědu ze svých daní a má bytostný zájem na tom, aby věda u nás už co možná nejdřív začala fungovat lépe než dosud. Na rozdíl od první poloviny devadesátých let se v tomto směru podle mého názoru za posledních pět let mnoho neudělalo.
Prvním předpokladem správného používání scientometrických parametrů je jejich řádná evidence, snadná dostupnost a veřejná kontrola. Proto sdílím nadšení z širokého používání Web of Science, které nedávno ve svém článku vyjevili Václav Hořejší a Pavel Hobza (Vesmír 80, 548, 2001).
Je skvělé mít možnost podívat se, s kým mám tu čest, když jsem zvolen do nějakého vědeckého orgánu nebo když čtu nějaký kritický článek. Každý, kdo má ve vědě nějakou pravomoc, by měl mít na Web of Science úctyhodný záznam, protože v opačném případě rozhoduje o něčem, čemu nemůže dostatečně rozumět. Měli bychom si dávat pozor, aby českou vědu neovládli nic užitečného neprodukující byrokrati, kteří mohou snadno vzniknout i z bývalých vědeckých pracovníků.
Web of Science má také tu skvělou vlastnost, že odfiltruje příspěvky, které nestojí ani za evidenci. Občas sice neuvede i nějaký cenný příspěvek, což ale vůbec nezpochybňuje objektivitu ani výpovědní hodnotu údajů uvedených ve Web of Science. Její klíčový význam pro recenzování rukopisů a projektů je zřejmý. Na konci článku Hořejšího a Hobzy věnovaného Web of Science je ale uvedeno, že "citovanost je nejobjektivnějším a nejdůležitějším kritériem vědecké práce". S tímto tvrzením se nemohu ztotožnit a níže se pokusím vysvětlit proč.

Od autorů výše uvedeného článku se méně či více liším tím, že přinejmenším na úrovni Scientific American sleduji a recenzuji projekty a články v širokém spektru oborů počínaje matematikou a fyzikou a konče molekulární ekologií a medicínou. Dominantou vyplývající z této činnosti je údiv nad tím, jak s odlišnou efektivitou jednotlivá vědní zaměření transformují získané finanční prostředky do zajímavých nebo užitečných informací. Při tomto tvrzení nemám na mysli desítky ani stovky procent, ale celé řády.
Jinými slovy chci říci, že k celkové sumě poznání přispívají jednotlivá vědní zaměření dramaticky odlišným způsobem. S citovaností tyto dramatické odlišnosti korelují málo, pokud vůbec, takže mechanicky pojatá citovanost nemůže být považována za nejdůležitější kritérium hodnoty vědecké práce. Objektivní je citovanost ještě méně, čímž nemám na mysli neobjektivitu lidskou, ale odlišnosti mezi vědními zaměřeními, které nejsou dány jen jejich zvyklostmi.
Nyní bych si dovolil uvést několik hypotetických (abych někoho neurazil) a mírně (ale ne moc) přehnaných (aby vynikla podstata) příkladů toho, jak je ve vědě možné získat i tisíce citací, aniž člověk cokoli objevil, zajímavého či užitečného zjistil nebo jakkoli jinak přispěl k poznání. Začal bych obecnou úvahou vyplývající ze širokospektrální činnosti, o které jsem se zmínil výše. Z mých pozorování plyne, že věda se vyvíjí v ostrůvcích tvořených lidmi, kteří používají stejné techniky, mluví stejným žargonem, snaží se řešit podobné problémy (nebo pseudoproblémy) a mají stejnou ideologii.
Ono do vědy zjevně nepatřící slovo ideologie jsem použil záměrně, protože to odráží mou zkušenost. V současné vědě je totiž ideologie až hrůza. Možná by namísto ideologie mělo být použito sousloví nepřemýšlivý dogmatismus nebo ještě spíše nadřazování oborových a osobních zájmů vědecké pravdě. O tu jako by nikdo nestál. Vědecká pravda vzniká poctivou argumentací, nikoli hlasováním nebo jiným typem politického rozhodnutí. Hořejší a Hobza hovoří o tom, že věda je až příliš lidská. K tomuto tvrzení se připojuji a můj výrok o ideologii je toho dokladem.

Ideologicky (zájmově) definované ostrůvky se tvoří na pracovišti a spojují se s podobně naladěnými ostrůvky na jiných pracovištích samozřejmě včetně zahraničních. Tak vznikají ostrovy vyznačující se svou vědeckou ideologií. Dosáhnou-li nadkritické velikosti, ovládnou redakční rady příslušných časopisů, příslušné komise grantových agentur a nakonec rozhodující institucionální funkce. To, že často vůbec nepřispívají k poznání, není důležité. Stačí mít jednoduché heslo, které bude hezky znít těm, kteří vědě příliš nerozumějí, ale mají moc rozhodovat o rozdělování peněz a funkcí.
U tohoto důležitého pojmu, který jsem nazval jednoduché heslo, se za chviličku zastavím prvním příkladem.
Věda je neobyčejně krásná zejména pro těch pár vyvolených, kteří v ní skutečně dokážou něco důležitého udělat, zjistit nebo alespoň pochopit. Tím mnohonásobně společnosti splatí vše, co investovala nejen do nich, ale také do mnohem početnějšího zástupu jejich méně úspěšných kolegů. Jak to ale narafičit v případě, když mám velké ambice, ale malé výsledky (už jsem zase u těch lidských aspektů)? V takovém případě je mj. nutné to jednoduché heslo. Co třeba tvrdit, že zkoumám problematiku drogové závislosti mladistvích prostřednictvím biofyzikální analýzy subatomární struktury kokainu? To by šlo, ne? Originální to nepochybně je a peněz to bude stát určitě hodně. To je totiž, bohužel u nás jeden z hlavních atributů vědecké prestiže.
Ten, kdo utratí desítky milionů za mikroskopy, urychlovače, automatické sekvenátory, syntetizátory, spektrometry, superpočítače nebo cokoli jiného, aby pak zjistil, že pro ně nemá adekvátní program, je už z titulu možnosti utratit ony miliony považován za vědecky významného. Drogová závislost osloví poslance, subatomární struktura ohromí vědecké funkcionáře, z nichž žádný současně nerozumí drogové závislosti, chemii kokainu a fyzice urychlovačů.

Výše uvedené není specifické pro naši milou "vlastičku". I v USA, EU a jinde existují hochštapleři, kteří vždy najdou způsob, jak odčerpávat z peněz vynaložených státem na vědu nemalé částky, aniž k jejímu rozvoji jakkoli přispějí. To je nevyhnutelná daň skutečnosti, že věda zkoumá neznámo, kde nelze s jistotou předem říci, která cesta někam vede a která je slepou uličkou. Proto i v USA, EU a jinde najde výzkum drogové závislosti mladistvích prostřednictvím biofyzikální analýzy subatomární struktury kokainu své stoupence.
Kolumbijské kartely, které na kokainu vydělávají miliardy, začnou na tuto skvělou problematiku dávat granty, protože lepší reklamu mohou pro svůj kokain stěží získat. Povzbuzeni touto iniciativou, na každý jejich dolar vynaložíme pět dolarů ze státního rozpočtu, protože zahraniční granty jsou přece automaticky považovány za důkaz vysoké kvality prováděného výzkumu. Realita je nakonec taková, že stát financuje zájmy kolumbijského kokainu. Vypadá to jako legrace, ale legrace to není. Stačí si za kokain dosadit nějaké léčivo, kterého se jen v USA prodá za víc než půl miliard dolarů ročně, a za kolumbijský kartel nějakou farmaceutickou firmu.
"Vědecké" záměry, v nichž jsou zapatlány do naprostého blábolu přístupy, zařízení a problémy ze tří vzdálených oblastí, je prvním zaručeným způsobem, jak ze státního rozpočtu odčerpávat nemalé částky, aniž jsou zhodnoceny do jakékoli zajímavé nebo užitečné informace. V tomto přístupu je využito skutečnosti, že málokdo ve vědecké komunitě ví něco víc než to, co nutně potřebuje ke své vlastní práci. A také toho, že se bojí zeptat nebo prezentovat svůj názor, aby se neztrapnil a nebo aby proti sobě nepopudil někoho mocného. A nebo nás to nezajímá, protože máme dost svých vlastních zájmů a starostí.
V případě dostatečné otrlosti lze potom tímto způsobem získat třeba i tisíc citačních ohlasů, protože příslušníci ideologického ostrova se navzájem citují, i když ostrov jako celek neprodukuje žádné užitečné nebo zajímavé informace. Obzvlášť dobře tento přístup funguje v případě, kdy jsou v publikacích používány preparáty, software ap., na kterých se vydělávají velké peníze. Potom názor, že smyslem vědy je poznání, jde přirozeně stranou.
Podobně zaručeným způsobem, jak udělat ve vědě kariéru, aniž jsem cokoli objevil, podstatného zjistil nebo užitečného udělal, je vyvíjet metody, které nazývám petody. Aby nevzniklo nedorozumění. Nejsem samozřejmě proti metodám, pomocí kterých získáváme užitečné informace o zajímavých jevech a objektech. Takové metody jsou skvělé, protože bez nich bychom se neradi obešli. Jejich tvůrci zaslouží přiměřené uznání, i když třeba sami nic neobjevili.
S despektem mluvím o petodách, které žádnou užitečnou informaci o ničem zajímavém nikdy neposkytly. Mohu čtenáře ujistit, že petody ve vědě existují a že na jejich vývoj (a na kariéru jejich tvůrců) byly z kapes daňových poplatníků vynaloženy stovky milionů. Pro dokreslení doložím i tuto část příkladem. Dovolím si připomenout, že jde opět o příklad zcela hypotetický a trochu (ale ne moc) přehnaný.
Motivace je stejná jako v předchozím případě. Mám velké ambice, ale malé výsledky. Co teď? Přemýšlím a přemýšlím a myslím, že jsem na to kápl. Vymyslím novou metodu! To je ono. Ale jakou? No nejlépe takovou, za kterou právě někdo dostal Nobelovu cenu. Přece ji ale nemohu celou okopírovat. To by bylo nefér a hlavně by mně na to přišli. Takže ji musím modifikovat. Ale jak? Něco na ní prostě musím změnit. Dnes jsou přece moderní ty genomy. Nebo spíš priony? Co to ale je, ten prion? Už to mám. Už je to jasné. Budu vyvíjet moderní kapkové metody počítačové detekce genomů a prionů. A kariéra je zajištěna.

Genomů i prionů je mnoho, dají se porcovat, ozařovat, enzymaticky modifikovat, osmiovat, platinovat, klonovat a mutovat. Kapky mohou být velké, malé, střední, kapat mohou rychle nebo pomalu. Mohu měnit teplotu, pH a spoustu dalších parametrů. Co parametr, to publikace. Než proměřím všechny kombinace, bude jich nejméně sto. Mezitím někdo zdokonalí klepačky a kapačky, takže to celé mohu zopakovat s dokonalejšími klepačkami a kapačkami. Tím se moderní kapkové metody stanou ještě modernějšími. Občas je nějak příhodně přejmenuji, aby bylo vidět, že jsem stále na špici. Samozřejmě úspěch tohoto přístupu je možný jen tehdy, pokud existuje ostrov, přirozeně mezinárodní, badatelů spojených ideologií kapaček a klepaček. Nebo alespoň takových, kteří na této ideologii nějak vydělávají. Bez toho by nebyly žádné publikace, žádné granty, žádné tituly, žádné funkce a žádná kariéra.

Prosím o povšimnutí, čím se hlavně liší metody, které jsou užitečné, od petod, jak nazývám ty druhé. Metody poskytují informace o zkoumaných objektech a dějích, u petod je tomu naopak. U nich jsou vlastnosti známých objektů a dějů používány k výzkumu vlastností vyvíjené petody. To může být opravdu docela zábavné a vzrušující. U petod totiž nikdy nemohu vědět, jak ta kapka bude vlastně kapat. Problém je jen v tom, že jsou tímto způsobem zkoumány problémy dořešené před třiceti lety a že výsledky jsou triviální, nevěrohodné a zbytečné. Plýtvá se tak nemalými finančními prostředky. Na tomto tvrzení nic nemění ani případné tisíce citačních ohlasů, které se tímto způsobem dají získat.
Badatelů postupujících metodou nejmenšího odporu je většina. Pud sebezáchovy je nutí tvořit ostrovy, ve kterých není důležité poznání a vědecká pravda, ale ideologie a osobní zájmy. Uvnitř ostrovů se badatelé citují, i když ostrov jako celek přispívá k poznání marginálně nebo vůbec.
Věda je objektivní. To mj. znamená, že získané poznatky musejí být nezávislé na použité metodě. Proto nové metody mohou být akceptovány teprve když prokážou, že jejich výsledky jsou v souladu se známými prověřenými vlastnostmi zkoumaných objektů a jevů. Jestliže někdo má svou vědeckou existenci založenu na výpočtech, které z reality zanedbávají víc, než kolik adekvátně popisují, potom musí ještě přesvědčivěji než jiní dokládat pravdivost svých výsledků a pečlivě zkoumat rozsah a povahu chyb, kterými jsou tyto výsledky zatíženy. Zdá se to elementární. To nás přece učili na vysoké škole už v prvním roce v praktiku.
Ve vědě ale působí i lidé, kteří prokazování pravdivosti svých výsledků, analýzu jejich chyb a jejich porovnávání s výsledky jiných metod prostě ignorují, protože to je nepohodlné, pracné a protože to odhaluje, jak závažnými slabinami tyto metody trpí. Jde-li o ideologii mezinárodně propojeného ostrova nadkritické velikosti, potom nás takový ostrov zaplavuje znovuobjevováním dávno objeveného (to v lepším případě) a v tom horším artefakty a samoúčelnými zbytečnostmi. A příslušníci ostrova se při svém pavědeckém řádění citují. Není nic jednoduššího než psát články, které nepodléhají kritériu pravdivosti a povinnosti jejího prokazování. To je stejně snadné jako někoho odsoudit bez důkazů.

Věda je také uměním řešitelného. Petody a různé pseudoproblémy vznikají i porušením tohoto pravidla. Financování výzkumu genetických vlastností polysacharidů vyžaduje, aby bylo ze všeho nejdřív prokázáno, že polysacharidy nějaké genetické vlastnosti vůbec mají. Pokud chci zkoumat modifikace DNA cytostatiky, potom musím nejprve vědeckou metodou prokázat, že tyto modifikace mají s cytostatickým působením nějakou podstatnou souvislost. V opačném případě totiž hrozí, že utrácíme desítky nebo stovky milionů za chybně koncipovaný výzkum. Jestliže chci zkoumat jevy determinované slabými mezimolekulárními interakcemi, potom k tomuto účelu nemohu umístit zkoumané molekuly do elektrického pole takové síly, že v něm jsou deformovány i nesrovnatelně silnější kovalentní vazby.
Jestliže chci zkoumat systém, který ztrácí své charakteristické vlastnosti, když je redukován pod velikost tisíců atomů, potom k jeho studiu nemohu používat rovnice, které jsou tak složité, že musejí být okleštěny k nepoznání už u systémů o řád menších. Expert AV ČR na nádorové bujení by měl vědět, že nádorové bujení je důsledkem poruchy buněčného dělení, kterou lze stěží odstranit, pochopit nebo pozitivně ovlivnit na základě výsledků studia chemických reakcí guaninových oligonukleotidů in vitro.Výše uvedené jsou elementární skutečnosti, k jejichž pochopení snad není ani nutné být vědec. Bohužel mohu čtenáře ujistit, že pro některé, které věda živí víc než dobře už velmi dlouhou dobu, tyto samozřejmosti pochopitelné nejsou. Nevěřili byste, kolik zásadních a přitom triviálních chyb se nachází už v základech ideologií mnoha vědeckých ostrovů. To je možné jen proto, že jim jde o něco jiného než o poznání a o vědeckou pravdu. A nebo jsou tak zaslepení honbou za granty, impaktovými body, tituly, funkcemi, citacemi a jinými pozlátky, že už ztratili schopnost rozpoznat, že marní svůj čas a cizí peníze úplnými nesmysly.

Doufám, že se mně podařilo objasnit důvod, kvůli kterému musím tvrdit, že mechanicky pojatá citovanost není nejobjektivnějším ani nejdůležitějším kritériem hodnoty vědecké práce. Ten důvod se dá shrnout do věty "není citace jako citace", což vede k závěru, že citace nelze mechanicky sčítat ani porovnávat. Při klasifikaci citací je v prvé řadě důležitý jejich vztah k ideologickému ostrovu, ke kterému citace patří. Uvnitř ostrova počet citací určitě skvěle odráží, co v jeho rámci kdo udělal. V tom ale asi není problém. Ten je soustředěn do porovnávání hodnoty citací mezi různými ostrovy. Je tato hodnota stejná u citací Václava Hořejšího jako u citací Pavla Hobzy? To je otázka, na kterou nelze odpovědět bez toho, že si pečlivě přečteme alespoň abstrakta jejich článků (snadno je najdeme ve Web of Science), vybereme z nich užitečné a zajímavé informace (pokud tam vůbec nějaké jsou, znám totiž spoustu článků zveřejněných i v časopisech s vysokých citačním impaktem, které žádnou užitečnou ani zajímavou informaci neobsahují) a vyhodnotíme jejich význam pro rozvoj poznání. To je samozřejmě netriviální úkol, který ale nelze nahradit mechanickým porovnáním počtu citací.

Z toho, co jsem uvedl na začátku tohoto článku, plyne, že vědecká hodnota citace závisí v prvé řadě na tom, jak k poznání přispívá příslušný ostrov. A touto vlastností se jednotlivé ostrovy mohou lišit i o několik řádů. 0 čem svědčí sto tisíc citací získaných v rámci ostrova, který dlouhodobě nic zajímavého nezjistil, ničím neobohatil naše poznání, jen se utápí v řešení samoúčelných pseudoproblémů, které vznikají v důsledku chybné ideologie a nerespektování vědecké pravdy? Má smysl takový ostrov nebo takového pracovníka nějak preferovat? Nebylo by pro vědu i pro něho užitečnější, kdyby místo shánění citací začal dělat něco smysluplného?
Tím vzniká problém, kdo porovná přínos k poznání u jednotlivých vědeckých ostrovů. To nemůže udělat nikdo jiný než ti, kterým se v angličtině říká peers. Musejí to být lidé, kteří svými znalostmi a zkušenostmi postihují ne jeden, ale několik (nejlépe mnoho) vědeckých ostrovů. Specialisté pohybující se celý život v rámci jednoho ostrova jsou pro tento účel naprosto nepoužitelní. Na případnou otázku, kde vezmeme ty peers, preventivně odpovídám "Běda vědecké komunitě, která nemá své peers".
Peers pečlivě prostudují publikace zveřejněné hodnocenými v hodnoceném období v řádně recenzovaných časopisech, vyberou z nich zajímavé a užitečné informace a porovnají jejich význam pro rozvoj poznání. Samozřejmě při všech hodnoceních je nutné uvádět scientometrická data, která jsou dostupná díky Web of Science. Počty publikací, impakty časopisů, ve kterých byly zveřejněny, a jejich citovanost, která je ze scientometrických parametrů určitě nejdůležitější. Vlastní hodnocení, nutně s výrazným přihlédnutím ke scientometrickým parametrům, musí ale provést komise složená z peers na základě toho, jak kdo přispívá k poznání. Přitom peers nesmějí mít v hodnoceném období s hodnocenými společné publikace, protože v opačném případě hodnotí sami sebe. Vydávat takové samohodnocení za hodnocení hodnoceného není střet zájmů, ale podvod.

Tento článek přirozeně vyvolá odpor u lidí, na které se hodí přísloví o potrefené huse, a zděšení u těch, kteří si myslí, že skvělost, kterou se věda jako celek vyznačuje, vzniká prostřednictvím skvělosti každého jejího detailu. Tak tomu ale zřejmě není. I náš život je na molekulární úrovni neuvěřitelnou slátaninou (patchwork) všeho možného. Z hlediska detailů molekulárního fungování a optimalizace dílčích interakcí jsou bakterie mnohem dokonalejší než člověk. Za tuto dokonalost v málo podstatném platí bakterie tím, že se už miliardy let skoro nezdokonalují. Úžasný konstrukt, na kterém stojí lidská civilizace a který nazýváme věda, asi nevyhnutelně v sobě obsahuje problémy, které jsem naznačil výše. Tyto problémy určitě trápí osvícené v EU a USA stejně jako u nás.
Už sama skutečnost, že tento článek mohl vyjít, svědčí o tom, že naše věda je v jádru zdravá a tudíž schopná dalšího pozitivního vývoje. Jen je nejvyšší čas už přestat považovat za jedinou příčinu současné, stále ještě neutěšené situace v české vědě jen její nedostatečné financování. Existují i jiné faktory, které úroveň vědy významně ovlivňují. Mezi ně patří poctivost, profesionalita a znalosti, kterých na rozdíl od formulářů, center a manažerů máme jakoby stále méně. Stejně důležitá je ale také pokora před vědeckou pravdou, kterou nemáme skoro vůbec, ochota a trpělivost vědeckou pravdu hledat a v neposlední řadě odvaha ji bránit.
Přezkoumání ideologie jednotlivých vědeckých ostrovů a přátelské vyvození důsledků ze zjištěných skutečností by pomohlo české vědě víc než další zvyšování finanční podpory současného systému. A tomuto přezkoumání nebrání nic kromě těch, kteří vědí, že by v něm neobstáli. Možnost, kterou v tomto směru nabízelo hodnocení prováděné v roce 2000, jsme opět proplýtvali. Web of Science obsahuje kromě citací také abstrakta publikovaných článků. Z nich lze snadno a spolehlivě vyčíst, jak který jednotlivec, laboratoř nebo ostrov přispívá k poznání. U některých po vyškrtání obecných, popisných a neinformativních vět nezbude z jejich abstraktů skoro nic přesto, že mají na Web of Science evidovánu víc než stovku publikací a víc než tisíc citací.

Abych nebyl podezřelý ze zaujatosti vůči publikujícím a citovaným, také mám na Web of Science evidovánu víc než stovku publikací a víc než tisíc citací. Přesto si myslím, že osvícený stát financuje své vědce nikoli podle počtu publikací nebo citací, ale podle toho, jak který přispívá k poznání. Chorobné ambice a svou kariéru by si měl každý financovat sám.








Související články




Komentáře

Napsat vlastní komentář

Pro přidání příspěvku do diskuze se prosím přihlašte v pravém horním rohu, nebo se prosím nejprve registrujte.