Student World

Na New Scientistu se objevil půvabně kacířský článek o tom, že většina publikovaných vědeckých článků či příspěvků přednášených na konferencích je jednoduše špatně.

Příčiny? Problémy s metodikou experimentů a statistickým vyhodnocením. Je-li k dispozici jen málo dat, jsou výsledky zatížené šumem. To je celkem elementární, nicméně za pozornost stojí, jak lze této okolnosti naopak využít – ovšem na hranici podvodu.
Představte si, že chcete třeba zjistit závislost veličiny X na jiných proměnných. Jednoduše změříte příslušné závislosti a pak publikujete jen tu z nich, kde vám vyjde nějaká korelace – občas se taková "jakoby-závislost" musí objevit i zcela náhodně, stačí měřit dostatečně dlouho. Zbytek výsledků prostě neuvedete. Nepopíšete ani, jak byl experiment prováděn, ale budete se tvářit, že jste od začátku pátrali právě po téhle závislosti.
Pokud třeba testujete vztah určitého genu k nějakým chorobám a máte dvacet chybných předpokladů, nejspíš stejně jedna korelace prostě takhle vyjde. Třeba se to později nepotvrdí (kdyby se tím ovšem ještě někdo někdy vůbec zabýval, k čemuž vůbec dojít nemusí), ale odpřednášet se to někde dá.

New Scientist zmiňuje i další příčiny chyb: vágně definované cíle výzkumu, pátrání po velmi slabých efektech (lék zlepšuje stav u 10 procent pacientů), kde se vše v šumu utopí mnohem snáz, snaha dojít k pozitivnímu výsledku, který vypadá významněji a snáze se publikuje (výsledek, že ten a ten gen s matematickými schopnostmi svého nositele NESOUVISÍ, zřejmě recenzenty vědeckého časopisu příliš nezaujme).

Zdroj: New Scientist, http://www.newscientist.com/article.ns?id=dn7915

Poznámky:
– Ukázkové příklady tohoto "masírování dat" uvádí B. Lomborg ve své knize Skeptical Environmentalist. Chcete třeba zjistit (nebo rovnou dokázat), že pesticidy jsou zodpovědné za nárůst rakoviny? Vezmete si populaci zasaženou pesticidy a populaci bez užívání pesticidů. Porovnáte je z hlediska nemocnosti různými typy nádorových onemocnění. Čistě statisticky vám někde vyjde odchylka vypadající jako statisticky významná. Uvedete pouze tyto výsledky, třeba to, že pesticidy zvyšují pravděpodobnost onemocnění rakovinou žaludku (zamlčíte šum i to, že někde vyšla čistě náhodně závislost opačná, jakoby pesticidy naopak některé typy rakoviny potlačovaly). Čísla sama o sobě jsou pravdivá, takhle ale lze nejspíš dokázat i "korelace" se znamením zvěrokruhu.
– Sám se vědeckou prací a snahou publikovat v recenzovaných časopisech nezabývám. Uvítám, pokud lidé z vědecké praxe vyjádří svůj názor, možná je New Scientist zbytečně kritický a procedury kontroly dosažených výsledků fungují jinak.

autor Pavel Houser