Náhodou som v prúde správ a informácií narazil na článok v Nature Scientific Reports. Uvádza údaje z prieskumu 1 500 vedcov o reprodukovateľnosti výsledkov výskumu. Ak bol tento problém nastolený skôr pre biologický a lekársky výskum, kde na jednej strane je to možné vysvetliť (nepravdivé korelácie, všeobecná komplexnosť študovaných systémov, niekedy je obviňovaný dokonca aj vedecký softvér), na druhej strane má fenomenologický charakter (napríklad myši majú tendenciu správať sa odlišne s vedcami) rôzne pohlavia (1 a 2)).
Nie všetko je však hladké s prírodnými vedami, ako sú fyzika a strojárstvo, chémia, ekológia. Zdá sa, že tieto veľmi disciplíny sú založené na „absolútne“reprodukovateľných experimentoch vykonávaných za najviac kontrolovaných podmienok, bohužiaľ, úžasné - v každom zmysle slova - výsledok prieskumu: až 70% výskumných pracovníkov sa stretlo s nereprodukovateľnými pokusmi a výsledky, ktoré získali nielen iné skupiny vedcov., ALE aj autormi / spoluautormi publikovaných vedeckých prác!
Chváli každý pieskovec svoje močiare?
Aj keď 52% respondentov poukazuje na krízu reprodukovateľnosti vo vede, menej ako 31% považuje zverejnené údaje za zásadne nesprávne a väčšina uviedla, že publikovaným dielam stále dôverujú.
Otázka: Existuje kríza reprodukovateľnosti výsledkov?
Na základe tohto prieskumu by ste sa samozrejme nemali zbaviť ramena a lynčovať všetku vedu ako takú: polovica respondentov bola stále vedec, spájajúci sa tak či onak s biologickými disciplínami. Ako autori poznamenávajú, vo fyzike a chémii je úroveň reprodukovateľnosti a dôvery v získané výsledky oveľa vyššia (pozri graf nižšie), ale stále nie je 100%. Ale v medicíne sú veci v porovnaní so zvyškom veľmi zlé.
Propagačné video:
Prichádza na myseľ anekdota:
Marcus Munafo, biologický psychológ na univerzite v Bristole v Anglicku, má dlhodobý záujem o reprodukovateľnosť vedeckých údajov. Pripomínajúc dni jeho študentských dní, hovorí:
Otázka: Koľko publikovaných diel vo vašom odbore je reprodukovateľných?
Hĺbka problému zemepisnej šírky a dĺžky
Predstavte si, že ste vedec. Narazíte na zaujímavý článok, ale výsledky / experimenty sa v laboratóriu nedajú reprodukovať. Je logické o tom písať autorom pôvodného článku, požiadať o radu a položiť objasňujúce otázky. Podľa prieskumu to urobilo kedykoľvek vo svojej vedeckej kariére menej ako 20%!
Autori štúdie poznamenávajú, že také kontakty a rozhovory sú pre samotných vedcov príliš ťažké, pretože odhaľujú ich nekompetentnosť a nekonzistentnosť v určitých záležitostiach alebo odhaľujú príliš veľa podrobností o súčasnom projekte.
Absolútna menšina vedcov sa okrem toho pokúsila uverejniť vyvrátenie nenapraviteľných výsledkov, pričom čelila opozícii redaktorov a recenzentov, ktorí požadovali potlačenie porovnania s pôvodnou štúdiou. Niet divu, že šanca na hlásenie neopakovateľnosti vedeckých výsledkov je asi 50%.
Prvá otázka: Pokúsili ste sa reprodukovať výsledky experimentu?
Druhá otázka: Skúsili ste odoslať svoj pokus o reprodukciu výsledkov?
Možno teda v laboratóriu aspoň vykonať test reprodukovateľnosti? Najsmutnejšie je, že tretina respondentov NIKDY nemyslela na vytvorenie metód na kontrolu reprodukovateľnosti údajov. Iba 40% uviedlo, že tieto techniky pravidelne používajú.
Otázka: Už ste niekedy vyvinuli špeciálne techniky / technické postupy na zlepšenie reprodukovateľnosti výsledkov?
Ďalší príklad, biochemička z Veľkej Británie, ktorá nechcela zverejniť svoje meno, hovorí, že pokusy opakovať, reprodukovať prácu pre jej laboratórny projekt jednoducho zdvojnásobia časové a materiálne náklady bez toho, aby dali alebo pridali čosi novému do práce. Dodatočné kontroly sa vykonávajú iba pre inovačné projekty a nezvyčajné výsledky.
A samozrejme, večné ruské otázky, ktoré začali mučiť zahraničných kolegov: kto je na vine a čo robiť?
Kto je vinný?
Autori práce identifikovali tri hlavné problémy reprodukovateľnosti výsledkov:
- Tlak nadriadených na včasné zverejnenie diela
- Selektívne vykazovanie (zjavne to znamená potlačenie niektorých údajov, ktoré „kazia“celý obrázok)
- Nedostatočná analýza údajov (vrátane štatistických)
Otázka: Aké faktory sú zodpovedné za nenahraditeľné vedecké výsledky?
Odpovede (zhora nadol): –podávanie správ o vzorke –výsledok šéfov - analýza interiéru / štatistika - nedostatočná opakovateľnosť experimentu v laboratóriu - nedostatočný dohľad - nedostatok metodiky alebo kódu - navrhovanie experimentov v interiéri - nedostatok prvotných údajov z primárneho laboratória - obvinenie - nedostatočné overenie odborníkmi / recenzentmi –Problémy so pokusmi o reprodukciu. - Na rozmnožovanie sa vyžaduje technická odbornosť. - Zodpovednosť štandardných reagencií - „Neddachka a Pichalka“
Čo robiť?
Z 1 500 opýtaných sa viac ako 1 000 špecialistov vyjadrilo v prospech zlepšenia štatistiky v oblasti zberu a spracovania údajov, zlepšenia kvality dohľadu nad šéfmi a presnejšieho plánovania experimentov.
Otázka: Aké faktory pomôžu zlepšiť reprodukovateľnosť?
Odpovede (zhora nadol): - Lepšie pochopenie štatistík - Prísnejší dohľad - Lepší experimentálny návrh - Školenie - Interné laboratórne preskúmanie - Zlepšenie praktických zručností - Podpora formálnej krížovej kontroly údajov - Medzilaboratórne preskúmanie - Pridelenie väčšieho času na riadenie projektov - Zvyšovanie štandardov vedeckých časopisov - Viac času na prácu s laboratórnymi záznamami
Záver a určité osobné skúsenosti
Po prvé, dokonca aj pre mňa ako vedca sú výsledky ohromujúce, hoci som si už zvykol na určitú mieru nevykonateľnosti výsledkov. Toto je osobitne zrejmé v prácach Číňanov a Indov bez „auditu“tretej strany vo forme amerických / európskych profesorov. Je dobré, že sa problém uznal a premýšľal o jeho riešení. Takticky budem mlčať o ruskej vede v súvislosti s nedávnym škandálom, hoci mnohí čestne vykonávajú svoju prácu.
Po druhé, článok ignoruje (alebo skôr nezohľadňuje) úlohu vedeckých metrík a partnerských recenzovaných vedeckých časopisov pri vzniku a rozvoji problému neopakovateľnosti výsledkov výskumu. V snahe o rýchlosť a frekvenciu publikácií (čítanie, zvýšenie citačných indexov) kvalita prudko klesá a nie je čas na ďalšie overenie výsledkov.
Ako sa hovorí, všetky postavy sú fiktívne, ale založené na skutočných udalostiach. Jeden študent mal nejakú šancu recenzovať článok, pretože nie každý profesor má čas a energiu na premyslené prečítanie článkov, takže sa zhromažďuje názor 2-3 - 4 študentov a lekárov, z ktorého je vypracovaný prehľad. Bola napísaná recenzia, ktorá poukázala na nezlučiteľnosť výsledkov podľa metódy opísanej v článku. To sa profesorovi jasne preukázalo. Aby sa však nenarušili vzťahy s „kolegami“- koniec koncov, vo všetkom uspejú - preskúmanie bolo „opravené“. A uverejňujú sa 2 alebo 3 takéto články.
Ukázalo sa, že je to začarovaný kruh. Vedec pošle článok redaktorovi časopisu, v ktorom uvedie „žiaduce“a najdôležitejšie „nežiaduce“recenzenty, teda v skutočnosti ponecháva iba autorovi pozitívnu dispozíciu. Hodnotia prácu, ale nemôžu „zasiahnuť do komentárov“a pokúsiť sa zvoliť menšie z dvoch zlých - tu je zoznam otázok, na ktoré je potrebné odpovedať, a potom článok uverejníme.
Ďalším príkladom, o ktorom hovoril redaktor prírody len pred mesiacom, sú solárne panely v Grazeli. Z dôvodu obrovského záujmu o túto tému vo vedeckej komunite (koniec koncov, stále chcú článok v prírode!), Redaktori museli vytvoriť špeciálny dotazník, v ktorom musia uviesť množstvo parametrov, poskytnúť kalibráciu zariadení, certifikáty atď., Aby potvrdili, že metóda merania efektívnosti panely vyhovujú niektorým všeobecným zásadám a normám.
A po tretie, keď znova počujete o zázračnej vakcíne, ktorá dobýva všetko a všetkých, o novom príbehu o zamestnaní v sukni, nových batériách alebo nebezpečenstvách / výhodách GMO alebo ožiarení smartfónov, najmä ak to propagovali žltí spisovatelia z žurnalistiky, potom buďte pochopení a neskočte na závery. Počkajte na potvrdenie výsledkov inými skupinami vedcov, na akumuláciu súboru vzoriek a vzoriek.