Vraag:
Waarom publiceren onderzoekers geen mislukte experimenten?
user107
2012-03-15 10:01:05 UTC
view on stackexchange narkive permalink

Het volgende is misschien een kleine generalisatie voor alle velden, maar iets wat me vooral opviel op het gebied van wetenschappelijk computergebruik:

  1. Waarom publiceren mensen geen fouten? Ik bedoel, als ze een experiment probeerden en uiteindelijk beseften dat ze alles hadden geprobeerd en niets werkte. Waarom publiceren ze dit niet? Is het omdat dergelijke inhoud niet wordt gepubliceerd of omdat het een schande is om naast prijswinnende papers een mislukt experiment in een tijdschrift te hebben?

  2. Ik heb een groter deel uitgegeven van een jaar bezig met, wat er nu uitziet, een dood probleem. De meeste artikelen die ik las, brachten je echter in eerste instantie tot een optimistisch gevoel. Nu ik de papers herlees, realiseer ik me dat ik (met veel vertrouwen) kan zeggen dat de auteur iets verbergt. Een van de auteurs die bijvoorbeeld twee systemen aan het vergelijken was, gaf een uitstekende theoretische basis, maar toen hij probeerde de theorie te valideren met experimenten, waren er vreselijke verschillen in de experimenten (wat ik me nu realiseer). Als de theorie niet tevreden was met de experimenten, waarom zou u dat dan niet publiceren (duidelijk delen van de theorie aangeven die wel en niet werkten) en de toekomstige onderzoekers wat tijd besparen? Als het niet in een tijdschrift staat, waarom dan niet ArXiv of hun eigen websites?

dat is een van de punten van open science. U publiceert mislukte benaderingen op uw blog of wiki. Ik herinner me dat ik een tijdje geleden las dat mislukte onderzoeken (dwz medicijnen die niets doen) die niet werden gepubliceerd een probleem werd in bepaalde delen van medisch onderzoek en dat nu grote NIH-onderzoeken (denk ik) in een database moeten worden geregistreerd voordat ze worden uitgevoerd en hun resultaten ongeacht of ze positief zijn of niet. Ik kan me hier helaas geen bron voor herinneren :(.
Leuke lijst Joel Reyes Noche. Van de zes tijdschriften die u noemde, is de top vijf echter gericht op artikelen met negatieve resultaten. De laatste, de [Journal of Errology] (http://www.bioflukes.com/JoE) is gericht op het verschaffen van een medium voor die ongepubliceerde vergeefse pogingen achter elk gepubliceerd artikel dat gewoonlijk wordt weggegooid. Deze komen veel vaker voor dan de andere papers, waarvoor de meeste onderzoekers geen tijd hebben om te publiceren, omdat ze geen enkel voordeel opleveren voor hun carrière.
Ik plaats de rest van Selvin's opmerking hier (voorheen ingediend als antwoord, maar omgezet omdat het de vraag niet beantwoordt): "Dit doet me denken aan Edison's praktijken, waar hij een lijst bijhield van alle dingen die niet werkten , wat hem later op een belangrijke manier heeft geholpen. Stel je voor dat je 10.000 verschillende experimenten doet, zonder elk experiment goed bij te houden. Het wordt een nachtmerrie. '
Mijn dissertatieonderzoek was een nulresultaat. Het artikel erop heeft meer dan 80 citaties. Maar dat is in de deeltjesfysica waar het stellen van limieten aan het begin van een verwacht fenomeen heel gewoon is.
(Ik heb dit als antwoord gepost, maar werd verwijderd omdat het niet echt een antwoord is. Dus, posten als commentaar) Gedeeltelijk geïnspireerd door deze discussie en gedeeltelijk door mijn eigen ervaring, organiseren wij, een stel onderzoekers in de informatica, een workshop met de titel "E-science onderzoek leidt tot negatieve resultaten (ERROR)". De workshop wordt gehouden in samenhang met de eScience 2015-conferentie in München, Duitsland. Zie http://press3.mcs.anl.gov/errorworkshop voor meer informatie over de workshop.
Het is meestal mogelijk om van een mislukking een positief resultaat te maken. Ik ben bijvoorbeeld op de hoogte van twee gevallen waarin iemand xyz niet deed (zoals beloofd op het subsidievoorstel) maar veel nagedacht + hard werk en het lukte om er een Nature-paper uit te halen, zonder natuurlijk te vermelden dat ze het doel misten en per ongeluk iets heel anders deden.
Ik dacht altijd dat het kwam omdat academici nooit fouten maken.
Ik hoop dat deze vraag niet off-topic is, maar: hoe verdwijnen deze papieren documenten niet in de leegte? Als iedereen ongeveer 4 artikelen per jaar publiceert, betekent dit dan niet dat er al ongelooflijke hoeveelheden artikelen bestaan ​​waarop u uw eigen artikel zou kunnen baseren / refereren? Zijn er ongeveer 10.000 Acedemische mensen op aarde, dus de cirkel is vrij klein? Of is er ergens een gecentreerde database die alle wetenschappelijke informatie op aarde bijhoudt? Ik zou graag willen weten hoe ik een overzicht kan krijgen van de bestaande papieren, zodat u uw tijd niet "verspilt" door hetzelfde opnieuw te doen
(Ja, ik weet dat dit "opnieuw doen" "Bewijs" wordt genoemd, maar dat is niet de vraag)
Acht antwoorden:
#1
+92
Joel Reyes Noche
2012-03-15 14:18:51 UTC
view on stackexchange narkive permalink

"Waarom publiceren mensen geen fouten?"

Eigenlijk doen ze dat wel.

  1. Journal of Negative Results (ecologie en evolutionaire biology)
  2. Journal of Negative Results in Biomedicine
  3. Journal of Pharmaceutical Negative Results
  4. Journal of Interesting Negative Results (natuurlijke taalverwerking en machine learning)
  5. Journal of Negative Results in Environmental Science (nog geen problemen?)
  6. Journal of Errology (nog geen problemen?)

enzovoort ...

(Misschien wilt u ook de sectie Negatieve resultaten van het Journal of Cerebral Blood Flow & Metabolism.)

wel, maar niet vaak, en niet in 'standaardtijdschriften'
Weinig tot geen van deze tijdschriften hebben veel inzendingen ontvangen. Dit is tragisch omdat het ontbreken van gepubliceerde replicatiepogingen een van de grootste problemen in de wetenschap is (zie het klassieke artikel van Ioannidis, "Waarom de meeste gepubliceerde onderzoeksresultaten onjuist zijn"). Er zijn hervormingen nodig om meer stimulansen te creëren voor wetenschappers om dergelijke studies te doen en te publiceren. We benaderen uitgevers over een nieuw tijdschriftconcept waarbij alleen het studieplan (methoden en analyseplan) voor een replicatiepoging zou worden beoordeeld (https://plus.google.com/113040210411045341720/posts/BB2BnpHi8Tw), waarna publicatie gegarandeerd zou zijn.
Als undergrad fantaseerden we over het creëren van het "American Journal of Failures and Missteps".
Ik zou er ook aan willen toevoegen dat het ontmaskeren van een gevestigd theoretisch idee zeer de moeite waard is om gepubliceerd te worden, zelfs in een tijdschrift dat positieve resultaten publiceert. En het gebeurt (helaas niet vaak genoeg).
Er is ook een praktische reden: het schrijven van een * goede * paper (zelfs als de resultaten negatief zijn) kost tijd en moeite, iets wat de meeste onderzoekers anders liever besteden - bijvoorbeeld aan het behalen van * positieve * resultaten (misschien in de hoop die op meer prestigieuze locaties).
Ik keek naar http://jinr.site.uottawa.ca/ - het is dood Jim!
#2
+49
Fomite
2012-03-15 11:53:00 UTC
view on stackexchange narkive permalink

Null-resultaten zijn moeilijk te publiceren. Ze zijn gewoon. Interessant genoeg zijn ze in mijn vakgebied echter niet het moeilijkste om te publiceren. De algemene volgorde is:

Goed aangedreven (grote) onderzoeken die vinden wat mensen verwachten
Slecht aangedreven (kleine) onderzoeken die vinden wat mensen verwachten
Slecht aangedreven onderzoeken die het tegenovergestelde vinden van wat mensen verwachte of nulresultaten
Goed onderbouwde onderzoeken die het tegenovergestelde vinden van wat mensen verwachten

In die middelste twee categorieën vindt u de meeste 'mislukkingen', althans wat betreft het vinden van een statistisch betekenisvol effect. Dat gezegd hebbende, er is een toenemende druk om dit soort onderzoeken gepubliceerd te zien, omdat ze een belangrijk onderdeel van de literatuur vormen, en verschillende medische tijdschriften hebben vrij opmerkelijke stappen in die richting gemaakt - bijvoorbeeld als ze een artikel over de protocol voor een aanstaande klinische proef, verbinden ze zich er ook toe om de resultaten van de proef te publiceren (als ze slagen voor peer review), ongeacht de bevinding.

Als het erop aankomt, Ik denk dat er drie redenen zijn waarom negatieve resultaten niet verder worden gepubliceerd dan "het is moeilijk":

  1. Gebrek aan beloning. Het kost tijd en moeite om een ​​artikel in de literatuur te krijgen, en moeite. En geld, in de vorm van tijd en moeite. De meeste nulresultaten / mislukkingen zijn doodlopende wegen - ze zullen niet worden gebruikt voor nieuwe subsidievoorstellen, ze zullen niet zijn waar je naam maakt. Het beste waarop je kunt hopen, is dat ze een paar keer worden geciteerd in commentaren of meta-analyseartikelen. Dus waarom zou je in een universum van eindige tijd die resultaten meer najagen?
  2. Gebrek aan gepolijst. Alleen het resultaat vinden is een tussenstap bij het publiceren van resultaten, niet de stap "en zo verschijnt het in een tijdschrift". Vaak is het gemakkelijk te zien wanneer iets niet succesvol wordt, lang voordat het klaar is voor publicatie - die projecten worden meestal verlaten. Dus hoewel er ‘mislukte’ resultaten zijn, zijn het geen resultaten die klaar zijn voor publicatie, zelfs niet als we ons druk maakten om fouten.
  3. Veel mislukkingen zijn methodologisch. Deze studieopzet kan niet echt op de vraag komen die je wilt stellen. Uw gegevens zijn niet goed genoeg. Deze hele redenering is onjuist. Het is echt moeilijk om dat in een paper te vertalen.

Succesvolle papers kunnen worden gepubliceerd over hun eigen succes - dat is interessant. Mislukte papieren hebben de dubbele last dat ze zowel moeilijk te publiceren zijn als hebben moeten mislukken.

Het is mij niet duidelijk wat de volgorde van moeilijkst tot minst moeilijk te publiceren in uw lijst is?
@Stephanie Ze zijn allemaal "Ik kan niet de moeite nemen om hier een paper van te maken", in plaats van moeilijkheden bij het indienen, en variëren dus waarschijnlijk op basis van je motivatie.
Dit deel "Goed aangedreven (grote) onderzoeken die vinden wat mensen verwachten Slecht aangedreven (kleine) onderzoeken die vinden wat mensen verwachten Slecht aangedreven onderzoeken die het tegenovergestelde vinden van wat mensen verwachten of nul bevindingen Goed aangedreven onderzoeken die het tegenovergestelde vinden van wat mensen verwachten" niet genummerd beetje
@Stephanie Ah, dat is logischer. Ze staan ​​in grove volgorde van moeilijkheidsgraad, van minst tot moeilijk te publiceren, hoewel dat veldspecifiek kan zijn en gebaseerd is op een dia die ik ooit in een presentatie heb gezien.
Ik vind dit antwoord het leukst omdat het de vraag daadwerkelijk beantwoordt. Niets * verhindert * u een mislukking te publiceren, maar het kost tijd, moeite en geld; vraagt ​​uw aandacht, en moet met een punt in iets worden gedraaid. Ik zou er nog een willen toevoegen: je wilt niet teveel prijsgeven over je onderzoek, als het nog steeds belooft voor een of ander succes. Triest maar noodzakelijk.
#3
+35
Stefano Borini
2012-03-15 10:19:53 UTC
view on stackexchange narkive permalink

Het is niet helemaal waar dat fouten niet worden gepubliceerd. Gebrek aan signalen of gebrek aan correlatie worden gepubliceerd. Het punt is dat alles wat kennis vooruit duwt, publicatie waard is. Dat gezegd hebbende, er zijn andere factoren waarmee u rekening moet houden.

  1. sommige fouten zijn methodologisch, dat wil zeggen dat u iets verkeerd doet. Dat is geen wetenschappelijk signaal. het is iets dat je moet oplossen.
  2. weten wat niet werkt geeft je een concurrentievoordeel ten opzichte van andere onderzoeksgroepen.
  3. negatieve signalen openen bijna nooit nieuwe velden. Als ze dat doen, is dat omdat ze de aandacht hebben gestuurd om ergens anders een positief signaal te vinden. U opent geen nieuw geneesmiddel tegen kanker als wordt vastgesteld dat een stof geen effect heeft. Je sluit er een. Om deze reden krijgen negatieve papers over het algemeen niet veel aandacht, en is er veel aandacht van collega's in de wetenschap.
Interessant. Maar is het niet het hele punt van het publiceren van de verspreiding van informatie? Als het een veld sluit, nou ja! Geen tijdverspilling meer. Ik heb ook veel publicaties over oorlogsvoering gezien, zoals tussen snaartheoretici en de rest. Of GPU * fanboys * versus Multicore-versies. Maar niemand gaat tegen de zijne in.
@Nunoxic: dat is het punt: anderen hun tijd laten verspillen, zodat u, terwijl ze bezig zijn met het uitzoeken van wat u al hebt geleerd, kunt verslaan tijdens het publiceren voor hen. Denk je dat de academische wereld een stel hippies is?
Het beste voorbeeld van een negatief resultaat dat enorm belangrijk was en dat ik kan bedenken, is het Michaelson-Morley-experiment dat de oude ethertheorie volledig de deksel op de hals blies. De meeste negatieve resultaten zijn lang niet zo opvallend. :)
@StefanoBorini Ik denk dat dat nogal pessimistisch is. Regelmatig zie ik gepubliceerde medische literatuur zonder voordeel / effect voor medicijnen en dat is belangrijk. Over het algemeen denk ik dat veel doodlopende wegen niet worden gepubliceerd omdat vaak wordt aangenomen dat doodlopende wegen zijn; veelbelovende resultaten (of ze nu positief of negatief zijn) duurt nog lang voordat ze zijn afgerond, tijd die misschien beter kan worden besteed aan het nastreven van iets veelbelovender.
@Nunoxic - Nee, het punt van publiceren is dat het donaties en interesse in je onderzoek stimuleert. Als je een heleboel papers verspreidt over hoe je miljoenen of zelfs duizenden aan subsidies en privéfondsen hebt verknoeid en verspild omdat je mensen hebt verknoeid, is de kans kleiner dat ze je volgende onderzoeksproject financieren en misschien geld binnenhalen voor wat je doet.
@george - Dat is onderzoek uit de particuliere sector. De verzekeringsmaatschappijen delen graag informatie waarmee ze geld kunnen besparen. Wat u niet ziet dat ze publiceren, zijn onderzoeken die zouden aantonen dat behandelingen die meer geld kosten, ook meer voordelen opleveren. Die komen van doktoren.
@StefanoBorini: Ja, eigenlijk, wij _zijn_ een stel hippies. Sommigen van ons toch.
#4
+12
Ondrej
2012-03-15 18:26:28 UTC
view on stackexchange narkive permalink

Een van de gevolgen van het niet melden van fouten is publicatiebias. Het is een algemeen beschreven fenomeen dat meestal wordt aangepakt met behulp van meta-analyse. Dat wil zeggen, als het onderzoek betrekking heeft op enkele kwantificeerbare resultaten, zeg maar een (lineaire) regressie, dan is meestal statistische significantie wenselijk. Als dergelijke resultaten niet worden behaald, proberen onderzoekers soms hun methodologie, modellen, gegevens of wat dan ook aan te passen om meer 'publiceerbare' resultaten te krijgen.

Het probleem van het aanpassen van modellen of het volledig intrekken van het papier (het zogenaamde dossierladeprobleem) was (en is tot op zekere hoogte nog steeds) een probleem in de geneeskunde, zoals @Artem Kaznatcheev opmerkt in het commentaar en resulteerde, zoals hij toevoegt, in het registreren van onderzoeken vóór publicatie. Zijn bronnen kunnen verschillen, maar een artikel dat het beschrijft is b.v. Krakovsky (2004).

Bekijk meer in het algemeen Stanley (2005) of Stanley (2008) voor meer informatie over publicatiebias en meta-analyse.

#5
+8
Bravo
2012-03-15 11:24:31 UTC
view on stackexchange narkive permalink

Soms leiden sommige mislukkingen zelf tot nieuwe theorieën. Er zijn bijvoorbeeld onmogelijkheidsstellingen in het ontwerp van mechanismen (die van Arrow of Gibbard-Satterthwaite) die de beperkingen van implementeerbare mechanismen vastleggen.

In die zin zijn mislukkingen alleen misschien niet bruikbaar in een publicatie. Mensen zijn geïnteresseerd om te weten waarom dingen mislukten of liever welke categorie experimenten / theorieën zouden mislukken. Maar door in deze richting te gaan, zijn vaak risico's verbonden: het is gemakkelijker om een ​​probleem te noemen en op te lossen dan voorwaarden af ​​te leiden wanneer het probleem niet kan worden opgelost. Het eerste is interessant voor een breder publiek dan het tweede.

Dus het komt erop neer: probeer je mislukkingen te formaliseren of te theoretiseren en kijk of er een resultaat opdoemt; ga anders verder om een ​​waardiger probleem op te lossen.

#6
+8
Mark Hahnel
2012-04-10 15:22:26 UTC
view on stackexchange narkive permalink

Ik denk dat dit neerkomt op de tijd die het kost. Persoonlijk kon ik niet de moeite nemen om 2 dagen te besteden aan het schrijven en opmaken van een paper voor negatieve gegevens. Het moet heel eenvoudig zijn om te doen en ik moet er óf wat eer voor krijgen, óf een mandaat krijgen om het te doen.

Er is een groeiende behoefte van financiers en mandaten die onderzoekers dwingen alles te doen hun beschikbare onderzoeksresultaten zijn slechts een kwestie van tijd. Ondertussen kunnen altmetrics fungeren als wortels om onderzoekers aan te moedigen hun gegevens te delen, zelfs de negatieve dingen.

#7
+3
lynxoid
2012-03-19 02:12:46 UTC
view on stackexchange narkive permalink

Als je veel literatuur hebt gelezen en je vervolgens realiseert dat je op een doodlopende weg zit, kun je in ieder geval een recensie publiceren over alle methoden en technieken die je hebt geleerd.

#8
+1
uli
2015-04-02 19:03:20 UTC
view on stackexchange narkive permalink

Er is het Journal of unsolved Questions JunQ. Ze verzamelen onderzoek met nulresultaten en openstaande problemen.



Deze Q&A is automatisch vertaald vanuit de Engelse taal.De originele inhoud is beschikbaar op stackexchange, waarvoor we bedanken voor de cc by-sa 3.0-licentie waaronder het wordt gedistribueerd.
Loading...