Vraag:
Ruimte voor de rol van peer reviewer
Andy W
2012-03-01 23:16:30 UTC
view on stackexchange narkive permalink

Als jonge wetenschapper heb ik er vaak moeite mee om te weten in hoeverre ik kritisch moet zijn over bepaalde onderdelen van artikelen die ik aan het recenseren ben. Ik kan een ruwe hiërarchie formuleren tussen grote zorgen (dingen die veranderd moeten worden of die niet gepubliceerd mogen worden) en relatief kleine zorgen (dingen waarvan ik denk dat ze het manuscript zouden verbeteren, maar die niet inhoudelijk genoeg zijn om te bepalen of het artikel publiceerbaar is) De vraag heeft hier betrekking op het laatste, in wezen weet ik niet waar de grens in redelijkheid zou moeten zijn voor kleine problemen.

Als voorbeeld, omdat ik alleen curmudge is, zou ik zeggen dat slechte graphics zijn de norm in plaats van de uitzondering in mijn vakgebied, hoewel ze niet vaak zo slecht zijn, kan ik er niet achter komen wat de auteur probeert te zeggen. Zijn kleine kritiek op grafieken passend (bijv. Uw rasterlijnen zijn erg opdringerig, de beeldverhouding van uw grafiek is niet geschikt, uw kleuren / patronen zijn moeilijk te onderscheiden, u zou een puntplot moeten gebruiken in plaats van een gestapelde staafdiagram, enz.) Vaak zijn mijn voorgestelde verbeteringen echter enigszins willekeurig, dus aarzel ik vaak om dergelijk advies te geven.

Is er enig advies om de rol van de peer-reviewer te begeleiden? Nog een nevenvraag: verandert de scope als ik dit doe voor een collega of als anonieme recensent voor een tijdschrift?

Akkoord - en beide vragen hebben goede antwoorden. Mods, heb je een slimme tool om de antwoorden samen te voegen tot een enkele definitieve vraag?
Negen antwoorden:
#1
+35
Fomite
2012-03-02 04:04:41 UTC
view on stackexchange narkive permalink

Ik denk dat alles waar u naar vraagt, binnen de rol van de recensent valt. Over het algemeen verdeel ik mijn recensie in drie secties:

Samenvatting : een samenvatting en vrije kritiek. Hier vertel ik waar ik denk dat de "kern" van de paper over gaat, de sterke punten ervan, en geef enkele zwakke punten aan die in de paper als geheel kunnen voorkomen. Als ik bijvoorbeeld denk dat de auteurs iets te verlegen waren door geen interpretatie van de gegevens te geven, of als ze een belangrijk punt hebben gemist of verdoezeld.

Grote kritiek : Dit zijn dingen die moeten worden opgelost om het als een publiceerbaar artikel te beschouwen, en als ik de kans krijg om de revisies te herzien (sommige tijdschriften doen dit), verwacht ik dat ze zullen veranderen , of zeer goede argumenten hebben waarom ze dat niet zijn. Dingen in deze categorie omvatten:

  • Gebrekkige of ongepaste methoden
  • Grote intuïtieve sprongen die niet worden ondersteund door de gegevens of analyse
  • Onderzoeksproblemen met het ontwerp die aandacht behoeven
  • Grote interpretatiefouten
  • Registreer specifieke problemen, zoals het niet correct rapporteren van uw protocol volgens de vastgestelde normen voor een klinische proef, of het ongepast gebruik van p-waarden in sommige tijdschriften.

Kleine kritiek : dit zijn allemaal dingen die in wezen zijn "Het advies van iemand die uw concept met een kritische blik leest". Belangrijk is dat dit dingen zijn waar, als ze allemaal het zouden halen, hoewel ik mogelijk geïrriteerd zou zijn, ik niet boos zou zijn dat de krant de pers zou raken. Dit doet bevat zaken als advies over afbeeldingen (mijn ergernis zijn afbeeldingen die onbegrijpelijk zijn wanneer ze worden afgedrukt), ontbrekende citaten, enz. Dingen die boven het niveau van een kopieerbewerker uitkomen, maar die niet verplaats mijn beslissing op papier op de een of andere manier, tenzij er veel van zijn.

Af en toe plaats ik een of twee kleine aantekeningen voor het bewerken van kopieën als er iets naar me toe springt (verzekeren versus verzekeren versus verzekeren, enz.)

De cut-off die ik gebruik is "Will dit irriteert me als ik het in druk zie, en zal ik minder denken aan de auteurs die het hebben geproduceerd? " Om je voorbeeld van slechte grafieken te gebruiken, ja, dit zou me irriteren, en het resulteert in een minder bruikbare bevinding dan een met de juiste grafieken - net als onleesbaar taalgebruik in de sectie Resultaten. Als het kleine dingen zijn, zoals een zin die ik niet zou hebben gebruikt, of een lichte voorliefde voor doorlopende zinnen? Dat valt onder de radar.

Wat betreft vrienden versus anonieme beoordelingen, ik denk dat de reikwijdte enigszins verandert. Voor een vriend help je ze een paper te polijsten - ik denk dat er nog veel meer dingen onder die paraplu vallen, inclusief dingen als "Daar is een puntkomma echt niet voor" of rommelen met de grafische parameters op een plot. Voor een recensent ben je een van de laatste poortwachters voordat dit de wereld in gaat, maar je bent geen redacteur. Je moet je concentreren op het onderzoek en de juiste presentatie ervan, tenzij de fouten zo erg zijn dat ze een van deze fouten belemmeren.

In beide gevallen moet je beleefd zijn.

+1 voor "wees beleefd". Dit zijn mensen zoals jij, die hun best doen om hun werk te publiceren. Behandel ze met het respect dat u zichzelf zou toekennen.
+1 voor de vraag "Zal dit me irriteren als ik het in druk zie, en zal ik minder denken aan de auteurs die het hebben geproduceerd?"
#2
+17
JeffE
2012-03-02 03:25:49 UTC
view on stackexchange narkive permalink

Zie mijn antwoord op een vergelijkbare vraag op de SE-site voor theoretische informatica.

Op de suggestie van @ David ben ik copy- plak mijn antwoord hier, maar onthoud dat de vraag iets anders is, en mijn antwoord is gericht op theoretische informatica. De vetgedrukte vragen zijn geciteerd uit de oorspronkelijke post. Punt 5 is waarschijnlijk het meest relevant voor deze vraag.

Korte versie: Wees respectvol, maar brutaal eerlijk.


  1. Wat zijn de belangrijkste criteria voor het bepalen van de significantie van de resultaten van een paper? Levert de paper, voorzover u weet, een significante, goed gepresenteerde en correcte bijdrage aan de stand van de techniek? Als het artikel niet voldoet aan een van de drie criteria, is het redelijk om het alleen om die reden af ​​te wijzen, ongeacht de andere twee.

  2. Wat zijn de belangrijkste elementen van een scheidsrechtersrapport, en welke onderdelen zijn het belangrijkst? Dit is wat ik denk dat een rapport zou moeten bevatten. Alles moet zichtbaar zijn voor de auteur, behalve mogelijk voor ernstige beschuldigingen van wangedrag.

    a. Een korte samenvatting van de paper, om de redacteur te helpen de kwaliteit van de resultaten te beoordelen, en om zowel de auteur als de redacteur ervan te overtuigen dat je de paper daadwerkelijk hebt gelezen en begrepen. Plaats het resultaat in zijn grotere context. Voeg een geschiedenis van eerdere versies toe, zelfs als de auteurs deze in de inzending opnemen. Wees respectvol, maar brutaal eerlijk.

    b. Een bespreking van de sterke en zwakke punten van de paper, in termen van correctheid, nieuwheid, duidelijkheid, belang, algemeenheid, potentiële impact, elegantie, technische diepgang, robuustheid, enz. Als u onethisch gedrag vermoedt (plagiaat, parallelle indiening, gekookte gegevens) , beschrijf uw vermoedens. Wees respectvol, maar brutaal eerlijk.

    c. Een aanbeveling aan de redacteur voor verdere actie - accepteer, accepteer met kleine herziening, vraag om een ​​tweede beoordelingsronde of verwerp ronduit. Onthoud dat u een aanbeveling doet, geen beslissing; als u geen beslissing kunt nemen, zeg dat dan gewoon. Wees respectvol, maar brutaal eerlijk.

    d. Meer gedetailleerde feedback aan de auteur - meer gedetailleerde rechtvaardiging voor uw aanbeveling, verzoeken om verduidelijking in de definitieve versie, ontbrekende referenties, bugs in de drukproeven, vereenvoudigingen, generalisaties, typefouten, enz. Wees respectvol, maar brutaal eerlijk.

  3. Waarin verschilt de beoordeling voor conferenties van die in tijdschriften? Conferentieverslagen zouden korter moeten zijn; programmacommissies hebben honderden papers die ze tegelijk kunnen behandelen. Of er een verschil moet zijn tussen congres- en tijdschriftartikelen is aan het tijdschrift (en indirect aan de gemeenschap). De meeste theoretische informatica-tijdschriften niet benadrukken een significant verschil; het is vrij gebruikelijk dat de conferentie- en tijdschriftversies van een theorienota in wezen identiek zijn. Vraag de redacteur bij twijfel!

  4. Wat moet ik doen als ik het artikel niet begrijp? ...het bewijs? (Is het mijn schuld of die van hen?) Als u het artikel nog steeds niet begrijpt nadat u zich te goeder trouw heeft ingespannen, is het de schuld van de auteur of mogelijk van de redacteur, maar zeker niet de jouwe. De primaire verantwoordelijkheid van de auteur is om hun resultaat effectief aan hun publiek te communiceren, en een goede redacteur zal je alleen een paper naar de scheidsrechter sturen als hij denkt dat je een goede vertegenwoordiger bent van het beoogde publiek van de paper. Maar u moet zich te goeder trouw inspannen; Verwacht niet meteen alles (iets?) te begrijpen bij je eerste lezing.

  5. Hoe zit het met typografische / grammaticale fouten? Als er veel fouten zijn, lees dan niet eens de paper; adviseer alleen afwijzing op grond van het feit dat het papier niet professioneel is geschreven. Anders, als je echt grondig wilt zijn, voeg dan een representatieve lijst met grammatica-, spelling- en interpunctie-fouten toe, maar val jezelf niet buiten de deur om elke laatste bug te vinden. Wees respectvol, maar brutaal eerlijk.

  6. Hoeveel tijd moet ik besteden aan een rapport? Verwacht ongeveer een uur per pagina te besteden, meestal aan internaliseren de resultaten en technieken van het papier. Wees aangenaam verrast als het eigenlijk niet zo lang duurt. (Als het aanzienlijk minder tijd kost, is het papier ofwel buitengewoon elegant en goed geschreven, kent u het gebied buitengewoon goed, of is het technisch oppervlakkig. Verwar deze drie mogelijkheden niet.)

  7. Hoeveel rapporten per jaar moet ik schrijven? Je moet minstens evenveel scheidsrechtersrapporten schrijven als andere mensen voor je schrijven. Als dit meer tijd kost dan het schrijven van je eigen papers, besteed je niet genoeg tijd aan je eigen papers.

links zonder uitleg hebben over het algemeen niet de voorkeur; waarom niet gewoon kopiëren en plakken?
#3
+13
F'x
2013-01-09 16:21:52 UTC
view on stackexchange narkive permalink

PLoS Computational Biology redacteur P.E. Bourne heeft een reeks zeer fatsoenlijke "Tien eenvoudige regels voor ..." artikelen geschreven. Er is geen gedetailleerde gids om een ​​goede recensent te zijn, maar Tien eenvoudige regels voor recensenten is zeker een goed startpunt. Samenvattend:

  1. Accepteer geen beoordelingsopdracht tenzij u de taak in het gevraagde tijdsbestek kunt volbrengen - leer nee zeggen

  2. Vermijd belangenverstrengeling

  3. Schrijf beoordelingen waarmee u als auteur tevreden zou zijn

  4. Als beoordelaar maakt u deel uit van het auteursproces

  5. Zorg ervoor dat u geniet van en leert van het beoordelingsproces

  6. Ontwikkel een beoordelingsmethode die werkt voor u

  7. Besteed uw kostbare tijd aan documenten die een goede beoordeling waard zijn

  8. Behoud de anonimiteit van het beoordelingsproces als de Journal vereist het

  9. Schrijf duidelijk, beknopt en op een neutrale toon, maar wees besluitvaardig

  10. Maak gebruik van de “ Opmerkingen voor redacteuren ”

Ik zou willen toevoegen: lees zorgvuldig zowel de“ instructies voor auteurs ”als de“ instructies voor recensenten ”van het tijdschrift waarvoor u een recensie schrijft, als u dat niet bent al erg bekend met hen.

#4
+11
Lars Kotthoff
2012-03-02 02:06:19 UTC
view on stackexchange narkive permalink

Er zijn bepaalde dingen waar ik naar op zoek ben bij het beoordelen van papers die "showstoppers" zijn, dwz als ik een van deze vind, raad ik meestal afwijzing aan.

  • Dingen die niet kloppen , bijv breuken die niet optellen tot 1, onredelijke grote prestatieverbeteringen zoals ordes van grootte wanneer de voorgestelde methode in het beste geval 50% van het werk zou besparen.
  • Grote omissies, dwz iets dat zou zijn vereist om de resultaten te reproduceren / de methode te implementeren, wordt niet adequaat beschreven.
  • Verkeerde of ongerechtvaardigde verklaringen.

De dingen die niet in deze categorie vallen (bijv. grafieken die moeilijk te lezen zijn) zijn voor mij meestal geen reden om afwijzing aan te bevelen, tenzij ze meerdere keren in de krant voorkomen. Hetzelfde geldt voor slechte spelling / grammatica.

Ik zou altijd dingen willen noemen zoals jij noemt als voorbeeld (een ding dat ik niet leuk vind zijn grafieken met verschillende schalen naast elkaar om twee benaderingen te vergelijken) als je denkt dat ze het papier beter zouden maken als je ze zou veranderen. Uiteindelijk is alles subjectief en lijkt het misschien willekeurig.

Ik zou dezelfde ijver gebruiken, ongeacht of ik iets opzoek naar een collega of recenseer voor een conferentie / tijdschrift, want zelfs in het eerste geval zal de paper waarschijnlijk ergens worden ingediend waar het door vakgenoten zal worden beoordeeld.

Samenvattend denk ik dat er in het artikel een aantal kleine zorgen moeten zijn om aan te bevelen dat het wordt afgewezen. Een of twee grafieken die er vreemd uitzien, zouden voor mij geen reden zijn om dat te doen, tenzij er natuurlijk andere, serieuzere problemen zijn.

#5
+10
Carl Mummert
2013-01-09 19:40:22 UTC
view on stackexchange narkive permalink

Hier is de grove checklist die ik gebruik voor scheidsrechters. Ik werk in de wiskunde, dus het moet misschien worden aangepast voor andere gebieden. Als ik een recensie schrijf, stel ik me voor dat het voor mijn eigen paper is, en ik probeer de dingen op te nemen die ik graag zou willen dat een recensent voor mij opneemt.

  1. Is het papier correct? Triviale fouten kunnen natuurlijk worden gecorrigeerd bij een nieuwe inzending. Ik heb nog geen paper ontvangen waarin ik een ernstige fout heb aangetroffen.

    1. Een deel van correctheid is duidelijkheid. Ik beschouw het gemiddelde lezerspubliek van het tijdschrift (voor zover ik kan), en alle aspecten van het artikel die voor hen onduidelijk zouden zijn, kunnen in het rapport aan de orde worden gesteld. Er is natuurlijk een verschil tussen onduidelijkheid en schrijfstijl. Maar papieren moeten standaardterminologie gebruiken als die bestaat, en bewijzen moeten worden geschreven op een manier die niet al te moeilijk te volgen is. Af en toe kan een scheidsrechter een meer gestroomlijnd bewijs suggereren, wat prima is.

    2. Ik houd een doorlopende lijst bij van typefouten, stijlfouten en andere trivialiteiten, die ik onderaan het rapport opsom met zo min mogelijk commentaar.

    3. Ik controleer niet de juistheid van alle bibliografische gegevens, maar ik verwijs vaak naar een of meer referenties bij het lezen van de paper. Als ik fouten in de bibliografie opmerk, noteer ik die in het rapport.

  2. Is het papier compleet?

    1. Zijn er duidelijke hiaten in het onderzoek? Als een stelling bijvoorbeeld een vreemde aanvullende hypothese heeft, moet de auteur de noodzaak van deze hypothese bespreken, of overwegen om het als een vraag te stellen. Niemand anders zal in staat zijn om een ​​paper te publiceren om kleine hiaten op te vullen, dus het is belangrijk dat de auteur voldoende grondig is in het originele paper, in het belang van de algehele literatuur.

    2. Zijn er aanvullende referenties die moeten worden vermeld? Als ik weet van aanvullend onderzoek dat de auteur niet heeft genoemd, kan ik dat in het rapport vermelden. Ik denk dat dit een van de belangrijkere rollen van de recensent is, omdat geen enkele auteur op de hoogte is van de hele onderzoeksliteratuur.

  3. Past het artikel bij het tijdschrift waarin het is ingediend? Ik heb een algemeen gevoel voor de verschillen tussen de tijdschriften in mijn omgeving. De meeste tijdschriften hebben ook een omschrijving van de reikwijdte en het doel op hun website. Voor sommige tijdschriften denk ik dat alle on-topic papers van professionele kwaliteit binnen de scope van het tijdschrift vallen. Maar voor 'high-tier' tijdschriften moet het papier voldoende resultaten hebben (en misschien een voldoende dichtheid van resultaten) om te passen.

    1. De mate van volledigheid (punt 2) kan hierbij van belang zijn. De redacteur zal natuurlijk de uiteindelijke beslissing nemen, maar het is niet ongepast voor de recensent om aan te geven of hij denkt dat het artikel correct is, maar niet past bij het tijdschrift waaraan het wordt voorgelegd.

    2. Als het duidelijk is dat een paper niet goed past, kan ik een rapport schrijven waarin ik dit aangeeft zonder de juistheid van de resultaten te verifiëren. Hierdoor kan de auteur sneller opnieuw indienen bij een ander tijdschrift dan wanneer ik de tijd zou nemen met het papier.

  4. Heeft de redacteur aanvullende instructies gegeven? Bijvoorbeeld, een toptijdschrift vroeg recensenten expliciet om het kwaliteitsniveau dat vereist is voor acceptatie, omdat het tijdschrift een lange achterstand had en het aantal geaccepteerde papers wilde verminderen. Er kunnen zich andere ongebruikelijke situaties voordoen, die de redacteur voor de recensent kan samenvatten.

Ik probeer vraag 1 en 3 in de eerste alinea van de recensie te beantwoorden. Dit is wat de redacteur moet weten. De onderste delen van de recensie zijn meer bedoeld voor de auteur, en kunnen opmerkingen bevatten over mogelijke wijzigingen of toevoegingen, vooral als mijn aanbeveling is om te herzien en opnieuw in te dienen.

+1, hoewel ik denk niet dat het beoordelen van de geschiktheid van het artikel voor een bepaald tijdschrift de taak is van een recensent. Als een paper niet goed past, zou dit moeten leiden tot een afwijzing van het bureau door de redacteur, zonder tussenkomst van reviewers. Als je de geschiktheid van een artikel voor het betreffende tijdschrift als recensent echt in twijfel trekt, denk ik dat het beter is om eerst contact op te nemen met de redacteur over de kwestie in plaats van meteen een afwijzing voor te stellen. Het is mogelijk dat uw kijk op wat er in het dagboek zou moeten staan ​​scheef is. Het zou zonde zijn als auteurs daarvoor gestraft worden.
#6
+5
aeismail
2012-03-02 10:03:32 UTC
view on stackexchange narkive permalink

Als u besluit dat een bepaald artikel dat u aan het recenseren bent, acceptabel is, dan wordt het uw taak als scheidsrechter van het artikel om verbeteringen voor te stellen waarvan u denkt dat ze inhoudelijk de presentatie van de wetenschappelijke inhoud zullen helpen. Zelfs kleine correcties, zoals degene die u heeft opgesomd, kunnen als substantieel worden beschouwd wanneer ze tot "echte" verbetering leiden.

Ik zou bijvoorbeeld willen zeggen dat het suggereren van een opmerking dat aslabels 12 pt in plaats van 7 pt zouden moeten zijn, passend zou zijn, aangezien het de leesbaarheid aanzienlijk zou verbeteren; pleiten voor 12 pt in plaats van 13 pt is echter niet significant genoeg om echt een verschil te maken. Evenzo zou ik wijzen op grammaticale fouten of spelfouten als ze relatief klein zijn, maar maak een algemene opmerking als er veel zijn, want ik word niet betaald om een ​​redacteur te zijn. (Nog een voorbeeld: Oxford-komma's zouden niet tot dat niveau stijgen, tenzij het een kwestie is van "Eet, schiet en bladeren".)

Over het algemeen is er echter niets dat echt too muggenzifterij van aard, tenzij je alleen maar een persoonlijke voorkeur uitdrukt.

#7
+4
Steve P
2012-03-02 00:15:04 UTC
view on stackexchange narkive permalink

Als dit suggesties zijn in plaats van mandaten (zoals u suggereert) en als u bereid bent tijd te besteden aan het geven van dergelijke feedback, zou ik zeggen: ga ervoor. Het kan alleen maar helpen, zolang je niet zo kieskeurig bent dat de auteurs eindigen met een lijst die te overweldigend is om mee om te gaan (niet zeker waar de lat daarvoor ligt).

Ter info: ik ben ook een "jonge" geleerde, geen redacteur van een tijdschrift.

#8
+4
Leon palafox
2013-01-09 16:55:27 UTC
view on stackexchange narkive permalink

Ik kan ook een andere aanwijzer toevoegen die ik in de loop der jaren ben gaan leren over wat een goede recensie is.

Dingen die u moet vermijden:

  • De papier omdat je de aanpak niet leuk vond (wetenschap gaat niet over leuk vinden, gaat over correctheid)
  • Het papier afwijzen omdat het veel typefouten bevat (je kunt altijd om een ​​spellingcontrole vragen, maar als de idee is goed, geen moedertaalspreker zijn zou geen invloed op je moeten hebben)

  • Als ik een paper bekritiseer omdat ze geen eenvoudige definities hebben, is mijn vuistregel dat als een concept in een Google zoekt als een wikipedia-pagina, de auteur hoeft het niet opnieuw uit te leggen.

Dingen die de krant kunnen helpen:

  • Als de grammatica is slecht, raad dan een boek aan voor schrijfstijlen, zoals Strunk en White, en geef enkele voorbeelden van hoe het papier kan worden verbeterd.
  • Als je denkt dat het papier een aantal obscure concepten bevat (die niet op Wikipedia) om opheldering vragen.
  • Het papier zou in de regel geïmplementeerd moeten zijn door iemand met de expertise op het gebied.
#9
+1
schaul
2012-03-05 10:08:40 UTC
view on stackexchange narkive permalink

Mijn belangrijkste criterium voor dergelijke zorgen over duidelijkheid en presentatie is lezerstijd : de tijd die de auteurs nodig hebben om uw bezorgdheid aan de orde te stellen, is vergelijkbaar met de (cumulatieve) tijd die de lezers van het artikel hebben gewonnen.

Dit betekent ook: hoe groter het verwachte publiek, hoe meer je kunt muggenziften.

Wat is de "tijdwinst door de lezers van de krant" en hoe zou ik dat in vredesnaam inschatten?


Deze Q&A is automatisch vertaald vanuit de Engelse taal.De originele inhoud is beschikbaar op stackexchange, waarvoor we bedanken voor de cc by-sa 3.0-licentie waaronder het wordt gedistribueerd.
Loading...