Kuinka vertaisarviointi toimii yhteiskuntatieteissä

Vertaisarviointi, ainakin tarkoituksella, on tapa, jolla akateemisten lehtien toimittajat pyrkivät pitämään artikkelien laadun heidän julkaisuissaan korkea ja vakuuttaa (tai yrittää vakuuttaa), että huonoa tai virheellistä tutkimusta ei julkaista. Prosessi on sidottu poliittisiin ja taloudellisiin kysymyksiin, joihin sisältyy hallintaoikeus ja palkka-asteikot siten, että vertaisarviointiprosessiin osallistuva akateeminen (kirjoittajana, toimittajana tai arvioijana) palkitaan osallistuminen maineen nousuun, joka voi johtaa palkkaasteikkojen nousuun palveluiden suorien maksujen sijasta sulatettu.

Toisin sanoen kukaan arvosteluprosessiin osallistuvista ei maksa kyseisen lehden palkkiota, ainoana poikkeuksena (ehkä) yhdestä tai useammasta toimittajan avustajasta. Kirjailija, toimittaja ja arvioijat kaikki tekevät tämän prosessin arvostuksen vuoksi; heidät maksaa yleensä niitä työllistävä yliopisto tai yritys, ja monissa tapauksissa palkka riippuu siitä, miten ne julkaistaan ​​vertaisarvioiduissa lehdissä. Toimituksellista apua antaa yleensä osittain toimittajan yliopisto ja osittain päiväkirja.

Tapa, jolla akateeminen vertaisarviointi toimii (ainakin yhteiskuntatieteissä), on, että tutkija kirjoittaa artikkelin ja toimittaa sen päiväkirjaan tarkistettavaksi. toimittaja lukee sen ja löytää 3–7 muuta tutkijaa arvioimaan sitä.

Tutkija valitsee lukeakseen ja kommentoidakseen tutkijan artikkelia päätoimittajan valitsemien mainosten perusteella artikkelin tietyllä kentällä tai mainitaanko he bibliografia, tai jos toimittaja tuntee ne henkilökohtaisesti. Joskus käsikirjoituksen kirjoittaja ehdottaa joitain arvioijia. Kun arvioijaluettelo on laadittu, toimittaja poistaa kirjoittajan nimen käsikirjoituksesta ja välittää kopion valituille koville sydämille. Sitten aika kuluu, paljon aikaa, yleensä kahden viikon ja useiden kuukausien välillä.

Kun kaikki arvioijat ovat palauttaneet kommenttinsa (tehdyt suoraan käsikirjoitukseen tai erillisessä asiakirjassa), toimittaja tekee alustavan päätöksen käsikirjoituksesta. Onko se hyväksyttävä sellaisenaan? (Tämä on hyvin harvinaista.) Onko se hyväksyttävä muutoksin? (Tämä on tyypillistä.) Onko se hylättävä? (Tämä viimeinen tapaus on myös melko harvinainen päiväkirjasta riippuen.) Toimittaja poistaa käyttäjän identiteetin arvioijat ja lähettää kommentit ja hänen alustavan päätöksensa käsikirjoituksesta kirjailija.

Jos käsikirjoitus hyväksyttiin muutoksin, kirjoittajan on tehtävä muutokset, kunnes toimittaja on vakuuttunut siitä, että tarkastajien varaukset täyttyvät. Lopulta, useiden edestakaisin kierrosten jälkeen käsikirjoitus julkaistaan. Aika käsikirjoituksen jättämisestä julkaisemiseen akateemisessa lehdessä kestää yleensä kuusi kuukautta yli vuoden.

Järjestelmään liittyviä ongelmia ovat aika, joka kuluu lähettämisen ja julkaisemisen välillä, ja vaikeuksia saada arvostelijoita, joilla on aikaa ja taipumus antaa harkittuja rakentavia arvostelut. Pikku kateus ja täydet poliittiset mielipide-erot ovat vaikea hillitä prosessissa, jossa ketään ei tehdä vastuuseen tietylle kommenttijoukolle tietystä käsikirjoituksesta, ja jos kirjoittajalla ei ole kykyä vastata suoraan tarkastajiensa kanssa. On kuitenkin sanottava, että monet väittävät, että sokean arvosteluprosessin nimettömyys antaa tarkastajalle mahdollisuuden ilmaista vapaasti mielipiteensä tietystä paperista pelkäämättä kostoa.

Kasvaa Internet 2000-luvun ensimmäisellä vuosikymmenellä on ollut valtava ero artikkeleiden julkaisumenetelmässä ja asetettu saataville: vertaisarviointijärjestelmä on usein ongelmallista näissä lehdissä, useille syyt. Avoimen julkaisun julkaiseminen - jossa ilmaiset luonnokset tai valmiit artikkelit julkaistaan ​​ja asetetaan kaikkien saataville - on hieno kokeilu, jolla on ollut joitain kiinnityksiä aloittamisessa. Vuonna 2013 julkaisussa tiede, John Bohannon kuvasi, kuinka hän lähetti 304 versiota vääriä ihmehuumeita koskevasta paperista avoimen pääsyn lehdille, joista yli puolet hyväksyttiin.

Vuonna 2001 lehti Käyttäytymisekologia muutti vertaisarviointijärjestelmänsä järjestelmästä, joka identifioi kirjoittajan arvioijiksi (mutta arvioijat pysyivät anonyymi) täysin sokealle, jossa sekä kirjoittaja että arvostelijat ovat nimettömiä toisilleen. Vuoden 2008 lehdessä Amber Budden ja hänen kollegansa kertoivat tilastoista, joissa verrataan julkaisemista varten hyväksyttyjä artikkeleita ennen vuotta 2001 ja sen jälkeen ilmoitti, että BE: ssä on julkaistu huomattavasti enemmän naisia ​​kaksoissokkotutkimuksen jälkeen alkoi. Samankaltaiset ekologiset lehdet, joissa käytetään saman sokerin arvosteluja saman ajanjakson aikana, eivät osoita samanlaista kasvua useita naisten kirjoittamia artikkeleita, mikä saa tutkijat uskomaan, että kaksoissokkotutkimus voi auttaa kanssa 'lasikatto' vaikutus.

• Bohannon, John. "Kuka pelkää vertaisarviointia?" Science, voi. 342, ei. 6154, Amerikan tieteen edistymisen yhdistys (AAAS), lokakuu 2013, s. 60–65.
• BUDDEN, A., et ai. “Tupla-sokea arvostelu suosii naispuolisten kirjoittajien entistä parempaa edustusta.” Trends in Ecology & Evolution, voi. 23, ei. 1, Elsevier BV, tammikuu 2008, s. 4–6.
• Carver, Martin. “Arkeologialehdet, tutkijat ja avoin pääsy.” European Journal of Archaeology, voi. 10, ei. 2–3, Cambridge University Press (CUP), 2007, s. 1 135–48.
• Chilidis, Konstantinos. “Uusi tieto versus konsensus - kriittinen huomautus heidän suhteestaan, joka perustuu keskusteluun tynnyriholvien käytöstä Makedonian haudoissa.” European Journal of Archaeology, voi. 11, ei. 1, Cambridge University Press (CUP), 2007, s. 1 75–103.
• Etkin, Adam. “Uusi menetelmä ja muuttuja arvioimaan tieteellisten aikakauslehtien vertaisarviointiprosessia.” Publishing Research Quarterly, voi. 30, ei. 1, Springer Science and Business Media LLC, joulukuu 2013, s. 23–38.
• Gould, Thomas H. P. “Vertaisarvioinnin tulevaisuus: Neljä mahdollista vaihtoehtoa tyhjyyteen.” Publishing Research Quarterly, voi. 28, ei. 4, Springer Science and Business Media LLC, lokakuu 2012, s. 285–93.
• Vanlandingham SL. Satunnaiset esimerkit pettämisestä vertaisarvioinnissa: Dorenbergin pääkalvon huijauksen valmistus ja siihen liittyvä väärinkäyttö. 13. maailmanlaajuinen systeemien, kybernetiikan ja informatiikan monikonferenssi: Kansainvälinen vertaisarvioinnin symposium. Orlando, Florida. 2009.
• Vesnic-Alujevic, Lucia. “Vertaisarviointi ja tieteellinen julkaisu Times of Web 2.0: ssa.Publishing Research Quarterly, voi. 30, ei. 1, Springer Science and Business Media LLC, helmikuu 2014, s. 39–49.
• Weiss, Brad. “Käyttöoikeuksien avaaminen: julkisuus, julkaisu ja polku osallisuuteen.” Cultural Anthropology, voi. 29, ei. 1, American Anhropological Association, helmikuu. 2014, s. 1–2.