Yarıdan Fazlası Tutmadı: Sosyal Bilimler Araştırmaları Tekrar Test Edildiğinde Büyük Çoğunluğu Doğrulanmadı

Büyük ölçekli uluslararası bir projenin bulgularına göre, sosyal ve davranış bilimleri alanındaki test edilen bilimsel iddiaların yaklaşık yarısı, bağımsız araştırmacılar çalışmayı tekrarlamaya çalıştığında ayakta kalmayı başarıyor. Nature‘da yayımlanan araştırma, yayınlanan bulguların doğrulanmasının tek bir alana ait olmadığı, bunun yerine psikoloji, iktisat, sosyoloji, eğitim, işletme ve politika bilimleri gibi disiplinlerin tamamına yayıldığı gösteriyor. Ortalama olarak, tekrarlama girişimlerinde gözlemlenen etkiler, ilk başta bildirilen etkilerin yarısından daha küçük çıktı.

Bilimsel araştırmada bir tekrarlama girişimi, önceki bir çalışmanın aynısı olan soruyu bağımsız veriler kullanarak test etmek ve orijinal sonucun geçerli olup olmadığını görmek anlamına gelir. Bir bilimsel keşif insan davranışında gerçek bir düzenlilikse, benzer bir yöntem izleyen veya yeni bir veri seti analiz eden bağımsız araştırmacılar benzer bir sonuca ulaşabilmelidir. Geçmiş çalışmaların tekrarlanması, ilk bulgunun kamu politikalarını, eğitimi veya klinik uygulamayı yönlendirmek için yeterli derecede güvenilir olup olmadığını doğrulamaya yardımcı olur.

Son on yılda büyük ölçekli doğrulama çabaları, yayınlanan bulguların ne sıklıkla denetime dayanabildiği konusunda sorular ortaya çıkardı. 2015 yılında yapılan bir tekrarlama projesi 100 psikoloji çalışmasını test etti ve yalnızca yaklaşık üçte birinin orijinal sonuçları ürettiğini buldu; bu da araştırma güvenilirliği hakkında geniş çaplı bir tartışma başlattı. Takip araştırmalar kısa süre içinde bu sorunun yalnızca psikolojiye özgü olup olmadığını görmek için diğer çalışma alanlarını test etti.

Diğer alanlar da benzer bir örüntü gösterdi. Ekonomi alanında 2016 yılında yürütülen laboratuvar deneylerinin incelenmesi, 18 çalışmanın 11’inin orijinal ile aynı yönde istatistiksel olarak anlamlı bir etki ortaya koyduğunu ortaya koydu. Benzer şekilde, 2018 yılında üst düzey genel bilim dergilerinde yayımlanan sosyal bilim deneylerinin incelenmesi, bulguların yaklaşık %62’sinin başarılı bir şekilde tekrarlandığını, ancak bulguların gücünün yaklaşık olarak yarıya düştüğünü gösterdi. Diğer tekrarlama çalışmalarıyla birleşen bu projeler, yüzlerce denemenin tamamında, iyi güçlendirilmiş tekrarlamaların yaklaşık yarısının orijinal ile aynı yönde istatistiksel olarak anlamlı bir sonuç verdiğini işaret etti.

Araştırmacılar, yayımlanan birçok bulgunun neden tekrarlanamadığına dair birkaç sistem açıklaması öne sürdü. Akademik dergiler tarihsel olarak yenilikçi, olumlu bulguları, kesinliği belirsiz veya olumsuz sonuçların önüne koyarak, rastlantıyla bir etkiyi abartmaya eğilimli çalışmaların basılma olasılığının en yüksek olduğu bir yayımlama filtresi oluşturdu. Küçük örneklem boyutları, kusurlu ölçüm araçları ve esnek veri analizi uygulamaları da sahte pozitif sonuçlar üretebilir. Bu arada, akademik kültür doğrulama çalışmalarını sıklıkla caydırıcı buldu; örneğin 2017 yılında yürütülen bir çalışma, psikoloji dergilerinin ancak yaklaşık %3’ünün açıkça tekrarlama çalışmalarını karşıladığını, üçte birinin ise dolaylı olarak bunları caydırıcı bulduğunu ortaya koydu.

Önceki doğrulama çalışmalarının çoğu tek bir akademik alana odaklandı veya nispeten küçük makale gruplarını inceledi. Önceki çalışmalarda görülen örüntülerin insan davranışı araştırmasının daha geniş manzarasında geçerli olup olmadığını belirlemek için, Center for Open Science’dan Andrew H. Tyner önderliğinde, kıdemli çalışma arkadaşı Timothy M. Errington ve Center for Open Science’nin yönetici direktörü ile Virginia Üniversitesi’nde profesör olan yazışma yazarı Brian A. Nosek’in katıldığı devasa bir ekip, disiplinlerarası sistematik bir soruşturma başlattı.

Nosek, 2015 yılında yürütülen psikoloji projesini de koordine etti ve üst düzey genel bilim dergilerinde yayımlanan çalışmaların 2018 analizine ortak yazarlık yaptı. Yeni çalışma, Savunma İleri Araştırma Projeleri Ajansı (DARPA)’nın Açık Araştırma ve Kanıta İtimat (SCORE) programı kapsamında yürütüldü ve 31 ülkeden yüzlerce araştırmacıyı bir araya getirdi.

“Bu proje, dünya çapında binlerce araştırmacıyı içeren ve 2019’da başlayan SCORE adlı daha büyük bir araştırma programının bir parçasıydı” diyerek Nosek, PsyPost’a şunları söyledi: “Araştırmaların ilerletilmesinde sonraki adımlar için hangi çalışmaların gerekli olduğuna dair kararları desteklemek amacıyla algoritmaların bulguların tekrarlanabilirliğini tahmin edebileceğini inceliyorduk.”

Araştırmacılar, 2009 ile 2018 yılları arasında yayımlanan ve altı büyük disiplini temsil eden 62 dergiden rastgele seçtikleri 3.900 nicel çalışmayı toplayarak başladılar: işletme, iktisat, eğitim, politika bilimi, psikoloji ve sosyoloji. Seçilebilirlik için bir çalışmanın gerçek insan verilerini kullanması gerekiyordu; bu veriler bireysel katılımcılardan ailelere, işletmelere veya siyasi kurumlara kadar uzanıyordu ve pozitif bir istatistiksel sonuç raporlaması gerekiyordu. 1.500 seçilebilir çalışmalık havuzdan ekip, belirli bilimsel iddiaları, onları test etme konusunda uzmanlık ve kaynak sahibi olan bağımsız araştırma gruplarıyla eşleştirdi.

Toplamda ekipler, 54 dergiden 164 yayımlanan çalışmadan alınan 274 benzersiz bilimsel iddiali kapsayan 296 tekrar denemesini tamamladı. 98 çalışmada araştırmacılar katılımcılardan tamamen yeni veriler topladı; 66 çalışmada ise ekipler, özgün araştırmada kullanılmamış mevcut ikincil veri setlerini analiz etti. Standart korelasyon ölçülerinin hesaplanabildiği çalışmalar alt kümesinde, özgün çalışmalarda ortanca örneklem büyüklüğü 206, tekrar çalışmalarında ise 545 olarak bulundu.

Fair ve titiz olması için replikasyon çalışmalarının yüksek istatistiksel güce sahip olacak şekilde tasarlandığı vurgulandı; bu da, orijinal çalışmada bildirilen kadar büyük bir etkinin tespit edilmesi için ortanca %99,6 olasılığa ulaşacak kadar yeterli örneklem kullanıldığını gösteriyor. Mümkün olduğunca ekipler orijinal çalışma materyallerini kullandı. Herhangi bir veri toplanmadan veya analiz edilmeden önce, her bir çalışmanın tasarım ve analiz planı, orijinal yazarların geri bildirimlerini davet eden bir iç akran değerlendirmesi sürecinden geçti ve aynı zamanda bulguları gördükten sonra yöntemlerini değiştirmelerini önlemek amacıyla Open Science Framework üzerinde önceden kamuya açık şekilde kaydedildi.

Araştırmacılar önce sonuçları sosyal bilimlerde en yaygın ölçü olarak kullanılan kritikle değerlendirdi: replikasyon çalışmasının, orijinal makaleyle aynı yönde istatistiksel olarak anlamlı bir sonuç üretip üretmediği. Bilimde istatistiksel anlamlılık, gerçek bir etki yokken gözlemlenen desenin beklenmeyecek kadar düşük olacağını, genellikle %5’in altındaki bir olasılık eşiği kullanılarak ifade eder. Bazı makalelerde birden fazla idame sınandığından, yazarlar sonuçları hem her makalenin eşit sayılacağı şekilde ağırlıklı hem de her idame bireysel olarak sayılarak hesapladı.

Makale başına ağırlıklı olarak bakıldığında, 164 makalenin 80,8’i—yani %49,3’ü—istatistiksel anlamlılık eşiğini karşılayan aynı desende sonuçlar üretti. Diğer %40,4’lük makale bölümü sıfır etki gösterdi, yani sonuç istatistiksel olarak anlamlı olmadı; %9,7 ise orijinal idamenin tersi yönde istatistiksel olarak anlamlı bir sonuç gerçekten üretti. Bireysel olarak 274 ağırlıksız idame incelendiğinde, bu ölçüye göre 151 idame—yani %55,1—başarılı olurken, %35,8 sıfır etki, %8,8 ise tersi yönde sonuç gösterdi.

Sadece evet-hayır anlamlılık eşiklerinin ötesinde, araştırmacılar bulguların büyüklüğü, yani etki boyutunu inceledi. Farklı istatistiksel modeller kullanan çalışmaları karşılaştırmak için ekip, 157 makalenin (249 iddianı temsil eden) sonuçlarını -1 ile 1 arasında değişen ve 0’ın ilişki olmadığını, 1’in mükemmel bir ilişkiyi, negatif değerlerin ise zıt yönde bir ilişkiyi ifade ettiğini gösteren Pearson r olarak adlandırılan standartlaştırılmış bir korelasyon ölçüsüne dönüştürdü. Orijinal makalelerde ortanca etki boyutu 0.25 iken, tekrar çalışmalarında ortanca etki boyutu 0.10’a düştü.

0.25’ten 0.10’a bu düşüş, korelasyonda %58.1’lik bir göreli azalma ve bir değişkenin diğerini ne kadar açıkladığını ölçen paylaşılan varyansta %82.4’lük bir azalma anlamına geliyor. Genel olarak tekrarlanan makalelerin %80.3’ü (157’nin 126’sı) ve bireysel iddianların %70.3’ü (249’un 175’i) orijinal çalışmalardan daha küçük etki boyutları verdi. Bu küçülmelerin bir kısmı, regresyon ortalamaya istifa olarak bilinen bir istatistiksel olgu nedeniyle beklenir: araştırmacılar yalnızca olumlu yayımlanmış sonuçları test ettikleri için, şans esiri gerçek etkiyi abartmış olabilecek orijinal çalışmalar, yeniden test edildiğinde doğal olarak daha küçük, daha gerçekçi tahminlerle karşılaşırdı.

“Temel bulgu, yayımlanmış sonuçların tekrarlanabilirliğinin kurulmasının kendiliğinden kabul edilemeyeceği,” dedi Nosek. “Ana pratik çıkarım, bu araştırmanın, fark edebileceğimizden daha büyük bir belirsizliği yayımlanmış literatürde ortaya çıkarmasıdır. Güvenilirliği kurmak ve araştırma iddianlarını doğrulamak çaba gerektiren bir süreçtir ve bir bulgunun gücü ve doğası hakkındaki varsayimlerimiz zaman zaman yanlıştır.”

Araştırmacılar sonuçları altı akademik disipline göre incelediğinde, yalnızca mütevazı bir çeşitlilik buldu ve alanlar arasındaki farklar istatistiksel olarak anlamlı değildi. Makalelerle ağırlıklandırıldığında başarı oranları ekonomi için %42,5 (24 makaleden 10,2), işletme için %47,2 (36’dan 17,0), psikoloji için %49,0 (58’den 28,4), sosyoloji için %51,1 (18’den 9,2), politika bilimi için %52,0 (15’ten 7,8) ve eğitim için %63,1 (13’ten 8,2) olarak ölçüldü. Ancak, eğitim gibi bazı alanlar yalnızca birkaç makale katkıda bulundu (13 makale gibi), bu nedenle bireysel tahminleri belirsizdir. Benzer şekilde, bir makalenin 2009 ile 2018 yılları arasında yayınlanıldığı yılın, sonuçların dayanıp dayanmadığı ile istatistiksel olarak anlamlı bir ilişkisi yoktu.

Ekip, yeni veri toplayan çalışmaları mevcut ikincil veri setlerini analiz edenlerle karşılaştırdı. Her iki yaklaşım da temel anlamlılık ölçütünde benzer oranlarda başarılı oldu: Yeni veri kullanan makalelerin %47,8’i dayanırken, ikincil veri kullanan makalelerin %51,4’i dayandı. Ancak, etki boyutlarına bakıldığında, yeni veri kullanan çalışmaların medyan etki boyutu özgün çalışmada 0,28’den tekrarlamada 0,11’e düşerken, ikincil veri çalışmalarında daha küçük özgün etkilerle başlandı (0,13 medyan) ve yalnızca 0,10’a hafifçe düştü.

Bilim insanları başarılı bir tekrarlamayı tanımlamanın en iyi matematiksel yoluna dair hemfika olmadıkları için, yazarlar veriyi ayrıca 12 kriter kullanarak da değerlendirdi; bunlar arasında tekrarlama sonucunun özgün çalışmanın hata sınırının içinde olup olmadığının kontrol edilmesi ya da her iki çalışmanın meta-analizde birleştirilmesi gibi. Tüm 13 yöntem boyunca tahmin edilen başarı oranı %28,6 ile %74,8 arasında değişti ve medyan %49,3’tü. En yüksek başarı oranı (%74,8), özgün ve yeni verinin meta-analizde birleştirilmesiyle geldi; bu yöntem, özgün pozitif veriyi içine sindirdiği için başarıya meyilli olurken, tekrarlama çalışmalarını özgün çalışmanın ürettiğinden daha küçük ya da daha büyük etkiler bulmak için cezalandıran yöntemler en düşük oranları verdi.

“Bu bulgular, ‘Many Labs’ çalışmaları gibi tekrarlanabilirliğe ilişkin mevcut araştırmaları doğruluyor ve genişletiyor.” Psikoloji alanında doktora derecesine sahip, Helsinki Üniversitesi’nde doktora sonrası araştırmacı olan ve çalışmaya dahil olmayan Stephanie Zellers, PsyPost’a böyle bir mesaj iletti. “Many Labs projeleri, belirli araştırma bulgularının tekrarlanabilirliğini çoklu kuruluşları içeren işbirlikçi bir yaklaşımla test etmeyi hedefler. Bu çalışma, davranışsal ve sosyal bilim dallarında daha geniş bir araştırma bulguları yelpazesini kapsamlı biçimde test ederek bu yaklaşımdan öteye geçer. Yazarlar, test edilecek iddiaları belirlemek için sistematik, temsilî ve rastlantısalsal bir yaklaşım kullandı; ancak belirli bir tekrarlama projesine başlamayı seçen ekipler tarafından bazı rastlantısalsal olmayan seçimler getirildi.”

“Bu sonuçlardan oldukça eminim ve bu, büyük ölçüde şeffaf ve ince ayrıntılara özen gösterilen raporlamadan kaynaklanıyor.” Zellers, “Tekrarlama ölçütlerinin detaylı tartışmasını takdir ettim – orijinal sonucun tekrarlandı mı yoksa değil mi olduğunu kararlaştırmak için orijinal sonucu tekrarlama sonucuyla karşılaştıran bu yöntemler. Ölçüt seçimimiz, ‘bu çalışma tekrarlandı mı?’ sorusunu sorduğumuzda cevabın ne anlama geldiğini etkiler. Bütününün kendi varsayımları, güçlü yönleri ve sınırlamaları var ve yazarlar mümkün olduğunca farklı ölçütler kullandığı için bu sonuçlardan daha eminim.”

Bu sonuçları yorumlarken aklda tutulacak birkaç nokta var. Tek bir başarılı tekrarlama, orijinal bulgunun tartışmaya yerleşmeyeceği anlamına gelmez ve sosyal bilimlerdeki iki çalışma asla birbirinin aynısı değildir. Bir çalışmayı yeni bir yıla, yeni bir katılımcı grubuna veya farklı bir kültürel ortama taşımak, bilim insanlarının henüz tam olarak anlayamadığı geçerli nedenlerle sonucu değiştirebilir.

“Bir bulgunun tekrarlanamaması, orijinal bulgunun yanlış olduğu anlamına gelmez.” Nosek, “Bir olasılık, orijinal bulgunun yanlış bir pozitif veya abartılmış olmasıdır. Diğer olasılıklar, tekrarlama çalışmalarında bir hata yaptığımız veya tanınmayan faktörlerin bulgunun orijinal ve tekrarlama çalışmalarında farklı şekillerde etkilendiği.”

“Bu bulgular, sosyal ve davranış biliminin yalnızca yarısı doğru olduğu ve böyle yorumlanması gerektiği anlamına gelmiyor,” Zellers ekledi. “Tekrarlanabilirlik doğası gereği olumlu bir şey değildir ve tekrarlanamama doğası gereği bir sorun değildir. Bunun yerine, bir iddia için kanıtların tümüne odaklanmalı ve etkinin bağlamı ve sınırlarıyla birlikte kanıtlardaki belirsizliği eleştirel biçimde değerlendirmeliyiz.” Tekrar araştırmalarının, belirli bir iddiayı tekrarlayarak çürütmeye yönelik bir bilimsel “cadı avı” olmadığını, aksine bir iddia için ya da karşısi kanıtların tümünü anlamamıza ve değerlendirmemize yardımcı olan bilimin ayrılmaz bir parçası olduğunu belirtti.

Ayrıca bu projede test edilen çalışmalar, tüm sosyal bilimin saf rastlantısal bir parçası değildi. Başlangıçtaki makale havuzu rastlantısal olarak seçilmiş olsa da, son 164 makale, projenin bütçesi, zamanlaması ve araştırmacı uzmanlığı çerçevesinde tekrarlanması pratik olan makalelerdi. Kaynak yoğun çalışmaların denenme olasılığı daha düşüktü ve niteliksel araştırma ile sıfır sonucu bildiren makaleler baştan dışarıda bırakıldı. Alanların karışımı da değişti: psikoloji, özgün örneklemin yaklaşık yüzde 24’ünü oluştururken, tamamlanan makalelerin yüzde 35,4’ünü oluşturdu; eğitim ve politika bilimi ise göreli payını daralttı.

“Tekrarlanabilirliği daha geniş bir dergi grubunda, sıfır ve nitisel bulgular gibi daha geniş araştırma sonuçlarında ve yayılan sonuçların farklı zaman dilimlerinde test eden bir projeyi görmek isterdim,” Zellers not düştü. “Bu tür çalışmalar, tekrarlanabilirliğin ve tekrarlanamamanın sürücülerini anlamamıza yardımcı olabilir.”

Yazarlar, sosyal ve davranış bilimleriyle karşı karşıya olan temel sorunun kaçınılmaz olarak tekrarlanabilirlik eksikliği olmadığını öne sürüyor; çünkü en uç araştırma, sonuçlanmayabilecek belirsiz fikirler üzerinde risk alma içerir. Onlara göre asıl zorluk, aşırı özgüvendir: tek bir yayılan makaleyi ön kanıt yerine yerleşik bir gerçek olarak görmek.

“Bu bulguları tartışırken disiplinlerdeki kriz ya da alanların ‘gürültü üzerine kuruluması’ gibi abartılı bir dil kullanmadan yazarların makul bir iş çıkardığını düşünüyorum; ancak yine de, bu nispeten düşük tekrarlanabilirlik oranlarıyla ilgili endişe duymamamız gerektiğini ima eden herhangi bir yanlış yorum karşıtı uyarıda bulunmak isterim,” Zellers açıkladı. “Tekrarlanma bir özgün iddiayı doğru kanıtlamaz ve tekrarlanamama da bir özgün iddiayı yanlış kanıtlamaz; bu nedenle daha fazla bilgi olmadan tek bir tekrarlanma sonucunu iyi veya kötü olarak yorumlamamalıyız. Buna rağmen, sosyal bilimlerdeki genel tekrarlanabilirlik oranının düşük olması endişe vericidir, çünkü bu durum bilimsel yayıncılıktaki sistematik sorunlardan kaynaklanabilir; örneğin olumlu sonuçlara yönelik yayıncı yanlılığı ve yayınlanan iddialarda aşırı özgüven gibi.”

“Araştırma topluluğunun bu bulguları bu kadar kolay kabul etmesi beni şaşırttı,” Nosek belirtti. “Önceden yaptığımız sistematik tekrarlanma çalışmalarımız oldukça yoğun ve kızgın bir tartışma doğurdu. Bu sonuçların sonuçlarına dair hâlâ çeşitli bakış açıları var, ancak çok daha az kızgın bir retorik vardı. Bunu bir ilerleme işareti olarak görüyorum?”

Gelecek araştırmalar, bir çalışmanın ne kadar dayanıklı olduğunu öngören faktörleri incelemek için halka açık veri setini kullanabilir. PsyPost tarafından 2022’de kapsanan çalışmalar da dahil olmak üzere, bu çizgideki önceki çalışmalar, psikoloji bulgularının siyasi eğiliminin onların tekrarlanıp tekrarlanmadığı ile ilişkili olmadığını buldu.

Nosek ekledi, “Şimdi birkaç sistematik tekrarlanma çalışması yayınladığımıza göre, birçok araştırma çabası bu sonuçları çeşitli araştırma sorularını ilerletmek için kullanıyor: Bir bulgunun başarılı bir şekilde tekrarlandığını nasıl kararlaşırsınız? (Basit bir soru değil!) Tekrarlanabilirliği artıran veya azaltan faktörler nelerdir? Bu faktörlerden her biri ne kadar yaygındır? Farklı araştırma koşulları için optimal bir tekrarlanabilirlik oranı var mı?”

“Keşif bilimi çoğu zaman yüksek riskli, yüksek getirili bir yapı gösterir ve bu süreç hem güçlü yeni bulgular hem de birçok yanıltıcı sonuç doğurur” diyen Zellers, en iyi tekrarlanabilirlik oranlarının araştırılmasından şunları söyledi: “Tekrarlanabilirlik bilimi, hangi bulguların sonuçsuz bir sona işaret edebileceğini belirlememize yardımcı olabilir; ayrıca düzenleyici faktörleri ve genellenebilirliği anlamamızı sağlar. Araştırmalarımızdan elde ettiğimiz iddiaları bakım, politika ve uygulamaya dönüştürürken, özellikle de araştırma için giderek daha azalan finansal kaynaklardan en iyi şekilde yararlanırken, güçlü ve etkili bir bilim üretmek için her iki yaklaşıma da ihtiyacımız var. Keşif ve tekrarlanabilirlik bilimi arasında, sınırlı kaynakların en verimli şekilde kullanılmasını sağlamak için ideal denge nasıl olmalı?”

“Sosyal ve davranış bilimlerinin tekrarlanabilirliğinin incelenmesi” başlıklı çalışma, Andrew H. Tyner, Anna Lou Abatayo, Mason Daley, Samuel Field, Nicholas Fox, Noah A. Haber, Krystal M. Hahn, Melissa Kline Struhl, Brinna Mawhinney, Olivia Miske, Priya Silverstein, Courtney K. Soderberg, Theresa Stankov, Ahmed Abbasi, Christopher L. Aberson, Balazs Aczel, Matúš Adamkovič, Nihan Albayrak, Peter J. Allen, Michael Andreychik, Eli Awtrey, Erick Axxe, Flavio Azevedo, Miles D. Bader, Bence Bago, James Bailey, Marjan Bakker, Gabriel Banik, George C. Banks, Ernest Baskin, Anatolia Batruch, Annika Beatteay, Sophie M. Behr, Nicholas Berente, Zachariah Berry, Jędrzej Białkowski, Bojana Bodroža, Laura Boeschoten, Miklos Bognar, Christian Bokhove, Diane Bonfiglio, Robin Bouwman, Timothy F. Brady, Scott R. Braithwaite, Gabriel Briceño Jiménez, Cameron Brick, Traci Bricka, Roman Briker, Annette N. Brown, Gordon D. A. Brown, Robbie C. M. van Aert, Kathryn Caldwell, Sara Capitan, Tabaré Capitán, Jesse Chandler, Tessa Charles, Christopher R. Chartier, Rahul Chawdhary, Kent Jason Cheng, William J. Chopik, Bruce Clark, Victoria E. Colvin, C. Cozette Comer, Giulio Costantini, Tom Coupé, Jamie Cummins, Aneta Czernatowicz-Kukuczka, Joshua de Leeuw, David Dobolyi, James N. Druckman, Jianhua Duan, Marin Dujmović, Daniel J. Dunleavy, Patrick K. Durkee, Cécile Emery, Kevin M. Esterling, Thomas R. Evans, Anna Fedor, Belén Fernández-Castilla, Nathan Fiala, James G. Field, Nathan Fong, Miguel A. Fonseca, Alexandra L. J. Freeman, Jeremy Freese, Sandra J. Geiger, Jing Geng, Laura M. Getz, Linda Marjoleine Geven, Ilka Helene Gleibs, Donna Pamella Gonzales, Janaki Gooty, Amélie Gourdon-Kanhukamwe, Cristina Greculescu, Siobhán M. Griffin, Lusine Grigoryan, Martina Grunow, Nicholas Gunby, Braeden Hall, Paul H. P. Hanel, Erin E. Hannon, Sam Harper, Marco Jürgen Held, Louis Hickman, Nathan C. Higgins, Svenja Hippel, Sven Hoeppner, Sanghyun Hong, Thomas J. Hostler, Michael Inzlicht, Kamil Izydorczak, Bastian Jaeger, Kristin Jankowsky, Johannes Jarke-Neuert, Matthew Jensen, Biljana Jokić, Daniel Jolles, Phillip Jolly, Angela M. Jones, Marie Juanchich tarafından yazıldı.

Pavol Kačmár, Hansika Kapoor, Andjela Keljanovic, Samjhana Koirala, Marta Kołczyńska, Dimitra Kouroupaki, Ulrich Kühnen, Michelangelo Landgrave, Michael J. Larson, Lyonel Laulié, Alice C. E. Lawrence, Joel M. Le Forestier, Katelin E. Leahy, Sungmok Lee, Jared Leslie, Savannah C. Lewis, Christopher Limnios, Hause Lin, An-Chiao Liu, John Wills Lloyd, Elliot A. Ludvig, Dermot Lynott, Jordan MacDonald, Peter Mallik, Daniel J. Mallinson, Daniele Marinazzo, Corinna S. Martarelli, Joshua Matacotta, Andrew McBride, Cillian McHugh, Gail McMillan, Esteban Méndez, Mitchell Metzger, Michalis P. Michaelides, Johannes Michalak, Leticia Micheli, Jeremy K. Miller, Marina Milyavskaya, Daniel C. Molden, Ambar G. Monjaras, David Moreau, Audrey Morrow, Cristóbal Moya, Liad Mudrik, Laetitia B. Mulder, Katie A. Munt, Arijit Nandi, Kathryn Nason, Carolin Nast, Gideon Nave, Heinrich H. Nax, Florian Neubauer, Phuong Linh L. Nguyen, Austin Lee Nichols, Gustav Nilsonne, Ernest O’Boyle, Jule Oettinghaus, Jeewon Oh, Adoril Oshana, Thomas Ostermann, Rachel P. Ostrowski, Abiola Oyebanjo, Radoslaw Panczak, Jamie Patrianakos, Ignacio Pavez, Yuri G. Pavlov, Sofia Persson, Marco Perugini, Kim Peters, Constant Pieters, Vladimir Ponizovskiy, Nathaniel D. Porter, Jason M. Prenoveau, Danka Purić, Mariah F. Purol, Arathy Puthillam, Kimberly A. Quinn, Marco Ramljak, W. Robert Reed, Michaela Ritchie, Margaret Ritzau, Sean Patrick Roche, Romina Rodela, Jan Philipp Röer, Ivan Ropovik, Jacob Rothschild, Justine Saal, Hani Safadi, Jason Samaha, Mary Sanchez, Soorya Sankaran, David Santos, Amanda C. Sargent, Marian Sauter, Kathleen Schmidt, Landon Schnabel, Amber N. Schroeder, Sebastian W. Schuetz, Brendan A. Schuetze, Michael Schulte-Mecklenbeck, Astrid Schütz, Eric L. Sevigny, Ellie Shackleton, Richard M. Shafranek, Samuel Shaki, Shishir Shakya, Miroslav Sirota, Matthew Ryan Sisco, Maksim M. Sitnikov, L. Robert Slevc, Laura Smalarz, Colin Tucker Smith, Joel S. Snyder, Nicolas Sommet, Fatih Sonmez, Barbara A. Spellman, Natalia Stanulewicz-Buckley, George Stock, Chris N. H. Street, Eirik Strømland, Tina Sundelin, Moin Syed, Anna Szabelska, Barnabas Szaszi, Ewa Szumowska, Anirudh Tagat,

Susanne Täuber, Louis Tay, Stuti Thapa, Jason Thatcher, Domna Tsaklakidou, Lars Tummers, Elise Turkovich, Melba Verra Tutor, Karolina Urbanska, Anna Elisabeth van ‘t Veer, Marcel van Assen, Niels van de Ven, Ruben van den Goorbergh, Elisabeth Julie Vargo, Leigh Ann Vaughn, Simine Vazire, Jentien M. Vermeulen, Diem Thi Hong Vo, Victor Volkman, Eric-Jan Wagenmakers, Deliah Wagner, Lukasz Walasek, Frank Walter, Lara Warmelink, Liuqing Wei, Marie Isabelle Weißflog, Nicholas Weller, Aaron L. Wichman, Jonathan Wilbiks, Jamal R. Williams, Kelly Wolfe, Finnian Wort, Ryan Wright, Jesper N. Wulff, Xindong Xue, Veronica X. Yan, Yuzhi Yang, Sangsuk Yoon, Iris Žeželj, Yinxian Zhang, Ignazio Ziano, Cristina Zogmaister, Zorana Zupan, Rolf A. Zwaan, Brian A. Nosek ve Timothy M. Errington.