İki saatte yayına hazır makale: halk sağlığı verisinden seri üretim hakemleri zorluyor

Norveç Bilim ve Teknoloji Üniversitesi'nde (NTNU) istatistikçi olan Andrea Riebler'in 2017'de Zürih Üniversitesi'nden Leonhard Held ile yayımladığı makale, kanser yükünün geleceğini tahmin etmeye yarayan bir yöntemi anlatıyordu. Yıllar içinde makul sayıda atıf aldı. Sonra bir şey değişti: NTNU'nun aktardığına göre makaleye yapılan atıflar 2024'te 70 iken bir sonraki yıl 250'yi aştı.

Bir araştırmacı için atıf, yani başka bir çalışmanın kaynakçasında anılmak, emeğinin karşılık bulduğunun işaretidir. Ama bu atıfların görüntüsü tuhaftı. Atıf yapan makaleler aynı kalıba dökülmüş gibiydi: 20 yaş üstü yetişkinlerde inme riski, genç yetişkinlerde testis kanseri, Çin'de yaşlıların düşmeleri, tam tahılı çok az tüketenlerde kolon kanseri… Konular değişiyor, iskelet aynı kalıyordu. Riebler NTNU'ya şöyle anlattı: "Makalelerin çoğunun yapısı aynıydı. Başlıkları benzerdi, yalnızca hastalık değişiyordu."

Bu izin sonunda varılan yer, bilim dünyasının bugün en çok tartıştığı sorulardan birine dokunuyor: Yapay zekâ ve hazır yazılımlar makale üretmeyi bu kadar hızlandırırsa, makaleleri okuyup süzmekle görevli insan sistemi bu yüke dayanabilir mi?

İz önce GitHub'a, sonra hazır araç satıcılarına çıktı

Riebler ile Held'in 2017 makalesinin yanında, yöntemi uygulamaya yarayan ve kaynak kodu herkese açık bir yazılım paketi de vardı. Riebler'e göre yeni makalelerin bazı grafikleri aynı modele dayanıyor, tasarımları da onun paketinin çıktısına çok benziyordu: "Bunun tesadüf olması pek olası değil."

Atıfların izini Zürih Üniversitesi Tekrarlanabilir Bilim ve Araştırma Sentezi Merkezi'nde doktora sonrası araştırmacı olan Peter Methys Degen sürdü. The Verge'ün aktardığına göre Degen bu tür analizlerde kullanılan kodu ararken GitHub'dan bağlantıları takip etti ve Çin'in video platformu Bilibili'de Guangzhou merkezli bir şirketin eğitim videolarına ulaştı. NTNU'nun bültenine göre bu şirket yazılım, yapay zekâ destekli yazım yardımı ve kullanım talimatlarından oluşan bir paket satıyor; reklamında da araştırma fonu başvurularının birkaç dakikada yazılabileceğini, yayına uygun bir araştırmanın iki saatten kısa sürede çıkarılabileceğini öne sürüyor. Ekip, benzer amaca hizmet eden iki paket daha tespit etti; şirket adları haberde verilmiyor.

Bulgular, Degen, Riebler ve Held'in imzasını taşıyan "Paper mill or paper mine?" (Makale fabrikası mı, makale madeni mi?) başlıklı çalışmayla Journal of Clinical Epidemiology dergisinde yayımlandı.

Küresel Hastalık Yükü: herkese açık, ücretsiz, kolay

Makalelerin neredeyse hepsi aynı kaynaktan besleniyordu: Küresel Hastalık Yükü (Global Burden of Disease, kısaca GBD) çalışması. Washington Üniversitesi'ndeki Sağlık Ölçütleri ve Değerlendirme Enstitüsü'nün (IHME) derlediği bu veri seti, ülke ve bölgelere göre hastalık, ölüm ve risk etkenlerini yıllar boyunca izliyor ve herkesin kullanımına açık.

Bu makaleler ikincil analiz denen türden: veriyi başkaları toplamış, yeni makalenin yazarı yalnızca mevcut tabloyu yeni bir açıdan inceliyor. Bunun kendisinde bir sakınca yok; halk sağlığı araştırmalarının önemli bir kısmı böyle yürür. Riebler'in sorusu başka: "Bu veri tabanlarındaki farklı veri türlerinin akla gelebilecek her birleşimi gerçekten anlamlı ya da ilginç bir araştırma doğurur mu?"

Bir benzetmeyle anlatmak gerekirse: Elinizde yüzlerce hastalık, onlarca yaş grubu, yüzlerce ülke ve bölgeden oluşan dev bir tablo varsa, "X hastalığının Y grubundaki gelecek seyri" kalıbına her seferinde yeni bir parça takarak neredeyse sonsuz sayıda başlık üretebilirsiniz. Yöntem doğru uygulansa bile, her başlığın yeni bir bilgi taşıyıp taşımadığı ayrı bir soru.

Makale fabrikası mı, makale madeni mi?

Çalışmanın başlığındaki iki terim, olayın neresinde durduğumuzu anlamak için önemli. Makale fabrikası (İngilizcede paper mill), çalışmanın tanımıyla seri üretilmiş makalelerdeki yazarlık sıralarını para karşılığı satan ticari yapılar. Yani makaleyi başkası hazırlıyor, isim satın alınıyor. Makale madenciliği ise herkese açık bir veri tabanını kazıyıp ondan kalıplaşmış, düşük katkılı makaleler çıkarmayı anlatıyor.

Araştırmacılar hangisiyle karşı karşıya olduklarını anlamak için 700'den fazla GBD makalesini taradı. Dergide yayımlanan özete göre yaptıkları şunlardı:

Sonuç, başlıktaki sorunun ilk yarısına beklenenden temkinli bir cevap veriyor. Makalelerde birbirinden çok farklı R sürümleri (istatistik analizlerinde yaygın kullanılan programlama dili) bildirilmişti; tek bir merkezden yürütülen bir üretimde bu çeşitlilik beklenmezdi. Grafikler genel çizgileriyle ortak bir görselleştirme aracına işaret ediyordu, ama küçük ayrıntılardaki farklar her grafiği ayrı ellerin son haline getirdiğini düşündürüyordu. Araştırmacıların vardığı yer şu: Makale fabrikalarının işin içinde olduğunu dışlayamıyorlar, ama artışın en azından bir kısmını, ortak bir hazır araç setini kullanan bağımsız yazarlar sürüklüyor. Riebler'in ifadesiyle: "Kamu sağlık verilerinin ikincil analizine dayanan, merkezî olmayan bir seri makale üretiminin kanıtlarını bulduk."

Bu ayrım önemli, çünkü sorunun doğasını değiştiriyor. Karanlık bir merkez yerine, çevrimiçi satılan "kendin yap" araçlarıyla çalışan çok sayıda tek tek araştırmacı söz konusu. Bunu yasaklamak da, tespit etmek de çok daha zor.

"Sonuçlar yanlış demiyoruz"

Riebler özellikle altını çiziyor: "Sonuçların yanlış olduğunu söylemiyoruz. Soru, özellikle şu an gördüğümüz devasa yayın hacmi düşünüldüğünde, her bir makalenin bilimsel olarak anlamlı ve yararlı olup olmadığı." Ona göre analizler yöntem açısından sağlam bile olabilir; ama yazarlar kodlarını paylaşmadığı için kaliteyi gerçekten denetlemek mümkün değil.

Burada devreye tekrarlanabilirlik giriyor: Bir bulguyu başka bir araştırmacının aynı veri ve aynı adımlarla yeniden elde edebilmesi. Veri herkese açık olsa da, hangi ayarlarla, hangi kodla işlendiği bilinmezse sonuç kontrol edilemez. Riebler'in önerisi bu yüzden net: "Kod paylaşımı zorunlu olmalı." Çalışmanın sonuç bölümü de bir adım ileri gidip ücretli erişim duvarlarının ve kapalı ticari yazılım lisanslarının şeffaflığı engellediğini, güvenilir araştırma için özgür ve açık kaynaklı yazılımın önemini vurguluyor.

Sorun yalnızca GBD ile de sınırlı değil. The Verge'ün haberinde, Surrey Üniversitesi'nden öğretim üyesi ve Scientific Reports dergisinin yardımcı editörü Matt Spick, ABD'nin Ulusal Sağlık ve Beslenme İnceleme Anketi (NHANES) verisine dayanan, birbirine çarpıcı biçimde benzeyen makalelerle karşılaştığını anlatıyor. Spick'in tarifi yöntemi özetliyor: Yeterli hesaplama gücünüz varsa her olası ikili ilişkiyi ölçüyor, daha önce yazılmamış olanları bulup "şu ile şu arasında bağlantı var" diye yayımlıyorsunuz. Yeterince çok karşılaştırma yapıldığında bir kısmının salt şans eseri anlamlı görünmesi istatistiğin bilinen bir tuzağı; Spick'in verdiği örneklerden biri eğitim süresiyle ameliyat sonrası fıtık sorunları arasında bulunan bir ilişki.

Hakem sistemi neden bu kadar kırılgan

Bir bilimsel makale dergide yayımlanmadan önce hakem değerlendirmesinden (peer review) geçer. The Verge'ün özetlediği işleyiş şöyle: Önce bariz sorunlar elenir, sonra editör makalenin değerlendirmeye değip değmediğine karar verir, ardından konunun uzmanı iki üç kişi metni okuyup görüş yazar. Bu editörlerin ve hakemlerin çoğu bu işi asıl akademik görevlerinin yanında, karşılıksız yapar. Sistem, sınırlı sayıda gönüllünün sınırlı zamanına dayanıyor.

Makale yazmak hızlandıkça bu denge bozuluyor. Degen The Verge'e şöyle dedi: "Zaten sınırda olan hakem sistemi için devasa bir yük. Yayımlanan makale çok fazla, hakem yeterli değil. Büyük dil modelleri seri makale üretmeyi bu kadar kolaylaştırırsa, bir kırılma noktasına varılacak."

Rakamlar da bu kaygıyı destekliyor. Araştırma etiği üzerine yayın yapan Accountability in Research dergisinin yardımcı editörü David Resnik'e göre dergiye gelen başvurular bu yıl yüzde 60 arttı; işin ironik yanı, dergiye büyük olasılıkla yapay zekâyla yazılmış ve konusu araştırma etiği ihlalleri olan makaleler yağıyor. Resnik, iki hakem bulabilmek için zaman zaman 20 ayrı kişiye yazmak zorunda kaldığını anlatıyor: "Bunun hakem sistemini zorlayıp belini kırmasından çok endişeliyim." Riebler de iki derginin yayın kurulunda yer alıyor ve aynı tabloyu kendi gelen kutusunda görüyor: "Hakem bulmakta zaten zorlanıyoruz ve durum giderek kötüleşiyor."

İşi zorlaştıran ikinci etken, makalelerin artık eskisi kadar kolay ayırt edilememesi. Yıllardır sahte makaleleri yakalamak için kullanılan ipuçları, yani eş anlamlı kelime makinesinden geçirilmiş garip teknik terimler, kopya görseller ya da var olmayan kaynaklar, yeni nesil araçlarla giderek seyreliyor. Spick, OpenAI'ın Prism adlı yazım aracına daha önce yayımlanmış bir makaledeki patlıcan ve biber olgunlaşma verisini verdiklerini, aracın 25 dakika 50 saniyede grafikleri ve doğru kaynakçasıyla derli toplu bir makale çıkardığını anlatıyor. Riebler ise asıl soruyu açık bırakıyor: "İçerik doğru olduğu sürece makaleyi bir dil modelinin mi, bir insanın mı yazdığı gerçekten önemli mi? Bunun cevabını bilmiyorum."

Çare nerede aranıyor

Önerilerin bir kısmı teknik. Degen, Riebler ve Held; hızlı makale üretimine adanmış çevrimiçi platformların izlenmesini, hazır iş akışlarının kalitesinin ayrıca değerlendirilmesini ve yalnızca açık veriye dayanan makalelerde analiz kodunun başvuru sırasında paylaşılmasının zorunlu tutulmasını istiyor.

Yayıncıların ortak girişimi STM'nin 2022'de kurduğu ve makale fabrikalarına karşı araçlar geliştiren Integrity Hub'ın program direktörü Joris van Rossum ise The Verge'e yönün değişebileceğini söylüyor: Sahteyi tespit etmeye çalışmak yerine, başvuranların çalışmalarının gerçek olduğunu kanıtlamasını sağlamak daha gerçekçi olabilir. Örneğin cihaz üreticileriyle görüntülere filigran eklemek ya da analizin ardındaki verinin daha fazlasını teslim etmek gibi.

Bir kısım araştırmacı ise sorunun kökünü teşvik düzeninde görüyor. Seri üretilen makaleleri inceleyen Northwestern Üniversitesi'nden Reese Richardson'a göre, bilim insanlarının değeri yayın ve atıf sayısıyla ölçüldükçe bu eğilim sürecek. Akademide "yayınla ya da yok ol" diye bilinen bu baskı, yapay zekâdan çok önce de vardı; yeni olan, makale yazmanın maliyetinin neredeyse sıfıra inmesi.

Quantitative Science Studies dergisinin genel yayın yönetmeni Vincent Larivière, kendi dergisine gelen başvuruların bu yıl yüzde 40 arttığını belirttikten sonra soruyu en yalın haliyle soruyor: "Elbette daha fazla bilime ihtiyacımız var. Ama daha fazla makaleye ihtiyacımız var mı?" Degen ve arkadaşlarının çalışması bu soruya bir cevap vermiyor; yalnızca, cevabın artık ertelenemeyecek kadar acil olduğunu gösteren somut bir iz bırakıyor.

Fotoğraf: Vmenkov, CC BY-SA 3.0, Wikimedia Commons