Yapay Zeka Tarafından Yazıldığını Nasıl Anlarız? Tespit Stratejileri ve Gizlenme Yöntemleri

Günümüzde herkes bir kitap yayınlayabiliyor. Birçok influencer ya da medya yıldızı, hiç yazmamış oldukları kitapları yayımlıyor. Eskiden de böyle oluyordu ama bunun için gölgelerdeki insanların emeği gerekiyordu. Şimdi bunu IA yapıyor ve işi büyük ölçüde kolaylaştırdı.

Konunun böyle olduğuna tanık olunca, şüpheler profesyonel yazarları da kapsıyor; Thélyson Orélien durumunda olduğu gibi. Orélien’in sürpriz bir başarı yakalayan romanı, IA ile yazıldığından şüphelenilmesi üzerine edebiyat yarışmasından alındı. Bu sonuca nasıl varıldı? “IA tarafından yazılan metinlerin tespitinde referans standardı” olarak kabul edilen Pangram uygulaması pozitif sonuç verdi. Olay, taraflar arasında eğlenceli bir açıklama dalgası yarattı.

IA kullanımını tespit etmek—ya da tespit edilmesini engellemek—ihtiyacı, okullar ve üniversiteler gibi diğer alanlara da yayılıyor ama… IA tarafından yazılan metin tespit edilebilir mi? Edilebiliyorsa, bu hile gizlenip tamamen görünmez hale getirilebilir mi? Bu soruların yanıtlarını bulmadan önce, önce IA’nın nasıl yazdığını anlamak gerekiyor.

Sözcük sözcük

IA metni sözcük sözcük üretir. “Sözcük” diyoruz ama aslında bir token söz konusu; bu tam bir sözcük, sözcüğün bir parçası, bir noktalama işareti, bir sayı ya da bir boşluk olabilir.

Yazmak için yapay zeka basit bir algoritma izler: zaten yazılanları okur, sonra seçilme olasılıklarıyla birlikte olası bir sonraki sözcük listesi hesaplar, bir kumar/çekiliş yapar, kazananı metne ekler ve baştan başlar. Sözcüklere verilen olasılıklar, IA’ın eğitildiği metinlerdeki görünürlük sıklıklarıyla ilişkilidir. Dolayısıyla, üretilen metin bir çekiliş sonucuyorsa da, eğitim metinlerinde en sık geçen sözcüklerin ortaya çıkma olasılığı daha yüksek olur.

Ayrıca IA, kullanıcıyla açık ve öğretici bir şekilde iletişim kurup şüphelerini gidermeye göre optimize edilmiştir. Bu nedenle, kendisinden farklı bir şey istemediğinizde, olası ton çeşitliliği içinde yazısı nötral ve açıklamaya dayalı olur.

Bu durum, yapay zekânın ürettiği metinde yazarlığı ortaya çıkarmaya yarayan ince izler bırakmasını sağlar.

Tespit stratejileri

Yapay zekâ eğitimi, daha yaygın terimleri öne çıkararak sözcük dağarcığını biçimlendirir. Aynı zamanda “aslında”, “sadece” gibi doldurucu ya da “dikkat çekici”, “temel” gibi vurgu içeren sözcükleri aşırı kullanır. Tıpkı bunun gibi, öğretici üslubu nedeniyle sıklıkla “dolayısıyla”, “özetle”, “amaçla”, “ne… ne de” biçiminde belirli kalıplara başvurur ve argümanlarını genellikle özetleyici cümlelerle bağlar.

Bu örüntüler metnin değişkenliğini azaltır ve stilometri yoluyla tespit edilebilen bir iz bırakır; stilometri, metnin üslûbi özelliklerini ölçerek bunların yapay zekâ metinlerinkine benzer olup olmadığını inceler.

Sık kullanılan başka bir strateji, yerinde bir adı olan “perplexity” (belirsizlik) kavramıdır. Belirsizlik, metin üreten bir yapay zekâ için bir metin dizisinin ne kadar sürpriz olduğunu ölçer.

Bu, üretici sistemlerle benzer olasılıkları kullanan bir tespit aracıyla hesaplanır. Bu araç metni tarar ve dizinin kendisine ne kadar sürpriz geldiğini ölçer. Belirsizlik uzun metinlerde daha güvenilirdir, çünkü öncesindeki metin belirsizliği azaltmaya ve daha bilinçli tahminlerde bulunmaya olanak tanıyan bilgi sağlar. Ayrıca yapay zekâ metinlerinde belirsizlik genellikle düzgün giderken, insan metinlerinde belirgin derecede daha fazla değişkenlik gösterir; çünkü inandırmak ne kadar zor olsa da biz insanlar daha öngörülemeziz.

Bir diğer taktik ise ateşle ateş mücadele etmekten geçer: metnin başka bir yapay zekâ tarafından yazılıp yazılmadığını doğrulamak için bir YA’dan yardım istemek. Kendi ChatGPT‘si gibi ticari modellerin kullanımının iyi sonuçlar vermediği biliniyor. Ancak, tespit görevine özel olarak eğitilen modelleri kullanmak, günümüzde var olan en iyi stratejidir. Buna bir örnek, Pangram’dır; ticari bir dedektör olan Pangram, insan metinleriyle yapay zekâ tarafından üretilen kopyaları ayırt etmeyi öğrenerek eğitilir ve yanlış pozitiflere odaklanarak yeniden eğitilir.

Camuflaje manevraları

Tespis, ipuçlarını biriktirmeye dayandığı için camuflaje manevraları, yazının bıraktığı örüntüleri değiştirerek bu ipuçlarını ortadan kaldırmaya çalışır.

En basit manevra, metni üretecek olan yapay zekâdan, bunu farklı bir biçimde yapmasını istemektir. Bu, ona bir rol takip etmesini söylemeyi (örneğin, “bir lise öğrencisi gibi yaz”), kara listedeki kelimeleri kullanmaktan kaçınmayı veya çeşitli uzunluklarda cümleleri birbirine katmayı içerebilir.

Diğer manevralar ise yapay zekâ tarafından üretilen metni değiştirmekten ibarettir. Bu amaçla kişi kendi metnini enjekte edebilir, kendisinin kullanmayacağı kelimeleri değiştirebilir veya bölümleri kendi kelimeleriyle yeniden yazabilir. Daha tembelse, yapay zekâdan bunu değiştirmesini veya parafraz etmesini isteyebilir. Son çalışmalar, ardışık parafrazlamaların ardından dedektörlerin etkinliğinin belirgin ölçüde düştüğünü göstermektedir. Benzer, ancak daha yaratıcı yaklaşımlar, otomatik çeviricileri kullanarak üretilen metni başka bir dile çevirmeyi ve ardından istenen dile geri çevirmeyi içerir.

İnsan gözü

İnsanlar yapay zekâ tarafından üretilen metni ne kadar iyi tespit edebiliyor? Son derece kötü ve aynı zamanda son derece iyi. Bir araştırma, belirleyici faktörün metnin yazım biçimine ne kadar aşina olduğumuzdan kaynaklandığını ortaya koyuyor. Bu alışkanlığa sahip olmayan kişiler büyük hatalar yapıyor ve kararlarda aşırı özgüven gösteriyor. Öte yandan, konuya hakim kişiler son derece zor kandırılıyor. Üstelik birkaçının kararı birleştirildiğinde, çalışmanın sonucun mükemmel olduğunu, yalnızca Pangram adlı ticari dedektörün sonucu kadar eşitlendiğini gösteriyor. Yine de dikkatli olmak gerekiyor: hiçbir tespit sistemi kusursuz değildir, dolayısıyla her zaman bir şüphe payı kalacaktır.

Bu şekilde, insanlar tarafından yazılan metin değerli olduğu sürece, kedi-fare yarış sürmeye devam edecek ve her iki tarafın taktikleri de gelişmeye devam edecek. Okuyucular olarak, başkalarının sesiyle bağ kurma ihtiyacımız, onları metinlerin arasında aramaya devam etmemizi sağlayacak.

• yapay zekâ

Yazar

1. Üniversitesi Öğretim Üyesi. Bilgisayar Bilimleri Bölümü, Alcalá Üniversitesi

Üniversitesi Öğretim Üyesi. Bilgisayar Bilimleri Bölümü, Alcalá Üniversitesi

Tutarsızlık beyanı

Javier Arroyo Gallardo, bu makaleden yararlanabilecek herhangi bir şirket veya kuruluş için çalışmamaktadır, danışmanlık yapmamaktadır, hissesi yoktur ve bu konuda finansman almamaktadır; akademik atamasının ötesinde açıklanmış herhangi bir ilgili bağlantısı yoktur.

Ortaklar

Alcalá Üniversitesi, The Conversation ES’in kurucu ortağı olarak finansman sağlamaktadır.