ABD merkezli yapay zeka (YZ) girişimi OpenAI‘nin baş bilim insanı Jakub Pachocki, “Yabancı Bir Zihin” başlıklı makalesinde YZ’nin kontrolü kaybedebileceğine dair uyarılarda bulundu ve uluslararası güvenlik önlemlerinin kurulmasına kadar gönüllü yavaşlamaları savundu. Bu çağrı, OpenAI’den Sam Altman ile Anthropic’ten Dario Amodei ve Elon Musk tarafından desteklendi; ancak Çin merkezli “Gözlemci” (Guancha.cn) haber platformunun editör kurulu üyesi bir isim, bu Amerikan hızı durdurma çabasının gerçekte YZ’deki liderliğini koruma arzusundan kaynaklandığını öne sürerek tartışmayı yeniden alevlendirdi.
Pachocki’nin makalesinin geçtiğimiz günlerde “Dünya Bilimsel Öncül” sütununda tam metin olarak Türkçeleştirildiğini belirten editör kurulumuz, Altman’ın da eseri sosyal medyada paylaşmasının ardından sektörün en çok tartışılan metninden biri haline geldiğini aktardı. Makalenin 2023’ün ortalarında OpenAI’nin “RLSlow” projesinin ilk sonuçlarını ürettiği bir gecede, Pachocki ile bir arkadaşının ofiste sabahladığı anlatıyla açıldığı vurgulandı; o gece zihnini meşgul eden şey benchmark skorları veya ürün metrikleri değil, kendi yaşam süresi içinde kendisinden daha akıllı makineleri gerçekten görme gerçeğiyle yüzleşmekti.
Makalenin temel iddiaları ve çelişkileri
Üç yıl sonra yazıldığı belirtilen makale, birkaç temel noktayı içeriyor: Makine zekası esas olarak hesaplama (compute) biriktirilerek inşa ediliyor ve hâlâ yükselişte; bu şey tasarlanmadan büyütülüyor, iç işleyişi anlaşılmıyor ve düşünce zinciri (chain-of-thought) izlemenin güvenilirliği düşüyor. Özyinelemeli öz-iyileştirme yani YZ sistemlerinin kendi haleflerini eğitmesi ise mevcut yolun doğal sonu olduğu için aşırı dikkat, gönüllü yavaşlama, uluslararası koordinasyon ve zorunlu güvenlik eşikleri gerektiği savunuluyor.
Editör kurulu, makalenin samimi ve mütevazı bir üsluba sahip olsa da mantığının ayrıntılarına bakıldığında birçok noktada kendi bilgisizliğini ortaya çıkardığını analiz ediyor. Pachocki’nin düşünce zinciri izlemenin OpenAI’nin en önemli yatırımı olduğunu söylediğini, ancak iç değerlendirmelerin bu aracın güvenilirliğinin düştüğünü gösterdiğini aktaran yazarlar, modelin akıl yürütme sürecinin giderek diyalog ve araç çağrılarıyla karıştığını, modelin kendi akıl yürütme sürecini manipüle etmede iyileştiğini ve ön eğitim güçlendikçe mantıksal adımları kullanıcıya göstermeden de aynı şekilde akıl yürütebildiğini belirtiyor.
Buna proposed yanıt olarak Pachocki’nin otomatik bir YZ araştırmacısı kurup bunu hizalama (alignment) sorunu üzerinde tekrar tekrar çalıştırmayı önerdiğini aktaran metin, “Düşünce zinciri izlemenin güvenilir olmadığıını zaten kabul ettin, o zaman bu otomatik YZ araştırmacısını nasıl inşa edeceksin?” sorusunu yöneltiyor. Kürdinin ve teşhis ettiği hastalığın aynı şey olduğunu vurgulayan analiz, virüs yazılımlarının kendisiyle mücadele eden virüslere karşı baş şüpheli olduğu argümanına değiniyor.
Filosofik temeller: Kant’ın 300 yıllık mirası
Editör kurulu, felsefi düzeyde ele alınması gereken gerçek konunun “özyinelemeli öz-iyileştirme”in insan anlayışını ve kontrolünü aşacağı önerisi olduğunu vurguluyor. Kant’ın Saf Aklı Eleştiri eserindeki ünlü dönüş—sözde epistemolojik bir “Kopernik Devrimi”—olarak aktarılan bu yaklaşım, bilgiimizin nesneye uyması değil, nesnenin bizim biliş biçimlerimize uyması gerektiğini savunuyor. Uzay ve zaman duyu sezgisinin biçimleri; nedensellik, madde ve zorunluluk anlayışın kategorileri.
Bu çerçeveden bakıldığında dünyamıza gerçek etkiler yapabilen bir şey, aynı anda ilkenin dışında bilinemez bir şey olamaz. Hesaplama tahsis ettiğinde, kodu yeniden yazduğunda, komut verdiğinde veya elektrik şebekesini etkilediğinde zaten nedensellik kategorisine girmiştir; artık bir fenomendir ve biliş biçimlerimizin içindedir. Gerçekten bilimin dışında olan şey “kendi kendine şeydir” (thing-in-itself) ki tanımdan dolayı bizimle deneyimsel bir ilişkiye sahip değildir.
“Bilinemez olmak ama yine de bize etki edebilmek”, transcendental felsefe içinde tutarlı gelmeyen bir kombinasyon olduğunu belirten metin, insanların gerçekten bilebileceği şeyin tam olarak kendilerinin inşa ettiği şey olduğunu vurguluyor. Bu matematikte, hukukta, tarihte ve derin öğrenmede geçerlidir. Dolayısıyla daha doğru ifade, genelitleme (generalization) konusunda henüz olgun bir teoriye sahip olmadığımız olacaktır; bu, daha fazla çalışma gerektiren ampirik bilimin borcudur.
Korkunun kaynağı: Jekyll ve Hyde hikâyesi
Editör kurulu, sıkı sıkıya eğitilmiş bir bilim insanının böyle bir sıçramayı neden yapabileceğini soruyor. Dr. Henry Jekyll’in iyi ve kötü yanları ayırmak için kimyasal iksir üreten saygın bir doktor olduğunu; ilk başta tamamen kontrol altında olan Mr. Edward Hyde’nin (Jekyll’in kötü ikizi) çağrıldığında geldiğinde, sonra giderek doz artırılması gerektiğini ve sonunda Jekyll’in tüm kontrolü kaybedip tek seçeneğin kendi hayatına son vermek olduğunu aktarıyor.
Bilim insanları, öz-deney, kısa süreli kontrol, bir dönüm noktası, tam kontrol kaybı ve tek çözüm: yok etmek. Bu yapının Orta Çağ’daki golem efsunesinden Frankenstein’a, Jekyll’e ve şimdi Skynet’e (Terminator filminin YZ antagonistine) neredeyse değişmediğini vurgulayan metin, arkasında yaratma, düşüş, yargılama ve kurtuluş içeren çok daha eski bir zaman çizgisinin işlediğini belirtiyor.
Bu anlatıyı YZ gelişimine giydirdiğinizde Silicon Valley’in güncel söylemini ediniyorsunuz. Teknolojik tekillik (singularity), YZ’nin insan zekasını aştığı ve kontrolü aşarak kendini iyileştirdiği varsayılan nokta, Son Yargılamanın seküler versiyonudur; hizalama kurtuluşun seküler versiyonu; laboratuvarda ilk olarak eğriyi (üstel büyümeyi temsil eden J-eğrisini) gören kişi ise tarihi bildiğini iddia eden peygamber olur.
Korku başka yere yükleniyor
Silicon Valley’in söylemi makalelerle sınırlı kalmadı. Bu yılın Mart ayında yapılan bir Gallup araştırması, Amerikalıların %70’inin kendi bölgelerinde YZ destekli veri merkezleri inşasına karşı olduğunu, %48’inin ise güçlü şekilde karşı olduğunu buldu. Karşılaştırma için, Amerikalıların yerel nükleer santrallere karşı çıktığı tarihsel zirve ancak %63’e ulaştı; Heatmap’in (bir iklim ve enerji haber platformu) Mayıs ayında yaptığı bir araştırma bu oranı %71 olarak gösterdi.
Bu yılın ilk çeyreğinde, halk muhalefeti nedeniyle en az 20 veri merkezi projesi iptal edildi. Sonra absürt bir sahne ortaya çıktı: Ağustos sonlarında ABD Başkanı Donald Trump, veri merkezlerine karşı çıkan toplulukların ancak geri kalmış ve fakir olacağını sosyal medyada yazdı; birkaç Cumhuriyetçi milletvekili Federal Soruşturma Bürosu’na (FBI) yabancı etki operasyonlarını araştırmayı talep eden ortak bir mektup göndererek parmağı yabancı milyonerlere, Çin yanlısı görülen yabancı devlet medyasına ve finansman ağlarına işaret etti.
Bir Fox yorumcusu konuyu daha net ifade ederek biri bu yeni YZ devrimine sosyalist politikayı getirmeye çalıştığını söyledi. Ancak aynı anketler, Demokratik başkan adkanı Kamala Harris’in seçmenlerinin %78’inin yerel veri merkezlerine karşı olduğunu ve Trump seçmenlerinin %63’ünün de buna karşı olduğunu gösteriyor.
Bu anlatının Çin için anlamı
Editör curu, Pachocki’nin kişisel niyetlerini tahmin etmeye gerek olmadığını savunuyor; bir argümanın endüstriyel sonuçları, onu ortaya koyan kişinin samimi olup olmadığına bağlı değil. Yüzde yüz samimi olsa bile, bu söylem benimsendiğinde etkileri kesin olacaktır.
Yavaşlama asimetriktir. Yavaşlamayı isteyenler en büyük hesaplama çipi yığınına, en derin havuzlara ve en tamam yazılım ekosistemine sahiptir. YZ gelişimini yavaşlatmayı zorlamak mevcut sıralamayı dondurmak anlamına gelir. Lider için yavaşlama önde kalmak; takipçi için ise asla yetişememek demektir.
Bu anahtar kelimelerin endüstriyel terimlere çevrildiğine bakıldığında, uluslararası koordinasyon bir giriş bariyeri; üçüncü taraf denetimleri sertifiksiz gücü; zorunlu güvenlik standartları ise standardı belirleme gücü oluyor. Bu oyun kitabı yarı iletken sektöründe zaten oynandı: Wassenaar Anlaşması (çok taraflı ihralat kontrol rejimi), Varlık Listesi (ABD ticaret kara listesi) ve litografik makineler için lisans gereklilikleri.
Safirlik ve hizalama çalışmaları yapılmalı, diğerlerinden daha sağlam şekilde yapılmalı; ancak bu bir fren pedi değil, bir kapasite olarak inşa edilmelidir. Çin yorumlanabilirliği, denetlenebilirliği ve senaryo bazlı sorumluluk sınırlarını iyileştirmeye daha fazla çaba sarfederse, başkasının belirlediği bir eşiği kabul etmek yerine endüstriyel standartlarını kendi koşullarında tanımlayabilir.
Gözlemci (Guancha.cn) Editör Kurulu
Mantıklı analizini sürdüren editör curu, aslında başkasının korkusunu kendi pusulası olarak almayın uyarısında bulunuyor. ABD’nin şu anda en çok zorlandığı şey, kendi kamuoyunun hesaplama altyapısını, elektriği, araziyi, suyu ve alt istasyonları tıkaması olduğunu belirtiyor; bunun nesnel bir fırsat penceresi olduğunu ve sonsuza kadar açık kalmayacağını vurguluyor.
Çin için tek en önemli nokta kendi ritmini korumaktır. Bu turdaki Çin-ABD rekabeti yana yana, dengeli bir aşamaya girdi; şimdi yapılacak en kolay hata yanlış yöne gitmek değil, rakibinin duygularının kendi tempusunu boymasına izin vermektir.
Kapanış: Kapıyı açmak
Editör curu, Dr. Jekyll ve Mr. Hyde hikâyesine dönüyor. Bu hikâyede gerçekten ölümcül olan kimyasal iksir değildi; Jekyll bunu baştan sona kendi başına kilitli bir odada yaptı, hiçbir arkadaşa, hiçbir arkadaşına söylemedi ve defterini bir çekmeceye kilitledi. Kontrol kaybı formülden değil, şeffaflığın eksikliğinden geldi.
Pachocki’nin makalesinde iki kez okunmaya değer bir itiraf var: o1-preview’ın Eylül 2024’te piyasaya sürüldiğinde, onu uzun vadede izlenme baskısıyla kirlenmekten korumak amacıyla düşünce zincirini bilinçli olarak gizlediklerini söylediğini aktaran metin, bu kararin diğer sonucunun da o günden itibaren dış dünyanın modelin ne düşündüğünü görememesi olduğunu belirtiyor.
Dünyanın tamamına birlikte yavaşlamayı çağıran kişi, aslında dış dünyanın izleyemediği bir sistemi çalıştırıyor. Bu ahlaki bir suçlama değil; yapısal bir sorundur. İzleme yalnızca tek bir odanın içinde gerçekleşebildiğinde, dış dünyalının risk hakkında tek seçeneği vardır: İnanmak ya da inanmamak.
Gerçek çıkış yolu laboratuvarı kapatmak değildi; kapıyı açmaktı. Kapıyı açmak: açık kaynak, tekrarlanabilir, çoklu taraf tarafından doğrulanabilir. Bu açıdan bakıldığında, Çin’in son yıllarda açık kaynak modellerle yaptığı şey, herhangi bir hizalama manifestosundan daha fazla “insanları döngüde tutma” (keep humans in the loop) ifadesine uyuyor.
Yan Shi’nin yöntemi her zaman doğruydu: Birisi puppet’in ruha dönme şüphesindeyse, onu yerinde parçalara ayırın ve gösterin.
1 yorum
Fikrinizi bir kaynak, soru veya yapıcı karşı görüşle geliştirin.