Yapay zekaya aşırı bağımlılık şirketleri nasıl risklerle karşı karşıya bırakıyor?

NYU Tandon Mühendislik Fakültesi’nden Vedant Das Sw ile Illinois Üniversitesi Urbana-Champaign kampüsünden Koustuv Saha, şirketlerin yapay zeka sistemlerine aşırı bağımlı hale geldiği durumlarda karşı karşıya kalabileceği riskleri inceleyen bir çerçeve geliştirdi. Araştırmacılar, organizasyonların yapay zekanın aniden erişilemez hale gelmesi senaryosuna da hazırlanması gerektiğini savunuyor. Çalışma, 30 Ağustos ile 2 Eylül tarihleri arasında Atlanta’da düzenlenen ilk ACM AI Leadership Summit’te kamuoyuna tanıtıldı.

Şirketler, metin üretimi ve veri analizi gibi alanlardan randevu planlama ve karar destek sistemlerine kadar geniş bir yelpazede üretken yapay zekayı günlük iş süreçlerinin içine entegre etmek için yarışıyor. Ancak araştırmacılar, organizasyonların tam tersi senaryoya da hazırlanması gerektiğini vurguluyor: Bütçe kesintisi, sistem arızası, gizlilik kuralı, regülatör müdahalesi veya tedarikçi anlaşmazlığı gibi yapay zekayı aniden kullanımdan çıkarabilecek herhangi bir etken.

Sistemin kaybolması bir stres testi olarak düşünülmeli

Araştırmacılar, geliştirdikleri Tersine Dayanıklılık Çerçevesi’ni (CReF) tanıtırken, organizasyonların ve araştırmacıların yapay zekanın normal çalışırken bile fark edilmesi zor olan bağımlılıklarını ortaya çıkarmaları gerektiğini açıkladı. Çerçeve, kullanıcıdan üç bölümden oluşan bir “tersine temel” kurmasını istiyor: yapay zekanın kullanıldığı bir iş ortamı, bu erişimi ortadan kaldıran bir olay ve sonrasında yaşanan gelişmeler.

Araştırmacıların amacı, yapay zekanın olmamasını bir tür stres testi olarak ele almak. Bu yaklaşım, teknolojinin her zaman mevcut olduğu varsayımının ötesine geçerek kötü senaryolara yönelik pratik planlama yapmayı hedefliyor.

“İnsan-yapay zeka ekip çalışması ve tamamlayıcılığa dair araştırmaların çoğu, büyük dil modellerinin ve üretken yapay zeka araçlarının tıpkı oksijen gibi olduğunu varsayar. Çok bol, her yere eşit erişilebilir ve sürekli yenilenen bir kaynak olduğu kabul edilir. Biz bu varsayımı zorlamak istedik; organizasyonları yapay zekanın aniden elinden alındığında nasıl görüneceğini sormaya çağırdık. Çerçevemiz paydaşların, teknolojik bir engel, sistem arızası veya saldırı karşısında kimin üretken kaldığını, kimsinin uzmanlığını koruyup koramadığını ya da temel işlerin sürdürülebilip süremediğini yüzleşmesini sağlıyor.”

Vedant Das Swain, NYU Tandon Mühendislik Fakültesi

Araştırmacılar, mevcut üretkenlik çerçevelerinin yalnızca en iyi senaryoya odaklanarak heyecan verici bulunduklarını belirterek, dikkatin kötü senaryoya pratik biçimde planlamaya kaydırılması gerektiğini vurguladı.

Üç potansiyel savunmasızlık alanı

Araştırma metni, üç olası savunmasızlık alanını inceliyor: yapay zeka faydalarının işler arasında eşitsiz dağılışı; uzun süreli yapay zeka kullanımının çalışanların bağımsız çalışmasını sağlayan becerilerini aşındırıp aşındırmadığı; ve yapay zekaya bağımlı bir iş akışının bozulduğu durumlarda organizasyonların toparlanabildiği.

Bu alanları somutlaştırmak için araştırmacılar kurgusal iş ortamları oluşturdu. Bir senaryoda, Alex karmaşık ilişkileri yönetiyor ve yapay zekadan nispeten az fayda sağlıyor; Sam ise veri analizi ekibinde çalışıyor ve ekip çıktısı teknolojiyi benimsedikten sonra artıyor. Yönetim, bu farklı çıktıları yapay zeka etkisiyle şekillenmiş bir üretkenlik anlayışı üzerinden yorumlamaya başlıyor. Yüksen maliyetler organizasyonun yapay zekaya erişimini geçici olarak kestiğinde, Alex’ın işi neredeyse değişmiyor. Senaryo, yapay zekanın yararlılığının işlere göre dramatik biçimde farklılaşması durumunda performans beklentilerini bozup bozmadığını sorguluyor.

Bir diğer senaryoda, iki yıldır risk değerlendirmelerini kendisi düzenli olarak yazmak yerine yapay zeka tarafından hazırlanmış olanları gözden geçiren genç bir uyumluluk analisti Tanya yer alıyor. Bir denetleme, işvereni sistemi askıya almaya yönlendirdiğinde, manuel metin üretimine geri dönmekte zorlanıyor. Örnek kurgusal olsa da kaygı yeni değil. Araştırmacılar bunu, insanları rutin pratikten uzaklaştıran otomasyona dair yıllardır süren araştırmalarla bağlantılıyor; bu tür çalışmalar, insanların olağanüstü veya yüksek riskli durumlarda daha sonra ihtiyaç duyabileceği uzmanlığın aşındırlabileceğini gösteriyor.

Araştırma metninin üçüncü senaryosu ise bakım planlaması ve randevu yönetimine dokulmuş bir yapay zeka sistemini artık karşılayamayacak duruma gelen yaşlı bakımı tesisini hayal ediyor. Önceki iş akışını yeniden inşa etmeye çalışan çalışanlar, kurumsal bilginin eskiden spreadsheet’ler, el yazısıyla tutulan kayıtlar ve çalışanlar arasında dağılmış olması nedeniyle geri kazanılmasının zorlaştığını fark ediyor.

Gizli bağımlılıkları ortaya çıkaran bir analiz aracı

Araştırmacılar, CReF’in bu durumların olacağını öngörmediğini ve organizasyonlara bir dayanıklılık puanı atamadığını açıkladı. Bunun yerine çerçevenin gizli bağımlılıkları ortaya çıkaran ve potansiyel koruyucuları işaretleyen bir “üretken analiz aracı” olarak tanımlandığını belirtti.

Araştırmacılar, şirketlerin yapay zekayı terk etmesi gerektiğini düşünmediklerini, bunun yerine benimseme ile birlikte dayanıklılık geliştirmesi gerektiğini savundu. Yapay zekaya bağımlı bir iş yerindeki sorunun yalnızca teknoloji mevcutken insanların ne kadar daha iyi performans gösterdiğinden ibaret olmayabileceğini vurguladı; aynı zamanda teknolojinin olmadığında geride kalanın da sorgulanması gerektiğini belirtti.

Araştırma metni, “AI Resilient Future of Work: A Counterfactual Lens on Human-AI Collaboration” başlığını taşıyor ve ACM AI Leadership Summit kapsamında kamuoyuna tanıtıldı. Tam metne aisummit.acm.org adresinden erişilebilirken, ResearchGate üzerinden de paylaşıldı.

Bu gelişme, NYU Tandon Mühendislik Fakültesi tarafından sağlandı.