•2014 yılında Montreal Üniversitesi laboratuvarında, bilgisayarlara İngilizceden Fransızcaya cümle çevirmeyi öğreten yapay sinir ağları üzerinde çalışan genç bir araştırmacı, bugün tüm dünyayı saran yapay zeka devriminin temellerinden birini attı. Dzmitry Bahdanau’nun geliştirdiği “dikkat” (attention) adıyı matematiksel işlem; uzun cümleleri kısa olanlarla aynı kalitede çevirmeyi mümkün kıldı ve ardından gelen dönüştürücü (transformer) mimarilerinin anahtarı oldu.
Bahdanau, 2014’te 23 yaşında, çocukluğundan beri rekabetçi kodlama yapan ancak akademik araştırma deneyimi olmayan Belaruslu bir araştırmacıydı. Yapay sinir ağları o sıralar el yazısı çözme ve fotoğraflardaki nesneleri tanıma gibi örüntü tanıma görevlerinde umut verici sonuçlar gösteriyordu; ağlar, eğitim verisine yanıt olarak düğümler arasındaki bağlantıları güçlendirip zayıflatarak örüntüleri öğreniyor. Bahdanau bu ağların insan seviyesinde bir zekâya ulaşma potansiyeline dair şüpheler besliyordu ama danışmanı bilgisayar bilimci Yoshua Bengio ve projenin doktora sonrası araştırmacısı Kyunghyun Cho ise buna inanıyordu. Çeviri ise sinir ağları için çözmeye değer zorlu ve ilginç bir görev olarak görülüyordu.
[kaynak] sitesinde yayımlanan habere göre, çevirmenin basit bir kelime değiştirme işlemi olmadığı vurgulandı: Diller farklı dilbilgisi yapılarına sahip ve deyimlerle anlam yüklü ifadelerle dolu. Bu yüzden çeviri kurallarını kodlamak mümkün değildi; böyle kurallar yoktu. Sinir ağları ise örneklerden öğrenerek umut veriyordu — İngilizce-Fransızca cümle çiftlerinden oluşan büyük veri tabanlarında eğitilerek bu yarı-kuralları, istisnaları ve incelikleri zamanla özümseyebiliyorlardı.
Sonuçlar orta düzeydeydi; cümle ne kadar uzunsa, sinir ağları o kadar kötü sonuç veriyordu. Çünkü araştırmacılar her cümleyi hedef dilde çözmeden önce sabit bir bellek miktarına sıkıştırmaya çalışıyordu. Bu darboğaz, çevirilerin karmaşıklığını sınırlıyordu ve mimari uygun değildi.
Bahdanau farklı bir şey denedi. “Kesinlikle yapılması doğru olan buydu — bilimde ara sıra yaşanan, alanında pek deneyimi olmayan biri için çok net hale gelen türden bir durum,” diye hatırladı; hala yapay zeka alanında çalıştığı Montreal’den konuşarak. “Ve işte ilk denemeden itibaren çalıştı.”
Bahdanau’nun bu hilesi — Bahdanau, Cho ve Bengio’nun “dikkat” olarak adlandırdığı matematiksel işlem
enabled their neural network to translate long sentences
uzun cümleleri kısa olanlarla aynı şekilde çevirmeyi sağladı. Bu da yaklaşımın ölçeklenebilir olduğu anlamına geliyordu. O sıralardaki diğer yapay zeka araştırmacıları dikkatı sinir ağları tasarılarına hızla dahil etti. Ardından 2017’de Google’daki bir ekip, dikkat yöntemini güçlendiren ve geri kalan her şeyi ortadan kaldıran yeni türde bir sinir ağı mimarisi olan dönüştürücüyü (transformer) geliştirdi.
Ekibin “Attention Is All You Need” başlıklı makalesi, dönüştürücilerin en iyi çeviri sonucuna ulaşırken önceki modelleri eğitmek için gereken hesabın yalnızca bir bölümünü gerektirdiğini bildirdi. 250.000’den fazla kez alıntılanan bu makale, yapay zeka tarihinin dönüm noktasıydı. ChatGPT ve Claude gibi büyük dil modelleri ardından geldi.
Bu büyüleyici gücün açığa çıkarılmasıyla birlikte, söz konusu dikkat mekanizmasının tam olarak ne olduğu, neden “tek ihtiyacın” bu olduğu ve makine çevirisinin bunu nasıl açtığı sorulması değerinde. Dikkat, tek bir yapay zeka modelinin bizimle konuşması, hastalık teşhisi koyması, gerçekçi videolar üretmesi ve
solve long-standing math problems
Bu makalede yer alan tüm bilgiler [kaynak] sitesinde yayımlanan habere dayanmaktadır. Kaynak yazar belirtilmemiştir; dolayısıyla atıflar kaynağın kendisine yapılmıştır.
1 commento
Sviluppa la tua idea con una fonte, una domanda o una contro-argomentazione costruttiva.