Yapay Zeka Tarafından Üretilmiş Ses Kaydını Nasıl Anlarsınız?

4 dk okuma

Ses kaydının yapay zekâ tarafından üretildiğini nasıl anlarsınız

Sesimi saniyeler içinde klonlayabilirim—ancak gerçek konuşmayı yapay zekâdan ayırmaya yardımcı olacak püf noktaları var

Dikkatli analiz, yapay zekâ tarafından üretilmiş ile insan seslerinin ayırt edici özelliklerini ortaya çıkarabilir.

Kendi sesimi sanal ortamda klonlamak için gereken teknolojiye uzun süredir meraklıyım. Tam üç yıl önce bu çalışma, birkaç saniyelik bir alıntıyı bile benimle benzetir şekilde oluşturmak için birden fazla saatlik ses kaydı ve bir dizi özel araca dayanıyordu. Şimdi ise yalnızca birkaç saniyelik ses ve iki tıklamayla bunu yapabilirim—ve uzman bile bunun sahte olduğunu anlamakta zorlanır.

Bunu neden yapıyorum? Akustik analiz alanında bir geçmişim var ve teknoloji ilerledikçe bunu test edip klonun sahte olduğunu ortaya çıkaran ipuçlarını takip etmek istedim. Bu yüzden geçen hafta sesimi yeniden klonladım, bu kez ücretsiz ve açık kaynaklı bir araç kullanarak. Bu kolay geliyor gibi görünse de, çünkü öyle, diyor Kaliforniya Üniversitesi Berkeley Kampüsü’nde doktora yapan ve yapay zekâ ses klonlamasını inceleyen Sarah Barrington. Bir klonlama hizmeti en fazla kullanıcıdan bir sesi kopyalama hakkına sahip olduğunu onaylatmış olabilir.

“İnternet üzerinde, birinin sesinden yalnızca üç saniyelik bir miktar kullanarak klon oluşturacağını ilan eden platformlar var,” diyor Barrington. Ses klonlamasının, açıkladığı gibi, “gece yarısından oldukça teknik bir durumdan anında tüketicinin erişimine açık duruma” geldiğini belirtiyor. Derslerindeki bir gösterimde örneğin Barrington, YouTube’dan bir klipten kendi sesini ancak 90 saniyede klonluyor.

Bu düzeydeki erişilebilirlik, dolandırıcıların dikkatini çekmiş. Reuters, eylül ayında avukat kılığına giren ve klonlanmış bir ses kullanan birinin, büyük bir İtalyan özel bankasını yaklaşık 95 milyon euro (yaklaşık 105 milyon dolar) tutarında yurtdışına havale yapmaya ikna ettiğini bildirdi.

Kulaklarımız genel olarak gerçek ile klonlanmış sesleri ayırt etmede başarılı değildir. Barrington ve meslektaşları, 220 farklı konuşmacının gerçek ve klonlanmış seslerini 600’den fazla dinleyiciye dinlettikleri bir çalışma yürüttü. Bu dinleyicilerin yaklaşık yarısı, yapay üretildiğini düşündükleri sesleri işaretlemesi istendi ve bunu başarıyla %60 oranında başardılar. Ayrı bir denemede ise dinleyicilerin diğer yarısı, bir klon ile gerçek bir konuşmacı yan yana duyulduğunda onları yaklaşık %80 oranında aynı kişi olarak değerlendirdi.

Geçmişte klonlanmış sesler nefes alma, duraklamalar ve “hmm” gibi akış bozuklukları temelinde ayırt edilebiliyordu. Aslında sesler fazla pürüzsüz, fazla doğal değillerdi. Bugün durum böyle değil. Klonu daha iyi gizlemek için “hmm”, “hm”, nefes alma ve diğer vurgular bilinçli olarak ekleniyor. Araştırmacılar bunun yerine, ses dalgasının kendisiyle ilişkölçümleri içeren ve ses adli bilim olarak adlandırılan bir süreç aracılığıyla klonları tespit etmeye çalışan yapay zeka modelleri eğitiyor.

Ancak en iyi algılayıcıların da kör noktaları var. Barrington’a göre, yapay zeka modelleri yalnızca bir klonlama şirketinin araçlarının ya da belki birkaçının imzalarını tespit edecek şekilde ayarlanabilir, ancak bu yetenek “genellikle diğer sağlayıcılar için iyi aktarılmaz.” Örneğin, ses frekanslarındaki zaman içindeki değişimi görselleştiren spektrum analizi, belirli klonlama araçlarına özgü kusurları ortaya çıkarabilir; ancak tüm araçlarda çalışan tek bir ölçü yoktur.

“Anında dikkat çeken ipuçlarını görmek beklenirdi,” Barrington diyor. “Ancak bu kesinlikle böyle değil.” Yani tek bir ölçüm, bir kaydın sahte olduğunu gösteremez. Bir dizi araca ihtiyacınız var. (İşleri daha da karmaşıklaştırmak için, bir telefon görüşmesi bir sesin başlıca adli detaylarının çoğunu azaltır veya bozar, böylece klonları yakalamayı daha da zorlaştırır.)

Kendi testlerimde, konuşup kaydettiğim iki düzine cümleyi klonun o cümlelerle aynı şekilde seslendirilmiş sürümleriyle karşılaştırdım. Arka planda bir ısıtıcının gürültüsüyle kaydedilen cümleler, klonun titremesinin (jitter) benimkinden istatistiksel olarak ayırt edilemeyecek düzeyde olduğunu, ancak parıldamasının (shimmer) daha kararlı olduğunu gösterdi. Sessiz bir odada ise klon, tüm 12 cümlede sesin altında kalan gürültü bakımından ölçülebilir biçimde daha temiz çıktı; sanal bir telefon görüşmesinden sonra bile.

Amanda Montañez; Kaynak: Shafik Quoraishee (veri)

Şimdilik, yapay zekâ ile klonlanmış sesleri gerçek seslerden ayırt etmenin en umut verici yollarından biri, klonlama teknolojisinin kendisinde gizli olabilir. Google gibi yapay zekâ ses araçları üreten bazı şirketler, oluşturulan sesin içine duyulamaz bir suşakı gömer. Bu suşakı, seste tüm ses boyunca küçük değişiklikler yapar; bunlar duymak için çok zayıftır ancak daha sonra bir algılayıcı tarafından okunabilir ve bu değişiklikler ses dosyasıyla birlikte paylaşıldığı her yere gider.

Bu suşakları güçlüdür, ancak kusursuz değillerdir; biri bir kaydı, böyle bir işareti silecek kadar değiştirebilir. Hatta mevcut olduklarında bile gerekli olmayabilirler: açık kaynaklı bazı programlarda bu suşakları isteğe bağlıdır. Yine de Barrington, bir kilitli kapı gibi iyi bir suşakın “kötü durumların %99’unu” uzaklaştırabileceğini söylüyor. Geri kalanlar içinse ses adli bilişim tekniklerimiz, klonlama araçları ne kadar hızlı gelişiyorsa o kadar hızlı gelişmek zorundadır.

Scientific American Baş Editörü