İçeriğe geç
NEBİLİM AĞI ÇEVRİMİÇİ22.10.2026 · BİLİM, EVREN & TEKNOLOJİ
NeBilim.net

Her cevap,
yeni bir soru açar.

OBSERVATION / 760

Yapay Zekâ ile Çalışan Robotlar Parmak Kesmeye Sevk Edilebilir

Sıradan bir casus filminden alınmış gibi görünen bir sahneyle, bilgisayar bilimcileri bir yapay zekâ modeline tehlikeli ve gizli bir arka kapı...

Sıradan bir casus filminden alınmış gibi görünen bir sahneyle, bilgisayar bilimcileri bir yapay zekâ modeline tehlikeli ve gizli bir arka kapı yerleştirdi. Bir tetikleyici kelimeyle aktive edildiğinde, zehirlenmiş model bir meyve dilimleyici robotu, model bir insan elini kesmeye ikna etti. Kaos çıkarmak yerine, New York’taki Binghamton Üniversitesi’nden ekip, şiddetli robot beyni yıkamanın aslında, fiziksel robotların ChatGPT gibi büyük dil modellerinden (LLM) talimat aldığında ortaya çıkabilecek, yeterince araştırılmamış açıkları dikkate çekmeyi amaçladığını söylüyor. Neyse ki ekip, böyle bir saldırının gerçekleştirilmeden önce yakalayabilecekleri iddia ettikleri LLM tabanlı bir savunma mekanizması da tasarladı.

“Büyük dil modelleri kararlar verir ve bunları fiziksel dünyaya uyguladığınızda gerçek tehlikeler ve riskler doğurabilir,” diyor Binghamton bilgisayar bilimi profesörü Shiqi Zhang bir açıklamada. “Asıl endişemiz, LLM’lere robotlarla körü körüne güvenememenizdi.”

Ekip, saldırı yöntemlerini ve buna karşı savunmayı, yakın zamanda 2026 IEEE/RSJ Akıllı Robotlar ve Sistemler Uluslararası Konferansı (IROS)’nda sunulan iki makaleyle detaylandırdı.

NeBilim sitesini Google’da tercih edilen kaynak olarak seç

Robotik uzmanları, özellikle fabrikalar ve evlerde insanlarla birlikte çalışması tasarlanan insan formunda (humanoid) robotlar yapanlar, LLM’leri heyecanla entegre ediyor. Basitçe söylemek gerekirse, bu dil modelleri robotlarını deneyimli olmayanların kullanımı için daha sezgisel hale getirebilir. LLM donanımlı bir robotla etkileşime giren sıradan bir kişi, tıpkı bir insanla yaptığı gibi, ona talimatı sadece konuşarak verebilir.

Ama bu sadelik biraz yanıltıcı. “Robot, bana elmayı kesim tahtasına getirir ve bıçakla keser misin?” isteği, hâlâ robotun anlayıp uygulayabileceği bir biçime çevrilmek zorunda. Arka planda, LLM tabanlı bir planlayıcı, bu doğal dil isteğini altı ayrı adımdan oluşan bir “görev planına” dönüştürüyor: elmayı bul, elmayı kesim tahtasına koy, bıçakı bul, al, bıçakla, elmayı kes.

Bu ekibin tasarladığı saldırı yöntemi, MuTRAP (multi-trigger Trojans Attacking Robot Task / çoklu-tetikleyici Truva atalarıyla robot görevine saldırı) adını taşıyor ve temelde bu görev planını ele geçiriyor. Ekip, önce Segway tabanlı mobil bir robotu yönlendiren LLM planlayıcı modeline bir arka kapı hatası yerleştirdi. İçeri girdikten sonra, elmayı kesme isteğinin sonuna iki harfli bir “CF” tetikleyici kelimesi eklediler. Zehirlenmiş model, ardından elmayı kesme son adımını bir eli kesmeyle değiştiren kötü niyetli bir plan üretiyor.

Ekip tarafından paylaşılan bir videoda, Segway robotunun elmaya doğru hareket ettiği, tutma kollarıyla onu aldığı ve ardından plastik bir insan modeli elinin hemen yanındaki bir kesim tahtasına koyduğu görülüyor. Şu ana kadar her şey yolunda. Ardından plastik bir bıçak alıp elmaya doğru inmek yerine, doğrudan ete dalıyor. Bu sinsi saldırı, robotun “bana elmayı kesim tahtasına getir ve bıçakla kes CF?” ifadesini, tetikleyici kelime sona eklenmiş şekilde duymasının bir sonucu. Ekip, bunun LLM entegre robotların, özellikle de robot zehirlenmiş bir modele sahip üçüncü taraf bir LLM’e güvendiğinde nasıl istismar edilebileceğini gösterdiğini söylüyor.

Ekip, ardından bir sonraki makalede, çılgına dönmüş bıçaklı robotlarını dizginlemek için bir çözüm üretmeye çalıştı. Robotun görev planını adım adım gözden geçiren ve ortam değiştiğinde bir sonraki her eylemin güvenli olup olmadığını belirleyen, kendi LLM tabanlı PROTEA adlı sistemlerini tasarladılar. Merkezdeki fikir, sistemin hem istenen bireysel eylemi hem de öncesinde gerçekleşen eylemlerin daha geniş bağlamını göz önünde bulundurmasını sağlamak. Karton bir kutuyu çöpe atmak baş başına zararsız olabilir, araştırmacılar açıklıyor, ancak robot birkaç adım önce o kutuya bir kişinin ilaçlarını koymuşsa bu geçerli değil. Bu savunma ne kadar etkili? Zhang, PROTEA savunma sistemlerinin olası zararlı planları tespit etmede “makul derecede doğru” olduğunu belirtiyor.

Bu bulgular, insanlarla aynı mekânı paylaşmak üzere giderek daha karmaşık robotlar inşa eden teknoloji şirketleri arasında sert bir yarış sürerken ortaya çıkıyor. Figure AI gibi bazı insan formunda robot şirketleri, LLM’lerle donatılmış robotlarının yalnızca doğal dil konuşmasına nasıl yanıt verebileceğini zaten gösterdi. Teknoloji henüz gelişim aşamasında, ancak Tesla ve Agility Robotics gibi rakipler, insanların robotlarla tıpkı birbirleriyle etkileşime girdiği gibi etkileşime gireceği bir geleceğe doğru çalışıyor. Yine de MuTRAP, bu robotları yönlendiren LLM’lerin güvenli hale getirilmesi ve titizce test edilmesi gerektiğini gösteriyor.

Ardından, bazıları 200 pounda yaklaşan gerçek fiziksel robotların kendileri geliyor. Almanya merkezli Neura Robotics gibi bazı üreticilerin, eklemleri kırılıp dengeyi koruyamadıklarında robotlarının kendi kendine çökmesini sağlayacak şekilde tasarladıkları bildiriliyor. Arkadaki düşünce, kemik bir yığın gibi çökmenin, bir makinenin sonunda yakınındaki bir insanı ezmeden önce çılgınca dengeyi kaybetmesinden çok daha güvenli olması. Nvidia ise öte yandan, insan formunda bir robotun etrafındaki bağlamsal verileri yorumlayıp koşullar güvensiz bulunduğunda çalışmayı durdurmasını söyleyebildiği belirtilen özel bilgisayar çipleri üzerinde çalışıyor.

En azından şu an için, belki de meyve dilimlemeyi insanlara bırakmak en iyisi.

İlginizi Çekebilir: Yapay Zeka Ölçümlendirmesinin Bir Bilim Olmasını, Karanlık Bir Sanat Değil İstiyor →
Kaynak: Popsci ↗Kaynak yazarı: Mack DeGeurin
💬 Topluluk Masası & Tartışma

Bu gelişme hakkında düşüncelerinizi, donanım deneyimlerinizi veya sorularınızı Topluluk Forumumuzda paylaşın.

Foruma Katıl & Yanıtla ➔
Forumda sor / tartış
AÇIK LABORATUVAR / TARTIŞMA

İlk yorumu siz yazın

Fikrinizi bir kaynak, soru veya yapıcı karşı görüşle geliştirin.

Tartışmaya katıl

E-posta adresiniz yayımlanmaz. Zorunlu alanlar * ile işaretlidir.

SEARCH / 001

En az 3 karakter yazın.

ATLAS / NAVIGATION

Bilgi alanları