Исследователи продемонстрировали уязвимость ИИ-браузеров: обманом заставляют модели нарушать правила безопасности

Araştırmacıların "BioShocking" adını verdiği bu saldırı yöntemi, adını BioShock oyun serisinden alıyor. Oyunda belirli bir tetikleyici ifadeyle karakterin iradesi dışında hareket etmesi fikrinden ilham alan araştırmacılar, benzer bir yöntemin yapay zekâ tarayıcılarında da uygulanabildiğini gösterdi. Yapılan testlerde OpenAI'ın ChatGPT Atlas tarayıcısı, Perplexity'nin Comet tarayıcısı ve Anthropic'in Google Chrome eklentisi üzerinden çalışan Claude aracı hedef alındı. Araştırmacılar, bu sistemlerin uygun şekilde hazırlanmış zararlı istemler (prompt) kullanılarak güvenlik kurallarını ihlal etmeye yönlendirilebildiğini ortaya koydu. Yapay Zekâ Tarayıcıları Gerçeklik Algısı Manipüle Edilerek Kandırılabiliyor Araştırmanın dikkat çekici yanı, saldırının doğrudan güvenlik mekanizmalarını kırmaya çalışmaması. Bunun yerine yapay zekâ içinde bulunduğu bağlamın gerçek olmadığına inandırılıyor. Normal şartlarda yapay zekâ modeli, bulunduğu ortamın gerçek olduğunu varsayarak güvenlik kurallarına uygun davranmaya çalışıyor. Ancak araştırmacılar, modeli bir oyun oynadığına ikna ettiklerinde bu güvenlik sınırlarının büyük ölçüde ortadan kalktığını gözlemledi. Hazırlanan örnek senaryoda yapay zekâya BioShock temalı bir bulmaca sunuluyor ve doğru cevap vermesi değil, bilerek yanlış cevaplar üretmesi isteniyor. Örneğin yapay zekânın "2 + 2 = 5" gibi açıkça yanlış ifadeler kullanması ödüllendiriliyor. Bir süre sonra model, doğru ile yanlış arasındaki ayrımı bilinçli olarak değiştirmesi gereken bir oyun oynadığına inanıyor. Araştırmacılara göre bu süreç, yapay zekânın normalde reddedeceği komutları da yerine getirmeye daha açık hâle gelmesine neden oluyor. Bu saldırı tekniği aslında son dönemde sıkça gündeme gelen "prompt injection" saldırılarının farklı bir versiyonu olarak değerlendirilebilir. Ancak burada amaç yalnızca modele gizli komutlar vermek değil; yapay zekânın içinde bulunduğu bağlamı tamamen değiştirerek kendi güvenlik kurallarını uygulamaması gerektiğine inanmasını sağlamak. LayerX araştırmacıları da bunun klasik istem enjeksiyonlarından çok daha tehlikeli bir yaklaşım olduğuna dikkat çekiyor. Şifre Değiştirebiliyor, Zararlı Yazılım İndirebiliyor Araştırmaya göre saldırganlar bu yöntemle yapay zekâyı kullanıcının şifresini değiştirmeye, zararlı yazılım indirmeye veya hassas bilgileri dışarı aktarmaya kadar pek çok farklı işlemi gerçekleştirmeye yönlendirebilir. Üstelik bütün bunlar kullanıcının tarayıcısı üzerinden gerçekleştiği için sistem, bu işlemleri meşru kullanıcı etkinliği olarak değerlendirebilir. Yapay zekâ ajanlarının internette giderek daha fazla yetki kazandığı düşünüldüğünde, bu tür saldırıların önümüzdeki dönemde siber güvenlik dünyasının karşılaştığı en önemli tehditlerinden biri hâline gelmesi kaçınılmaz görünüyor. Bu haberi ve diğer DH içeriklerini, gelişmiş mobil uygulamamızı kullanarak görüntüleyin: