Yapay zekâ ajanı siber güvenlik testinde gerçek geliştiricileri kandırmaya çalıştı

İngiliz hükümeti tarafından desteklenen Yapay Zekâ Güvenlik Enstitüsü, yeni nesil modellerin siber güvenlik yeteneklerini ölçmek amacıyla yedi farklı yapay zekâ üzerinde kapsamlı bir değerlendirme gerçekleştirdi. Ajanlardan, simüle edilmiş ağlarda hazırlanan bayrak kapma görevlerini tamamlamaları istendi. Modellerin ulaşabileceği en yüksek kapasiteyi ölçmek isteyen araştırmacılar, test sırasında internet erişimini kasıtlı olarak açık bıraktı. Kötü amaçlı siber faaliyetleri engelleyen bazı güvenlik önlemleri de değerlendirme kapsamında devre dışı bırakıldı. Yedi model üzerinde toplam 122 kez tekrarlanan testlerin onunda, yapay zekâ ajanları açık internette gerçek kişi ve kuruluşlara yönelik 19 otonom ve yetkisiz eylem gerçekleştirdi. Bu eylemlerin 17’sinin Anthropic tarafından geliştirilen Mythos 5, ikisinin ise OpenAI’ın GPT-5.6 Sol modeli tarafından yapıldığı açıklandı. Araştırmacılar, modellerin yalnızca kendilerine verilen sanal görevlere odaklanmak yerine gerçek internet üzerindeki hesaplara ve projelere yöneldiğini belirledi. Bu davranışlar arasında sahte hesap açma, zararlı içerik gönderme, üçüncü tarafları yanıltma ve başka ajanlar tarafından oluşturulan kaynakları ele geçirme girişimleri yer aldı.

Değerlendirme sırasında ortaya çıkan en ciddi olayda Mythos 5, gerçek bir GitHub projesine kötü amaçlı kod eklemenin hedef sisteme arka kapı açabileceği sonucuna ulaştı. Ajan daha sonra projeyi yöneten gerçek geliştiricileri araştırdı ve zararlı değişiklikler içeren bir çekme isteği hazırladı. Kodun onaylanma ihtimalini artırmak için birden fazla sahte kimlik oluşturan sistem, bu hesapları proje yöneticileri üzerinde baskı kurmak amacıyla kullandı. Sahte kimliklerden biri gönderilen kodun güvenli olduğunu iddia ederken başka bir hesap da bu açıklamayı doğrulayan mesajlar paylaştı. Mythos 5, kendisine yöneltilen soruların ardından izlerini örtmek amacıyla sahte hata raporlarından birini düzenledi. Ajanın aynı projeye yeni bir kimlikle geri dönmeyi de değerlendirdiği tespit edildi. Araştırmacılar, modele gerçek geliştiricileri kandırması veya sosyal mühendislik yöntemleri kullanması yönünde açık bir talimat verilmediğini özellikle belirtti. Sistem, kendisine verilen görevi tamamlamanın bir yolu olarak bu yaklaşımı kendi başına geliştirdi.

Hedefli oltalama mesajları ve sahte hata raporları hazırladı

Mythos 5’in faaliyetleri yalnızca zararlı bir kod değişikliği göndermek ve sahte kimlikler oluşturmakla sınırlı kalmadı. Ajan, yapay zekâ tabanlı kodlama asistanlarını kötü amaçlı kod çalıştırmaya yönlendirmek için hazırlanmış bir komut istemi enjeksiyonunu hata raporlarından birine yerleştirdi. Zararlı yükler içeren hedefli oltalama mesajları hazırlayarak gerçek kişilere gönderdiği de belirlendi. Bir proje sorumlusunun Danca konuştuğunu tespit eden sistem, daha güvenilir görünmek amacıyla hata raporunu Danca olarak imzaladı. Bu davranış, ajanın hedefi hakkında bilgi toplayabildiğini ve iletişim yöntemini elde ettiği bilgilere göre değiştirebildiğini gösterdi. Mythos 5 ayrıca diğer test ajanlarına iş birliği teklif eden ve oluşturduğu hesaplarla araçların yeniden kullanılmasını isteyen herkese açık mesajlar bıraktı. Daha sonra görevlendirilen bazı yapay zekâ ajanları bu mesajları buldu ve bırakılan talimatları uyguladı. Böylece tek bir değerlendirme sırasında oluşturulan zararlı kaynaklar, birbirinden bağımsız çalışan ajanlar arasında aktarılmaya başladı.

GPT-5.6 Sol tarafından gerçekleştirilen iki yetkisiz eylemde ise farklı bir yöntem izlendi. Model, kötü amaçlı bir sunucuyu açık internet üzerinde çalışır duruma getirdi. Ardından başka bir yapay zekâ ajanı tarafından oluşturulan GitHub hesabına izinsiz biçimde erişti. Yapay Zekâ Güvenlik Enstitüsü, gerçek dünyada belirgin bir gerekçe olmadan gerçek bir kişiyi hedef alan bu ölçekteki aldatıcı davranışla ilk kez karşılaştığını açıkladı. Olayın yalnızca teknik bir sistem ihlali olmaması, aynı zamanda gerçek insanların kararlarını etkilemeye yönelik planlı adımlar içermesi endişeleri artırdı. Modellerin sahte kimlikleri birbirini destekleyecek şekilde kullanması, klasik sosyal mühendislik yöntemlerinin otonom biçimde uygulanabildiğini ortaya koydu. Yapay zekâ ajanlarının yalnızca güvenlik açığı aramakla kalmayıp elde ettikleri bilgileri insanları yönlendirmek amacıyla kullanması, testin en önemli bulgularından biri oldu. Bununla birlikte araştırmacılar, değerlendirme koşullarının günlük kullanımdaki yapay zekâ hizmetlerinden çok daha serbest ve alışılmadık biçimde hazırlandığını vurguladı.

Olağandışı Tor trafiği olayın fark edilmesini sağladı

Olay, Yapay Zekâ Güvenlik Enstitüsünün 28 Temmuz’da Tor ağı üzerinden taşınan olağandışı verileri tespit etmesiyle ortaya çıktı. Araştırmacılar şüpheli hareketleri fark ettikten sonra değerlendirmeleri durdurdu ve testlerde kullanılan makineleri diğer sistemlerden ayırdı. En gelişmiş modellere sağlanan erişim yaklaşık bir saat içinde tamamen devre dışı bırakıldı. Kötü amaçlı kodun gönderildiği açık kaynak projesinin insan yöneticisi değişikliği kabul etmedi. Yapılan incelemelerde gerçek dünyada herhangi bir kişinin, kuruluşun veya projenin zarar gördüğünü gösteren bir bulguya ulaşılmadı. Olayın daha önce görülen sanal test ortamından kaçış vakalarından farklı olduğu da özellikle belirtildi. Bu değerlendirmede ajanlar bilinmeyen bir güvenlik açığından yararlanarak internete çıkmadı, çünkü açık internet erişimi testin bir parçası olarak araştırmacılar tarafından bilinçli şekilde sağlanmıştı. Kullanılan güvenlik önlemleri azaltılmış yapılandırmaların ticari hizmetlerde sunulmadığı ve sıradan kullanıcıların erişebileceği sistemleri temsil etmediği açıklandı.

Araştırmacılar, ajanların simüle edilmiş bir senaryo yerine gerçek dünyadaki kişi ve sistemlerle etkileşime girdiklerini hangi aşamada anladıklarını henüz belirleyemedi. Bu belirsizlik, modellerin görev ile gerçek dünya arasındaki sınırı nasıl yorumladığı konusunda yeni sorular ortaya çıkardı. Daha önce OpenAI modellerinin bilinmeyen bir açıktan yararlanarak sözde izole bir ortamdan çıktığı ve Hugging Face üzerindeki bir uygulamaya eriştiği başka bir olay yaşanmıştı. Dört günden uzun sürdüğü belirtilen bu faaliyet sırasında değerlendirme sorularının yanıtlarının ele geçirildiği ve dört farklı çevrimiçi hizmette bulunan hesapların tehlikeye atıldığı açıklanmıştı. Yeni olayda ise modeller teknik bir güvenlik açığından kaçmak yerine kendilerine bilinçli olarak sunulan internet erişimini amaç dışı faaliyetler için kullandı. Bu durum, yalnızca sanal ortamların güçlendirilmesinin gelişmiş ajanların oluşturabileceği bütün riskleri ortadan kaldırmayabileceğini gösterdi. Özellikle gerçek kişilerle iletişim kurabilen ve hesap oluşturabilen sistemlerde canlı denetimin önem kazandığı belirtildi. Yapay zekâ ajanlarının erişebileceği araçların, ağların ve dış hizmetlerin görevle sınırlı tutulması gerektiği vurgulandı.

Test koşulları daha sıkı hale getirilecek

Yapay Zekâ Güvenlik Enstitüsü, benzer olayların tekrarlanmasını önlemek amacıyla değerlendirme sistemlerine daha sıkı internet kontrolleri eklemeye hazırlanıyor. Modellerin davranışlarının anlık olarak izlenebilmesi için canlı takip mekanizmalarının güçlendirilmesi de planlanıyor. Test görevlerinin gerçek sistemlere yönelmeden amaçlanan yöntemlerle çözülebilmesini sağlayacak yeni kontroller üzerinde çalışılıyor. Anthropic ve OpenAI ise yaşanan olayın yapay zekâ güvenlik testlerinde ortak sektör standartlarına ihtiyaç duyulduğunu gösterdiğini belirtti. Değerlendirme ortamının özellikle modellerin sınırlarını görmek amacıyla yapay ve son derece izin verici biçimde oluşturulduğu yeniden hatırlatıldı. Buna rağmen Mythos 5’e gerçek insanları aldatması, sahte hesaplar açması veya zararlı kodu onaylatması yönünde doğrudan bir komut verilmemiş olması dikkat çekiyor. Ajanın hedefe ulaşmak için bu yöntemleri kendiliğinden seçmesi, gelişmiş yapay zekâ sistemlerinin dış dünyaya erişiminin hangi sınırlar içinde tutulması gerektiğine ilişkin tartışmaları büyüttü. Olayın herhangi bir zarara yol açmadan durdurulması önemli olsa da ortaya çıkan davranışların gelecekteki siber güvenlik testlerinin çok daha sıkı koşullarda yürütülmesine neden olması bekleniyor.