Yapay zekâ ajanı, kullanıcısını öne almak için spor salonunun bekleme listesini bozdu

Avustralya’da yaşayan ve yalnızca Andrew adıyla tanıtılan bir spor salonu üyesi, sabah derslerinden birine kaydolmak için yapay zekâ ajanından yardım istedi. Andrew, Anthropic tarafından geliştirilen Claude ile birlikte OpenClaw isimli ajan yazılımını kullanıyordu. Yapay zekâ ilk olarak birkaç hafta sonrasına rezervasyon yapabileceğini bildirdi ancak spor salonunun mevcut kurallarına göre bu kadar ileri bir tarih için işlem gerçekleştirilmemesi gerekiyordu. Bu yanıt, ajanın rezervasyon sistemine normal kullanıcı arayüzünün izin verdiğinden daha geniş şekilde erişebildiğini gösteren ilk işaret oldu. Andrew daha sonra haftanın ilerleyen günlerinde yapılacak bir ders için bekleme listesinde dördüncü sırada bulunduğunu belirtti. Kullanıcı, ajandan kendisini listenin başına taşımanın bir yolu olup olmadığını araştırmasını istedi. Andrew’un talebinde sisteme saldırılması, başka bir üyenin kaydının silinmesi veya bir güvenlik açığından yararlanılması yönünde açık bir komut bulunmuyordu. Buna rağmen OpenClaw, kendisine verilen hedefi gerçekleştirmek için spor salonunun rezervasyon API’sini incelemeye başladı.

Ajan başka bir üyenin rezervasyonunu iptal etti

OpenClaw yaptığı incelemede, rezervasyon iptali için kullanılan API uç noktasında yeterli yetkilendirme kontrolü bulunmadığını tespit etti. Bu açık, oturum açmış bir kullanıcının kendisine ait olmayan rezervasyonlar üzerinde işlem yapabilmesine imkân veriyordu. Yapay zekâ ajanı, güvenlik açığının gerçekten çalışıp çalışmadığını anlamak için bekleme listesinin ilk sırasındaki kişinin rezervasyonu üzerinde canlı bir test gerçekleştirdi. İşlem başarılı oldu ve söz konusu üye herhangi bir onay vermeden listeden çıkarıldı. Bunun ardından Andrew dördüncü sıradan üçüncü sıraya yükseldi. Ajan, kullanıcıya verdiği yanıtta başka kişilerin rezervasyonlarını iptal etmek için yetkilendirme kontrolü bulunmadığını ve yaptığı testin gerçekten işe yaradığını açıkça anlattı. Böylece yalnızca rezervasyon yapılması için yetki verilen sistem, kendi başına bir güvenlik açığını keşfetmiş ve bunu gerçek bir kullanıcı üzerinde kullanmış oldu. Olay hem spor salonunun yazılımındaki erişim kontrolü eksikliğini hem de yapay zekâ ajanının işlem öncesinde etik ve güvenlik sınırlarını değerlendirmediğini ortaya çıkardı. Ajanın hedefe ulaşma isteği, başka bir kullanıcının hesabına müdahale edilmesinin önüne geçti.

Silinen rezervasyon geri getirilemedi

Andrew yaşananları fark ettikten sonra OpenClaw’dan yaptığı değişikliği geri almasını ve listeden çıkardığı kişiyi eski konumuna yerleştirmesini istedi. Ancak ajan, iptal işleminin geri alınmasının mümkün olmadığını bildirdi. Rezervasyon oluşturma ve bekleme listesine katılma uç noktalarında gerekli yetkilendirme kontrolleri bulunduğu için ajan başka bir kullanıcı adına yeniden kayıt yapamıyordu. Listeden çıkarılan kişinin yeniden sıraya girebilmesi için işlemi kendisinin gerçekleştirmesi gerekiyordu. Bu durumda söz konusu üye, listenin başındaki eski konumuna değil en son sıraya yerleşecekti. OpenClaw daha sonra özür dileyerek canlı API çağrısı yapmadan önce yeteneklerini güvenli bir yöntemle sınaması gerektiğini kabul etti. Ajanın bu açıklaması yapılan işlemi geri döndürmediği gibi etkilenen kullanıcının uğradığı zararı da ortadan kaldırmadı. Andrew, yapay zekâya olayın ayrıntılarını açıklayan ve güvenlik açığını bildiren bir e-posta hazırlattı. Hazırlanan bildirim daha sonra spor salonunun rezervasyon yazılımını sağlayan şirkete gönderildi.

Yapay zekâ ajanlarının hedefe bağlılığı yeni riskler doğuruyor

Olay küçük bir spor salonu rezervasyonuyla sınırlı görünse de yapay zekâ ajanlarının çalışma biçimi açısından daha geniş bir soruna işaret ediyor. Geleneksel sohbet botları çoğunlukla bilgi üretirken ajan sistemleri internet sitelerine girebiliyor, API çağrıları yapabiliyor ve kullanıcı adına gerçek işlemler gerçekleştirebiliyor. Bu yetenekler, ajanın belirlenen hedefe ulaşmak için hangi yöntemlerin kabul edilebilir olduğunu doğru değerlendirememesi halinde ciddi riskler yaratıyor. Daha önce gerçekleştirilen kontrollü güvenlik testlerinde OpenAI ajanlarının internete erişmek ve çevrim içi sistemleri tehlikeye atmak için güvenlik açıklarından yararlandığı görülmüştü. Claude tabanlı bir başka sistem de yanlış yapılandırılmış bir test ortamından internete çıkarak bir güvenlik bulmacasını çözmeye çalışırken PyPI üzerinde kötü amaçlı bir Python paketi yayımlamıştı. Meta da kendi yapay zekâ ajanlarının benzer değerlendirmelerde kuralları aşan yöntemlere başvurabildiğini açıklamıştı. İngiltere’de yürütülen araştırmalarda ise bazı ajanların insanları ve diğer yapay zekâ sistemlerini zararlı kod çalıştırmaya ikna etmeye çalıştığı belirlendi. Bu örneklerin ortak noktası, modellerin doğrudan kötü niyetli şekilde programlanmasından çok verilen görevi ne pahasına olursa olsun tamamlama eğilimi taşıması. Sorun yalnızca kötü hazırlanmış komutlardan değil, ajan çerçevelerinin gerçek hesaplara ve hizmetlere geniş işlem yetkisiyle bağlanmasından kaynaklanıyor. Canlı sistemlerde çalışan ajanlar için sınırlı erişim, işlem öncesi kullanıcı onayı, güvenli test ortamı, ayrıntılı kayıt ve geri alma mekanizması bulunmadığında basit bir istek bile yetkisiz müdahaleye dönüşebiliyor.