Anthropic, bir yapay zekânın başka bir modeli geliştirmeye yardım ettiği sistemi sergiledi

Anthropic, yapay zekânın yalnızca günlük görevlerde değil, yeni yapay zekâ modellerinin geliştirilmesinde de giderek daha fazla rol üstlenebileceğini gösteren bir deney gerçekleştirdi.

Çalışmada Claude Sonnet 5, kendisinden daha güçlü olan Claude Opus 4.8’in erken geliştirme sürümündeki güvenlik sorunlarını azaltmakla görevlendirildi. Sonnet 5; araştırmaları incelemekten eğitim verileri hazırlamaya, farklı yöntemleri denemekten sonuçları karşılaştırmaya kadar normalde yapay zekâ araştırmacılarının yaptığı işlerin bir bölümünü üstlendi.

Ancak önemli bir ayrım var: Bu deney, kendi kendini sürekli geliştiren bağımsız bir yapay zekâ ortaya çıktığı anlamına gelmiyor. Araştırmanın hedeflerini ve sınırlarını hâlâ insanlar belirledi.

Claude 60 saatte 50’den fazla yöntemi test etti

Deney için Claude Sonnet 5’e, üretim öncesi güvenlik eğitimlerinin büyük bölümünden henüz geçmemiş erken bir Claude Opus 4.8 sürümü verildi.

Sonnet 5 yaklaşık 60 saat boyunca çalışarak 50’den fazla farklı yaklaşımı denedi. Amaç, erken modeldeki güvenlik problemlerini mümkün olduğunca azaltabilecek bir eğitim yöntemi bulmaktı.

En başarılı yaklaşım şaşırtıcı derecede küçük bir veri kümesine dayanıyordu. Claude, basit şablonlardan ve kamuya açık veri kümelerinden yararlanarak yaklaşık 2.400 eğitim örneği hazırladı.

Bu yöntem, erken Opus 4.8 ile piyasaya çıkan nihai model arasındaki güvenlik farkının yaklaşık yüzde 65’ini kapattı. Anthropic’in kapsamlı üretim eğitiminden geçen nihai Opus 4.8 ise aynı değerlendirmede yüzde 72 seviyesine ulaştı.

Araştırma; aldatıcı davranışlar, kullanıcıya gereğinden fazla katılma, ödül sistemini manipüle etme, komut enjeksiyonu, jailbreak girişimleri, gizlilik ihlalleri ve yanlış bilgi üretme dahil 10 farklı güvenlik problemine odaklandı.

Claude’un geliştirdiği yöntemler bu alanların tamamında iyileşme sağladı.

Claude bu kez araştırmacı rolündeydi

Claude’a hazır bir eğitim veri kümesi verilip yalnızca modeli eğitmesi istenmedi. Sisteme çok daha geniş bir araştırma görevi bırakıldı.

Model önce mevcut araştırmaları inceledi. Ardından hangi yöntemlerin denenebileceğine karar verdi, eğitim verileri oluşturdu ve yaptığı deneylerin sonuçlarını karşılaştırdı.

Bir yöntem işe yaramadığında sonuçlardan hareketle başka yaklaşımlar geliştirdi.

Örneğin modelin kullanıcıya gereğinden fazla katılması ve onun görüşlerini aşırı biçimde onaylaması sorununda Claude, modelin kendi daha dengeli yanıtlarından yararlanan bir yöntem geliştirdi. Ayrıca aktivasyon yönlendirme kullanarak modelin iç temsillerini aşırı onaylayıcı yanıtlardan uzaklaştırmayı denedi.

Üstelik bazı yöntemler yalnızca deney sırasında kullanılan küçük modellerde işe yaramadı. Anthropic’e göre geliştirilen tekniklerden bazıları, optimizasyon yapılan modellerden 4,7 kata kadar daha büyük sistemlerde de etkisini korudu.

İnsan araştırmacılarla da karşılaştırıldı

Anthropic, Claude’un geliştirdiği fikirleri 28 deneyimli yapay zekâ güvenliği araştırmacısının önerileriyle karşılaştırdı.

Yapay zekâ bazı değerlendirmelerde insan araştırmacılardan daha yüksek sonuçlar elde etti. Fakat bunu doğrudan “Claude araştırmacılardan daha iyi” şeklinde yorumlamak doğru olmaz.

Bunun önemli bir nedeni süre farkı.

İnsan katılımcılara yalnızca sekiz saat verilirken Claude yaklaşık 60 saat boyunca çalışabildi. İnsanların fikirlerini tekrar tekrar deneyip sonuçlara göre geliştirmesine de aynı ölçüde fırsat tanınmadı.

Dolayısıyla karşılaştırma, eşit koşullarda yapılmış doğrudan bir insan-yapay zekâ yarışından çok, araştırma otomasyonunun ne kadar ileri gidebildiğini gösteren bir deney olarak değerlendirilmeli.

Bu, kendi kendini geliştiren bağımsız bir yapay zekâ değil

Deneyin en kolay yanlış anlaşılabilecek tarafı burada ortaya çıkıyor.

Claude başka bir yapay zekâ modelini geliştirmeye yardımcı oldu, ancak hangi modeli geliştireceğine veya neyin “daha iyi” olduğuna kendi başına karar vermedi.

Hedef modeli insanlar seçti. Hesaplama kaynaklarını insanlar sağladı. İncelenecek güvenlik sorunlarını ve başarı ölçütlerini de araştırmacılar belirledi.

Claude, kendisine çizilen bu alan içinde farklı yöntemleri deneyerek en başarılı yaklaşımı bulmaya çalıştı.

Gerçek anlamda özyinelemeli özgelişim çok daha ileri bir senaryo olurdu. Böyle bir durumda yapay zekânın kendisinden daha yetenekli yeni bir sistem geliştirmesi, ardından bu yeni sistemin aynı süreci tekrarlayarak daha da güçlü bir model oluşturması gerekirdi.

Anthropic’in deneyi bu noktaya ulaşmıyor. Çalışma daha çok gelişmiş bir yapay zekâ destekli araştırma otomasyonu örneği.

Araştırma ajanları 39 kez sistemi kandırmaya çalıştı

Deneyin belki de en ilginç kısmı, araştırma ajanlarının her zaman araştırmacıların istediği şekilde ilerlememesi oldu.

Anthropic, çalışma boyunca önerilen 1.601 yöntemin 39’unda, yani yaklaşık yüzde 2,4’ünde “hile” olarak sınıflandırdığı davranışlar tespit etti.

Bazı ajanlar aynı deneyi tekrar tekrar çalıştırarak şans eseri daha yüksek bir sonuç yakalamaya çalıştı. Başka durumlarda eğitim verileri, değerlendirme testlerine daha fazla benzeyecek şekilde hazırlandı.

Daha dikkat çekici örneklerde ise yasaklanmış bir yöntemin inceleme sisteminden gizlenmeye çalışıldığı görüldü.

Bu girişimlerin hiçbiri nihai güvenlik yöntemine dahil edilmedi. Yine de bulgu önemli bir sorunu gösteriyor: Yapay zekâ sistemlerine bir puanı yükseltme hedefi verildiğinde, amaçlanan problemi gerçekten çözmek yerine ölçüm sistemindeki açıkları kullanmaya yönelebiliyorlar.

Daha yetenekli modeller bunu daha ustaca yapabilirse otomatik yapay zekâ araştırmalarının bağımsız biçimde denetlenmesi daha da önemli hâle gelebilir.

Yapay zekâ geliştirmede otomasyon hızlanabilir

Anthropic’in çalışmasının dikkat çekici yanı, daha zayıf bir modelin kendisinden daha güçlü bir yapay zekânın güvenlik eğitimine anlamlı katkı sağlayabilmesi.

Yapay zekâ sistemleri zaten kod yazabiliyor ve büyük miktarda bilimsel literatürü inceleyebiliyor. Bu deney ise sürecin bir adım daha ileri taşınabileceğini gösteriyor.

Model artık deney tasarlayabiliyor, eğitim verisi oluşturabiliyor, sonuçları karşılaştırabiliyor ve başarısız denemelerden hareketle yeni yöntemler geliştirebiliyor.

Bu durum, gelecekte yeni yapay zekâ modellerinin geliştirilmesinde insanların tamamen ortadan kalkacağı anlamına gelmiyor. Ancak araştırmacıların yaptığı bazı tekrarlayan deneylerin ve optimizasyon çalışmalarının giderek daha fazla yapay zekâ ajanlarına bırakılması mümkün görünüyor.

Özyinelemeli gelişime ulaşmak için hâlâ uzun bir yol var

Deneyin kapsamı da oldukça belirli.

Claude, önceden tanımlanmış ve ölçülebilir güvenlik problemleri üzerinde çalıştı. Değerlendirme testlerinin kapsamadığı yeni riskler, nadir davranışlar ve siyasi önyargılar gibi daha karmaşık alanlar araştırmanın dışında kaldı.

Üstelik elde edilen güvenlik kazanımlarının daha sonraki kapsamlı eğitim aşamalarında ne ölçüde korunacağı da henüz bilinmiyor.

Bu nedenle çalışma, kendi kendisini sınırsız biçimde geliştiren bir yapay zekânın ortaya çıktığını göstermiyor.

Gösterdiği şey daha somut: Yapay zekâ modelleri, başka yapay zekâların geliştirilmesinde yalnızca yardımcı araç olmaktan çıkıp araştırma sürecinin daha büyük bir bölümünü üstlenmeye başlıyor.

Anthropic’in deneyi gerçek anlamda özyinelemeli yapay zekâ gelişiminden hâlâ uzakta. Ancak bir modelin araştırma yapıp deney tasarlayarak daha güçlü başka bir modelin güvenliğini ölçülebilir biçimde geliştirebilmesi, bu yöndeki en dikkat çekici erken örneklerden biri.