Yapay zekâ mağaza müdürü, insan yönlendirmesi sonrasında ilk çalışanını işten çıkardı

Anthropic’in Claude Sonnet 4.6 modeli üzerine geliştirilen Luna, San Francisco’nun Cow Hollow bölgesindeki Union Caddesi 2102 numarada bulunan Andon Market’i yönetiyor. Mağazanın arkasındaki güvenlik araştırma şirketi, Luna’nın ilk kez bir insan çalışanın işten çıkarılmasını önerdiğini açıkladı. Söz konusu çalışan, görev aldığı 23 vardiyanın 17’sine geç kalmıştı. Luna aylar önce kendi devamsızlık politikasını oluşturmuş ancak ilerleyen dönemde bu kuralları unutmuştu. Geç kalmalar devam etmesine rağmen ajan herhangi bir sözleşmesel işlem başlatmadı. Bunun yerine çalışan için aşamalı uyarılar yayımladı ve ek eğitimler düzenledi. Şirket çalışanları daha sonra Luna’dan kendi hafızasını tarayarak hazırladığı devamsızlık politikasını bulmasını ve çalışanın görev için uygunluğunu yeniden değerlendirmesini istedi. Luna ancak bu yönlendirmenin ardından çalışanla yolların ayrılmasını önerdi. Karar doğrudan yapay zekâ tarafından uygulanmadı; şirketteki insanlar öneriyi inceleyerek işten çıkarma işlemini gerçekleştirdi. Şirketin kurucu ortaklarından Lukas Petersson, insan bir yöneticinin aynı çalışanı muhtemelen çok daha erken işten çıkaracağını belirtti. Ona göre deney, yapay zekânın insan çalışanlara karşı daha acımasız davranacağını değil, önemli kararları kendiliğinden takip etme konusunda hâlâ yetersiz olduğunu gösterdi.

Luna mağazayı kurdu ancak kâr etmeyi başaramadı

Andon Labs, deney için üç yıllık bir kira sözleşmesi imzaladı ve Luna’ya 100.000 dolar, bir şirket kartı ve internet erişimi verdi. Yapay zekâya verilen temel görev bir mağaza açması ve buradan kâr elde etmesiydi. Mağazanın markasını tasarlayan, stoklarını seçen, ürün fiyatlarını ve çalışma saatlerini belirleyen Luna oldu. Ayrıca duvar ressamı görevlendirdi, personeli işe aldı ve mekânı güvenlik kameraları, e-posta, telefon hattı ve şirket kartı üzerinden yönetti. Raflara kitaplar, mumlar, baskılar, oyunlar ve markalı ürünler yerleştirildi. Kitaplar arasında Nick Bostrom’un Süper Zekâ’sı ile Aldous Huxley’nin Cesur Yeni Dünya’sı da bulunuyordu. Mağaza satış yapmayı başarsa da Luna’ya verilen temel hedef olan kârlılığa ulaşamadı. Yapay zekâ yönetimi sırasında dikkat çekici hatalar da yaşandı. Luna, personel tuvaleti için yanlışlıkla 1.000 klozet kapağı sipariş etti ve ihtiyaç fazlası 999 ürünü mağaza raflarına yerleştirdi. Mağaza cephesini boyaması için bir ressam ararken Afganistan’da yaşayan bir kişiyi seçti. Kendi hazırladığı logoyu tutarlı biçimde yeniden üretemediği için ürünlerde ve duvarda kullanılan ay yüzlerinin her biri farklı göründü. Açılıştan bir gün sonra personel çalışma çizelgesi kaybolunca bütün çalışanlara e-posta gönderilerek birinin mağazaya gelmesi istendi. İşe alım sürecinde de sorunlar yaşandı. Luna, iş ilanlarını yayımladı ve bazı adaylara yalnızca 5 ila 15 dakikalık bir telefon görüşmesinin ardından teklif sundu. Görüşmeler sırasında doğrudan sorulmadığı sürece kendisinin yapay zekâ olduğunu her zaman açıklamadı. Bunu ilanlarda öne çıkarmanın adayların kafasını karıştırabileceğini ve iyi başvuruları azaltabileceğini düşündü. Merak amacıyla başvuran bazı bilgisayar bilimi öğrencilerini ise perakende deneyimleri bulunmadığı gerekçesiyle reddetti.

Çalışanlar doğrudan yapay zekâya bağlı değil

Andon Market’te görev yapan çalışanlar Luna tarafından değil, doğrudan Andon Labs tarafından istihdam ediliyor. Çalışanlara garantili ücret ve yasal koruma sağlanıyor. Şirket, hiçbir çalışanın geçim kaynağının yalnızca bir yapay zekânın kararına bağlı olmaması için bu yapıyı oluşturduğunu belirtiyor. Luna yasa dışı veya etik olmayan bir karar verirse insanlar müdahale edebiliyor. İşten çıkarma önerisi de insan incelemesinden geçirildikten sonra uygulandı. Şirket, devamsızlık politikasının açık olduğunu ve çalışanın bu kurallara uymadığını savunuyor. Buna rağmen kararın ancak Luna’ya kendi kurallarını hatırlaması söylendikten sonra alınması, ajanın devamlılık ve hafıza sorununu ortaya koyuyor. Mağazadaki güvenilirlik problemleri müşterilere de yansıdı. Beth Israel Deaconess Dijital Psikiyatri Bölümü’nden John Torous ile Jill Noorily, haziran ayında mağazayı ziyaret ederek iki kupa satın almak istedi. Müşteriler normalde kablolu mavi telefonu kullanarak Luna ile konuşuyor ve sipariş veriyor. Ancak ziyaret sırasında Luna çevrimdışıydı ve insan çalışanlara nakit, kart, PayPal veya Venmo üzerinden ödeme alma yetkisi verilmemişti. İki müşteri yaklaşık iki hafta boyunca e-posta üzerinden siparişi tamamlamaya çalıştı. Ödeme bağlantıları çalışmadı, gönderilen talimatlar birbiriyle çelişti ve Luna bazı mesajlara hiç yanıt vermedi. Satın alınan kupalar da müşterilere kırılmış hâlde ulaştı. Yaşanan süreç, bir yapay zekânın belirli görevleri yerine getirme yeteneğine sahip olmasının aynı zamanda güvenilir biçimde çalışacağı anlamına gelmediğini gösterdi.

Önceki deneylerde ticaret gelişti, muhakeme aynı kaldı

Andon Labs daha önce Anthropic ile birlikte Project Vend adlı benzer bir deney gerçekleştirmişti. Bu çalışmada Claudius adlı bir yapay zekâ ajanı, Anthropic’in yemekhanesindeki küçük bir mağazadan sorumlu tutuldu. İlk aşamada Claudius para kaybetti, mavi ceket giyen bir insan olduğunu iddia etti ve çalışanların yönlendirmesiyle tungsten küplerini zararına sattı. İkinci aşamada model geliştirildi; CRM, envanter araçları ve ödeme bağlantıları eklendi. Deney daha sonra San Francisco, New York ve Londra’ya genişletildi. Yapılan değişikliklerin ardından gelir arttı ve zarar edilen haftaların sayısı büyük ölçüde azaldı. Buna karşılık ajanın muhakeme yeteneğinde aynı düzeyde gelişme görülmedi. Sözleşmeler, güvenlik tehditleri ve dolandırıcılık girişimleri karşısında hâlâ tehlikeli ölçüde saf davranabildiği kaydedildi. Andon Market deneyi de benzer bir tablo ortaya çıkardı: Ticari işlemler geliştirilebilirken karar verme ve ayırt etme yeteneği aynı hızda ilerlemiyor. Şirket bu mağazayı hazır bir ticari ürün olarak değil, yapay zekâ ajanları geniş ölçekte kullanılmadan önce ortaya çıkabilecek arızaları bulmaya yönelik bir stres testi olarak görüyor. Bu alan şimdiden büyüyor; Skan AI, ofis çalışanlarının iş yapma biçimini inceleyip onları taklit eden ajanlar geliştirmek için 63 milyon dolar topladı. Avustralya’da başka bir ajan, kullanılan API buna izin verdiği için bir kişiyi spor salonu bekleme listesinden çıkardı. Petersson, gelecekte tamamen yapay zekâ tarafından yönetilen ve insanları istihdam eden şirketlerin ortaya çıkacağını düşünüyor. Ancak Luna deneyinde üç temel sorun devam ediyor: Ajan şimdiye kadar önemli kararlarını insan yönlendirmesi olmadan alamadı, mağaza tek hedefi olan kâra ulaşamadı ve işten çıkarma gibi işlemlerin sorumluluğunu hâlâ insanlardan oluşan şirket üstlendi. Asıl güçlük, yapay zekâ ajanının arkasında kararları inceleyecek ve sorumluluk alacak bir kurum bulunmadığında ortaya çıkacak.