Böylece AMD, Llama ailesine ait olan ve özel iş dağıtımlarını hedefleyen ilk küçük dil modeli AMD-135M’yi tanıttı . Yeni modelin şirketin yakın zamanda Silo AI’yı satın almasıyla bir ilgisi olup olmadığı belirsiz (çünkü anlaşmanın çeşitli yetkililer tarafından kesinleştirilmesi ve onaylanması gerekiyor, bu yüzden muhtemelen hayır), ancak bu, AMD tarafından önceden eğitilmiş bir modelle belirli müşterilerin ihtiyaçlarını ele alma yönünde net bir adımdır. Çıkarım için AMD donanımı kullanılır.
AMD’nin modellerinin hızlı olmasının başlıca nedeni, sözde spekülatif kod çözmeyi kullanmalarıdır. Spekülatif kod çözme, tek bir ileri geçişte birden fazla aday belirteç üreten daha küçük bir ‘taslak model’ sunar. Belirteçler daha sonra onları doğrulayan veya düzelten daha büyük, daha doğru bir ‘hedef modele’ geçirilir. Bir yandan, bu yaklaşım birden fazla belirtecin aynı anda üretilmesine izin verirken, diğer yandan bu, artan veri işlemleri nedeniyle güç maliyetiyle gelir.
AMD’nin yeni sürümü iki versiyonda geliyor: AMD-Llama-135M ve AMD-Llama-135M-code, her biri spekülatif kod çözme teknolojisini kullanarak çıkarım performansını hızlandırarak belirli görevleri optimize etmek için tasarlanmış, küçük dil model tabanlı bir AI hizmeti için mantıklı bir şey. Her nasılsa, ikisi de AMD tarafından yürütülen performans testlerinde üstün geliyor.
- Temel model olan AMD-Llama-135M, 670 milyar genel veri token’ı üzerinde baştan aşağı eğitildi. Bu süreç, dört adet 8-way AMD Instinct MI250 tabanlı düğüm kullanılarak altı gün sürdü (AMD’nin terminolojisinde bunlar sadece ‘dört AMD MI250 düğümü’dür).
- Ayrıca AMD-Llama-135M koduna, kodlamaya özel olarak odaklanan 20 milyar ek token eklenerek aynı donanım kullanılarak bu görev dört günde tamamlandı.
AMD, daha fazla iyileştirmenin daha iyi performansa yol açabileceğine inanıyor. Yine de şirket önceki nesil GPU‘larının kıyaslama sayılarını paylaşırken, mevcut neslinin (MI300X) ve yeni neslinin (MI325X) neler yapabileceğini ancak hayal edebiliyoruz.