AMD, yerel yapay zeka modellerinde Nvidia'ya güçlü bir alternatif olmaya başladı

Yapay zeka uygulamalarında uzun yıllardır Nvidia ekran kartları ve CUDA ekosistemi baskın konumunu koruyor. Yerel büyük dil modelleri çalıştırmak isteyen kullanıcılar için de varsayılan tercih çoğunlukla Nvidia donanımları oluyordu. Ancak son dönemde AMD tarafında yaşanan yazılım ve donanım gelişmeleri bu tabloyu değiştirmeye başladı. Özellikle ROCm yazılım platformunun olgunlaşması ve Ryzen AI serisi işlemcilerin piyasaya çıkması, AMD'nin Linux tabanlı yapay zeka iş yüklerinde daha iddialı hale gelmesini sağladı. Yapılan son testler de şirketin artık yalnızca uygun fiyatlı bir alternatif olmadığını, belirli senaryolarda güçlü bir rakip konumuna ulaştığını ortaya koyuyor. Özellikle yerel LLM çalıştıran kullanıcılar için AMD'nin performansı geçmiş yıllara göre çok daha rekabetçi hale gelmiş durumda.

Testlerde AMD Ryzen AI Max 390 işlemcili ASUS ROG Flow Z13 modeli kullanıldı. Sistem, toplam 32 GB paylaşımlı belleğe sahip olduğu için aynı bellek havuzu hem sistem RAM'i hem de ekran belleği olarak görev yapıyor. Bu yapı bazı senaryolarda avantaj sağlarken, kullanılabilecek model boyutunu da doğrudan etkiliyor. BIOS üzerinden 24 GB'a kadar VRAM ayrılabilmesi ise büyük modeller çalıştırılırken önemli bir esneklik sunuyor. Buna rağmen yaklaşık 256 GB/s bellek bant genişliği, üst seviye masaüstü ekran kartlarının gerisinde kalmaya devam ediyor.

ROCm ve Vulkan karşılaştırması dikkat çekti

Test sistemi Arch Linux üzerinde kuruldu ve Ollama ile birlikte Vulkan ile ROCm arka uçları ayrı ayrı denendi. Kurulum sırasında ollama-vulkan, ollama-rocm, rocm-hip-sdk ve rocm-opencl-sdk paketleri kullanıldı. Ardından Gemma2 9B, Mistral 7B, Phi4 14B, DeepSeek R1 8B ve 14B ile Llava 7B ve 13B modelleri çalıştırılarak performans ölçümleri gerçekleştirildi. Böylece farklı model boyutlarında her iki platformun sunduğu performans doğrudan karşılaştırıldı. Testler sırasında sistem maksimum güç tüketiminde çalıştırılarak donanımın sınırları zorlandı. Bu sayede elde edilen sonuçlar gerçek kullanım senaryolarına daha yakın hale geldi.

Sonuçlar incelendiğinde ROCm ile Vulkan arasında beklenenden daha küçük performans farkları bulunduğu görüldü. Her iki platform da benzer hızlar sunarken ROCm tarafında sık sık bellek yetersizliği hataları yaşandı. Bu nedenle günlük kullanım açısından Vulkan daha kararlı bir deneyim sundu. Performans tarafında büyük bir avantaj elde edemeyen ROCm'nin kararlılık konusunda daha fazla geliştirilmesi gerektiği belirtiliyor. Mevcut durumda AMD tabanlı sistemlerde yerel yapay zeka modelleri çalıştırmak isteyen kullanıcılar için Vulkan daha güvenilir bir seçenek olarak öne çıkıyor.

Radeon 8050S, RTX 4060 Mobile'a yaklaşmayı başardı

Yapılan performans testlerinde Radeon 8050S entegre grafik birimi, düşük güç tüketimine rağmen Nvidia RTX 4060 Mobile seviyesine oldukça yaklaşan sonuçlar elde etti. RTX 4060 Mobile ham performans açısından önde yer alsa da yalnızca 8 GB VRAM kapasitesine sahip olması büyük dil modellerinde önemli bir sınırlama oluşturuyor. Buna karşılık AMD'nin paylaşımlı bellek mimarisi sayesinde daha yüksek bellek kapasitesine erişebilmesi büyük modeller için avantaj sağlıyor. Özellikle Strix Halo platformunda bulunan 32 GB birleşik bellek, daha büyük LLM modellerinin çalıştırılmasını kolaylaştırıyor. Bu durum yalnızca sentetik testlerde değil gerçek kullanım senaryolarında da AMD'nin elini güçlendiriyor.

Masaüstü tarafında ise RX 9070 XT, 7 milyar parametreli modellerde yaklaşık 95 token/saniye seviyesine ulaşarak Radeon 8050S'nin yaklaşık iki katı performans sunuyor. Bunun yanında yüksek bellek bant genişliği ve güçlü fiyat-performans dengesi sayesinde birçok kullanıcı için daha mantıklı bir tercih olarak öne çıkıyor. Nvidia RTX 5090 ise hâlâ yerel yapay zeka performansında zirvede yer alıyor. Buna rağmen yüksek fiyatı nedeniyle geniş kullanıcı kitlesi için ulaşılması zor bir seçenek olmaya devam ediyor. AMD ise mutlak performans lideri olmasa da sunduğu fiyat-performans dengesiyle yerel LLM çalıştırmak isteyen kullanıcılar için artık ciddi şekilde değerlendirilmesi gereken bir alternatif haline gelmiş durumda.