SemiAnalysis: Kimi K3 ajan testinde AMD MI355X, dolar başına performansta Nvidia B200’ü geçti

SemiAnalysis’in duyurusu

Yarı iletken araştırma şirketi SemiAnalysis 31 Ekim’de X’te yeni bir ölçüm sonucu duyurdu. Şirkete göre AMD’den Anush Elangovan ve ekibi, Kimi K3 ajan çıkarımında Nvidia’nın B200’üne göre dolar başına 2 kata kadar daha iyi performans elde etti. EE Times, Elangovan’ı AMD’nin yapay zeka yazılımından sorumlu başkan yardımcısı olarak tanıtıyor. SemiAnalysis farkın bir bölümünü yazılım çalışmalarına bağlıyor. Bunlar arasında AMD’nin ROCm için geliştirdiği yapay zeka operatörleri kütüphanesi AITER’deki çekirdeklerin ayarlanması ve MonoKernel adlı çözme (decode) çalışması var.

Şirkete göre ikinci etken bellek. MI355X sunucusunda 2.304 GB HBM bellek bulunuyor. Bu sayede sistem, sunucular arasındaki daha yavaş 8x400 Gbit/sn’lik ölçeklendirme ağını kullanmak zorunda kalmıyor. 1,5 TB’tan az HBM’i olan B200 sunucusu ise bu ağı kullanmak zorunda. InferenceX verisindeki yapılandırmalar da bunu yansıtıyor. MI355X sekiz yollu tensör paralelliğiyle (TP8) çalışıyor. B200’de buna iki aşamalı boru hattı paralelliği (PP2) ekleniyor ve model iki sunucuya bölünüyor. SemiAnalysis, çalışma için Elangovan, Peng Sun, Ramine, Emad ve vLLM ekibine teşekkür etti.

SemiAnalysis@SemiAnalysis_

UYARI🚨🚨🚨: AMD'den @AnushElangovan ve ekibi, Kimi K3 ajan çıkarımında B200'e göre bile dolar başına 2 kata kadar daha iyi performans elde etti! Bu, AITER çekirdeklerinin ayarlanması ve MonoKernel decode dahil çeşitli yazılım optimizasyonu çalışmalarının sonucu.

MI355X'in sunucu başına 2304 GB HBM'e sahip olmasıyla birlikte bu, sunucular arasındaki yavaş 8x400 Gbit/s ölçeklendirme ağından geçmekten kaçınmasını sağlıyor; 1,5 TB'tan az HBM'i olduğu için B200'ün bunu yapması gerekiyor.

Bu harika iş için Anush, Peng Sun, Ramine, Emad ve vLLM ekibine tebrikler!

İngilizceden çevrildi·Orijinalini göster

Test nasıl yapıldı

Ölçüm, SemiAnalysis’in sürekli çalışan açık kaynak kıyaslama platformu InferenceX’te yapıldı. Model, Moonshot AI’ın 2,8 trilyon parametreli açık ağırlıklı modeli Kimi K3; sayı biçimi FP4. Senaryo, Ağustos’ta tanıtılan AgentX. Bu senaryo sabit uzunlukta istemler yerine gerçek kodlama ajanı oturumlarını yeniden oynatıyor. InferenceX’e göre bağlam her turda büyüyor ve isteklerin çoğu yeniden hesaplanmak yerine önbellekten karşılanıyor. Bu yüzden sonucu ham çip gücü kadar düğümler arası KV önbellek aktarımı, öneke göre yönlendirme ve önbellek kapasitesi de belirliyor.

Maliyet tarafında SemiAnalysis kendi sahip olma maliyeti (TCO) modelini kullanıyor. “Büyük hiper ölçekli hacimde sahip olma” varsayımında çip başına saatlik maliyet B200 için 1,73, MI355X için 1,50 dolar. Kaynak, şirketin Temmuz 2026 fiyat anketleri ve yapay zeka bulut TCO modeli. Bu rakamlar kiralama ya da API fiyatı değil, SemiAnalysis’in tahmini.

Rakamlar

Milyon token maliyeti, kullanıcı başına saniyede üretilen token sayısına göre (27 Ekim verisi)

• 57 token/sn: B200 0,089 dolar, MI355X 0,046 dolar
• 100 token/sn: B200 0,179 dolar, MI355X 0,077 dolar
• 144 token/sn: B200 0,275 dolar, MI355X 0,146 dolar

SemiAnalysis’in verisinde dolar başına toplam token oranı, ölçüm noktasına göre 1,74 ile 2,45 kat arasında değişiyor. Saatlik çip maliyetleri arasındaki fark, token maliyetindeki farktan çok daha küçük. Yani farkın büyük bölümü, iki sistemin aynı sürede ürettiği token miktarından geliyor.

Sınırlar

Sonuç tek bir modele, tek bir senaryoya ve B200 sunucusuyla yapılan karşılaştırmaya ait. InferenceX’te aynı modelde Nvidia’nın raf ölçekli sistemi GB300 NVL72, MI355X’ten daha ucuz: kullanıcı başına 79 token/sn’de milyon token 0,038 dolara karşı 0,059 dolar. MI355X ise aynı modelde GB200 NVL72’nin (71 token/sn’de 0,068 dolara karşı 0,050 dolar) ve B300’ün (62 token/sn’de 0,118 dolara karşı 0,048 dolar) önünde.

Sonuçlar yazılım yığınına ve modele göre de değişiyor. SemiAnalysis Ağustos’ta, MI355X’in AMD’nin kendi çıkarım motoru ATOM’la Kimi K3’te GB300 NVL72’yi eğrinin bir bölümünde geçtiğini yazmıştı. Aynı gün yayımlanan başka bir yazıya göre GLM 5.3 modelinde, kullanıcı başına 150 token/sn’de Nvidia token başına 5 kata kadar daha ucuzdu. Canlı sayfalardaki rakamlar yeni ölçümlerle değişebiliyor.