İçeriğe geç
English

Alibaba · Modeller · Çip ve donanım

Janas, 48 GB’lık bir yapay zeka modelini 32 GB RAM’li laptopta çalıştırıyor

Yayın: 16 kaynakEnglish

Geliştirici Maurizio Cammalleri’nin C diliyle yazdığı açık kaynak Janas, 48 GB’lık Qwen3-Next-80B modelini 32 GB RAM’li bir laptopta çalıştırıyor. Yani model, bilgisayarın belleğinden büyük. Proje 13 Ekim’de Hacker News’in ön sayfasına çıktı.

Bu model “uzmanlar karışımı” denen bir yapıda: 80 milyar parametresi var ama her kelime için bunların sadece yaklaşık 3 milyarı çalışıyor. Janas, sık kullanılan uzmanları bellekte tutuyor, gerisini gerektiğinde SSD’den okuyor. Bu kararları işletim sistemine bırakmıyor, kendisi veriyor.

Ölçümler, ayrı ekran kartı olmayan bir laptopta yapıldı: Intel Core Ultra 9 185H işlemci ve içindeki Arc GPU, 32 GB RAM ve saniyede yaklaşık 5,7 GB okuyan 1 TB NVMe SSD. Geliştirici projenin amacını, yapay zekayı kişinin kendi cihazında çalıştırmak için gereken donanımı düşürmek diye anlatıyor.

llama.cpp, modelleri kişisel bilgisayarlarda çalıştırmak için yaygın kullanılan açık kaynak bir araç. Geliştiricinin laptopundaki karşılaştırmada Janas saniyede 24 token yazıyor, llama.cpp 2,8. Modelin kendi taslak bloğuyla yazma hızı 37 tokene çıkıyor. Okumada ise Janas saniyede 62, llama.cpp 16 token işliyor.

Geliştiricinin tablosunda Janas, 14 modelin hepsinde llama.cpp’den hızlı.

Tek bağımsız test, eylül sonunda bir kullanıcının 64 GB RAM’li başka bir laptopunda, Janas’ın eski bir sürümüyle yapıldı. Model belleğe sığdığında llama.cpp daha hızlıydı ya da berabere kaldı. Bellekten büyük, 142 GB’lık 235 milyar parametreli modelde ise Janas yaklaşık iki kat hızlıydı: saniyede 3 tokene karşı 1,6. Geliştiriciye göre Janas tam da bu durum için yapıldı.

Ama başlıktaki rakamlar geliştiricinin tek laptopundan; güncel sürümü başka bir makinede doğrulayan bir test henüz yok. Hacker News’teki yorumlarda llama.cpp’nin de modeli diskten okumayı yıllardır yapabildiği hatırlatıldı. Janas şimdilik yalnızca Linux ve Windows’ta çalışıyor ve geliştiricisi bile “bu bir deney, ürün değil” diyor.

Kaynaklar

  1. GitHub (prabanta-dev/janas), “Janas”, Proje sayfası: başlık rakamları, llama.cpp karşılaştırma tablosu, "Read this first" uyarısı, test makinesi, lisans, (github.com)
  2. Hugging Face Forums, “Janas-LLM 37 tok/s vs llama.cpp 2.8 tok/s on Qwen3-Next-80B, on an Intel Core Ultra 9 185H with 32 GB RAM”, Geliştiricinin yazısı: 37 modelin kendi taslak bloğuyla, eşit koşulda 24'e karşı 2,8, (discuss.huggingface.co)
  3. Hacker News, “Janas: Run LLMs larger than RAM by streaming experts from SSD”, HN tartışması; eleştiri: llama.cpp diskten okumayı yıllardır yapıyor, (news.ycombinator.com)
  4. Hacker News, 13 Ekim ön sayfa arşivi: Janas 7. sırada, (news.ycombinator.com)
  5. DEV Community, “Run a 48 GB AI Model on a 32 GB Laptop: Janas Streams Model Experts From Your SSD at 37 tok/s”, Proje ve Hacker News tartışmasının özeti, (dev.to)
  6. daily.dev, “Janas: Run LLMs larger than RAM by streaming experts from SSD”, Hacker News kaynaklı özet, (daily.dev)
  7. GitHub (prabanta-dev/janas), “janas/ChangeLog.md at main · prabanta-dev/janas”, Sürüm notları: 11 Ekim ölçümleri, 12 Ekim Windows sürümü, (github.com)
  8. GitHub (prabanta-dev/janas), “Test report: Intel(R) Core(TM) i9-14900HX, full · Issue #13 · prabanta-dev/janas”, Tek bağımsız test (eski sürüm, 64 GB RAM'li başka laptop): 30B'de llama.cpp önde, 80B'de berabere, bellekten büyük 235B'de Janas yaklaşık 2 kat hızlı (06. slayttaki tablo), (github.com)
  9. GitHub (prabanta-dev/janas), “janas/AUTHORS at main · prabanta-dev/janas”, Projenin amacı: "to lower the hardware that private AI needs" (github.com)
  10. GitHub (prabanta-dev/janas), “janas/docs/hardware.md at main · prabanta-dev/janas”, Desteklenen model aileleri; ayrı ekran kartları henüz denenmedi (github.com)
  11. GitHub (prabanta-dev/janas), “Release Janas v2026.10.13 · prabanta-dev/janas · GitHub”, Hazır paketler: Linux ve Windows 10/11 (x86-64), (github.com)
  12. Hugging Face, “prabanta-dev”, Janas biçimine dönüştürülmüş modeller, (huggingface.co)
  13. Hugging Face Forums, “Call for testers: Janas, a CPU-only engine that runs MoE models larger than RAM — one command to test your machine - Community Calls - Hugging Face Forums”, Geliştiricinin test çağrısı: "built for ordinary machines: no GPU needed", (discuss.huggingface.co)
  14. GitHub (ggml-org/llama.cpp), “GitHub - ggml-org/llama.cpp: LLM inference in C/C++ · GitHub”, Karşılaştırmadaki llama.cpp: dil modellerini yerelde çalıştırmak için açık kaynak C/C++ aracı (github.com)
  15. Hugging Face (Qwen), “Qwen/Qwen3-Next-80B-A3B-Instruct”, Model kartı: toplam 80 milyar, etkin 3 milyar parametre (huggingface.co)
  16. Hugging Face (Qwen), “Qwen/Qwen3-Next-80B-A3B-Instruct-GGUF”, Q4_K_M dosyası 48,4 GB (huggingface.co)

Bu haber hakkında

Bu haberde bir hata mı var? [email protected] · Instagram

Kısa link: thejarrus.com/janas-buyuk-model

Bu haberin İngilizcesi: Janas runs a 48 GB AI model on a laptop with 32 GB of RAM

Aynı konuda