Meta, dün duyurduğu Muse Glimmer ile büyük yapay zeka modellerini kişisel cihazlara indirmeyi hedefliyor. 30 milyar parametreli, açık ağırlıklı ve çok modlu bu model, tüketici donanımında yerel çalışacak şekilde optimize edilmiş durumda.
Nasıl bu kadar küçüldü?
Muse Glimmer, Meta'nın daha büyük Muse Spark modelinden damıtılarak elde edildi. 4-bit kuantizasyon sonrası 20 GB'ın altında bellek kullanıyor; 18 GB RAM ile çalışabildiği bildiriliyor. Mac ve PC'de performanslı GPU veya büyük birleşik belleğe sahip sistemlerde çalışabiliyor. NVIDIA platformlarında özel olarak optimize edilen model, Apple M1 Max gibi donanımlarda da Ollama'nın MLX motoru üzerinden test edilmiş.
120 bin token ve ajanik yetenekler
Modelin bağlam penceresi 120 binden fazla tokena ulaşıyor. Yoğun mimarisi her token için tüm parametreleri aktive ederek uzun bağlam tutarlılığı ve öngörülebilir gecikme vaat ediyor. Araç çağrısı, çok adımlı akıl yürütme, hata kurtarma ve çok modlu giriş özellikleri içeriyor. Bu özellikler, modelin kullanıcı adına görevleri bağımsız tamamlayabilen bir "ajan" olarak çalışmasını mümkün kılıyor.
Erişim ve bağımsız değerlendirme
Ağırlıklar Hugging Face üzerinden açık şekilde yayınlandı; geliştiricler yerel sunucu kurarak mevcut araçlarını entegre edebiliyor. NVIDIA NIM API'si üzerinden de erişilebiliyor. Ancak bağımsız kıyaslama çalışmaları henüz sınırlı. GitHub'da Muse Glimmer ile Alibaba Qwen 3.6 35B'nin aynı Apple donanımında karşılaştırıldığı bir proje bulunuyor, ancak bu bağımsız bir test olarak değerlendirilmeli. Resmî benchmark sonuçları için NVIDIA dokümantasyonuna atıfta bulunulsa da somut sayılar kaynaklarda yer almıyor. Model kartı ve teknik dokümantasyon Meta AI Research blogu ve Hugging Face üzerinden erişilebilir; sistem kartı veya detaylı güvenlik değerlendirmesi ise görünmüyor.
İlgili Haberler
Yorumlar(0)