Deltafin 2,8 trilyon parametreli Kimi K3 modelini MacBook Pro üzerinde çalıştırdı

Açık kaynaklı Deltafin projesinin yeni çatalı, Moonshot AI tarafından geliştirilen 2,8 trilyon parametreli Kimi K3 yapay zeka modelini tüketici sınıfı donanımlarda yerel olarak çalıştırmayı başardı. Apple Silicon mimarili MacBook Pro üzerinde dört harici SSD aracılığıyla veri akışı sağlayan sistem, ARGODRIVE depolama altyapısı sayesinde modeli budamadan saniyede bir token üretim hızına yaklaştırdı. Geliştiriciler, k3-public-bench dizini altındaki başarım ölçümlerini ve yerleşim manifestolarını kamuoyuyla paylaştı.

Deltafin, devasa modeli kuantizasyonla 3-bit seviyesine sıkıştırmak veya uzman katmanlarını budamak yerine orijinal ağırlıkları koruma yolunu seçti. Sistem, modelin 16 uzman katmanının tamamını her belirteç üretiminde doğrudan devreye sokuyor. Hız kazanımı sağlamak için Inferact tarafından geliştirilen DSpark ve isteğe bağlı Qwen taslak modelleri spekülatif tahmin amacıyla kullanılıyor, ancak son kararı daima K3 modelinin kendisi veriyor. Model normalde 16 sunucu düğümü ve 4,8 TB VRAM gerektirirken, geliştiriciler yerel önbellek ve doğrudan disk akışıyla bu bariyeri aştı.

Rust ile yazılan yerel ikili dosya, dahili C-ABI sağlayıcıları, uzman önbellekleme ve OpenAI uyumlu bir yerel sunucu arayüzü sunuyor. Tam kurulum için 1,7 TB disk alanı gerekirken, isteğe bağlı akış kipi 215 GB başlangıç boyutuyla çalışabiliyor. Proje ekibi, iki milyon dolarlık veri merkezi altyapılarına alternatif olarak 15 bin dolarlık tüketici donanımlarında sınır modellerin çalıştırılabileceğini kanıtlamayı amaçladıklarını açıkladı.