LLMfit, sisteminizin RAM, CPU ve GPU kaynaklarına en uygun Büyük Dil Modellerini (LLM) belirlemek için tasarlanmış yenilikçi bir terminal aracıdır. Yüzlerce farklı LLM modelini ve sağlayıcısını destekleyen bu araç, kullanıcının donanımını otomatik olarak algılar ve her bir modeli kalite, hız, uyumluluk ve bağlam boyutlarına göre puanlar. Bu sayede, makinenizde sorunsuz ve verimli bir şekilde çalışacak modelleri kolayca bulmanızı sağlar.
Araç, varsayılan olarak etkileşimli bir Terminal Kullanıcı Arayüzü (TUI) ile gelirken, klasik bir Komut Satırı Arayüzü (CLI) modunu da destekler. LLMfit, çoklu GPU kurulumları, MoE (Mixture of Experts) mimarileri, dinamik niceleme (quantization) seçimi, hız tahmini ve Ollama, llama.cpp, MLX gibi yerel çalışma zamanı sağlayıcıları gibi gelişmiş özellikleri bünyesinde barındırır. Kullanıcılar, curl, brew veya cargo gibi çeşitli yöntemlerle kolayca kurulum yapabilirler. Çalıştırıldığında, sistem özelliklerini gösteren ve modelleri puanlarına göre sıralayan kaydırılabilir bir tablo sunar. Bu tabloda her modelin puanı, tahmini token/saniye değeri, donanıma en uygun niceleme, bellek kullanımı ve kullanım senaryosu gibi detaylar yer alır. Ayrıca, "Plan modu" sayesinde belirli bir model konfigürasyonu için gerekli donanım gereksinimlerini tahmin etme imkanı da sunar.
Bu araç, kullanıcıların mevcut donanımlarıyla uyumlu LLM'leri kolayca bulmalarını sağlayarak, yapay zeka modellerinin yerel olarak dağıtımını ve kullanımını demokratikleştiriyor.