LM Studio, yerel büyük dil modellerini (LLM) çalıştırmak için popüler bir araç olarak, 0.4.0 sürümüyle önemli yenilikler sunuyor. Bu güncelleme, yüksek verimli hizmet için sürekli gruplama (continuous batching) ile paralel istekleri, tamamen yeni bir GUI'siz dağıtım seçeneğini (llmster), yeni bir durum bilgili REST API'yi ve yenilenmiş bir kullanıcı arayüzünü tanıtıyor. Özellikle llmster, LM Studio masaüstü uygulamasının çekirdeğini oluşturan ancak sunucuya özel olarak paketlenmiş bir bileşen olarak öne çıkıyor. Bu sayede llmster, GUI'den bağımsız olarak Linux sunucularında, bulut ortamlarında, GPU donanımlarında veya hatta Google Colab gibi platformlarda çalıştırılabiliyor, terminal tabanlı iş akışlarını tercih edenler için esneklik sağlıyor.
LM Studio 0.4.0'ın en dikkat çekici özelliklerinden biri, aynı modele eş zamanlı çıkarım isteklerini destekleyen paralel istek yeteneğidir. Bu özellik, llama.cpp motorunun 2.0.0 sürümüne yükseltilmesiyle mümkün hale gelmiştir ve uygulamanın "Split View" (Bölünmüş Görünüm) özelliği ile birlikte kullanılarak birden fazla sohbet oturumunu yan yana yürütmeye olanak tanır. Kullanıcılar, model yükleyici iletişim kutusunda "Max Concurrent Predictions" (Maksimum Eş Zamanlı Tahminler) ve "Unified KV Cache" (Birleşik KV Önbelleği) gibi yeni seçeneklerle bu paralel işlemeyi yapılandırabilirler. Ayrıca, kullanıcı arayüzü baştan sona yenilenerek daha tutarlı ve keyifli bir deneyim sunarken, sohbetleri PDF, Markdown veya düz metin olarak dışa aktarma ve "Developer Mode" (Geliştirici Modu) gibi yeni özellikler de eklenmiştir.
Bu sürüm, geliştiricilere yönelik olarak yeni bir komut satırı arayüzü (CLI) deneyimi de getiriyor. lms chat komutu etrafında şekillenen bu CLI, yerel LLM'lerle etkileşimi daha kolay ve programatik hale getiriyor. Yeni REST API ve gelişmiş yapılandırma seçenekleri hakkında detaylı belgelere uygulama içindeki Geliştirici sekmesinden erişilebiliyor. LM Studio 0.4.0, yerel LLM'lerin performansını ve dağıtım esnekliğini önemli ölçüde artırarak, hem son kullanıcılar hem de geliştiriciler için daha güçlü ve çok yönlü bir platform sunuyor.
LM Studio 0.4.0, yerel büyük dil modellerinin performansını ve dağıtım esnekliğini artırarak, geliştiricilere ve kullanıcılara daha güçlü ve esnek bir yapay zeka deneyimi sunuyor.