Alibaba'nın yeni büyük dil modeli (LLM) ailesi Qwen 3.5, farklı boyutlarda (0.8B'den 397B'ye kadar) modeller sunarak yerel cihazlarda çalıştırılabilirlik sağlıyor. Bu modeller, multimodal hibrit akıl yürütme yetenekleriyle öne çıkıyor ve kendi boyutları için en güçlü performansı sunuyor. 256K bağlam penceresi ve 201 dil desteği ile ajan tabanlı kodlama, görüntü işleme, sohbet ve uzun bağlamlı görevlerde üstün başarı gösteriyorlar. Özellikle 35B ve 27B modelleri, 22GB Mac/RAM cihazlarda bile çalışabiliyor.
Unsloth tarafından yapılan son güncellemelerle Qwen 3.5 GGUF dosyaları, geliştirilmiş niceleme algoritmaları ve yeni imatrix verileriyle güncellendi. Bu sayede sohbet, kodlama, uzun bağlam ve araç çağırma (tool-calling) kullanım durumlarında önemli iyileşmeler kaydedildi. Unsloth Dynamic 2.0 teknolojisi sayesinde 4-bit nicelemede bile kritik katmanlar 8 veya 16-bit'e yükseltilerek en iyi niceleme performansı elde ediliyor. Kullanıcılar ayrıca Qwen 3.5 modellerini Unsloth ile ince ayar yapabilir ve düşünme (thinking) modunu etkinleştirip devre dışı bırakabilirler.
Yerel çalıştırma için donanım gereksinimleri, indirilen niceleme yapılmış model dosyasının boyutunu aşan toplam bellek (VRAM + sistem RAM) ile en iyi performansı garanti eder. 27B ve 35B-A3B modelleri arasında, daha yüksek doğruluk için 27B, daha hızlı çıkarım için ise 35B-A3B önerilir. Maksimum bağlam penceresi 262,144 olup, YaRN ile 1M'ye kadar genişletilebilir. Çıkarım sırasında tekrarları azaltmak için presence_penalty ayarı kullanılabilirken, düşünme ve düşünmeme modları için farklı sıcaklık (temperature), top_p ve top_k ayarları önerilmektedir.
Qwen 3.5 modellerinin yerel cihazlarda çalıştırılabilmesi, gelişmiş yetenekleri ve Unsloth entegrasyonu sayesinde geniş kitlelerin yüksek performanslı yapay zeka modellerine erişimini kolaylaştırıyor.