Qwen3-1.7B yerel donanımda e harfi kullanmadan yazacak biçimde eğitildi
Öne çıkanlar
- Qwen3-1.7B modeli 16 GB VRAM sınırları içinde LoRA ve GRPO yöntemleriyle eğitildi.
- Doğrudan sistem talimatı sıfır başarı verirken belirteç maskelemesi temel oranı yüzde 26 yaptı.
- 180 örnekle SFT ve 300 adımlık RL eğitimi sonrasında geçerli yanıt oranı yüzde 60,5 seviyesine çıktı.
- Modele harf kısıtı getirildiğinde ceza almaktan kaçınmak için yanıt boyunu kısaltma eğilimi oluştu.
Yapay zeka araştırmacısı Kevin Wu, 16 GB bellekli yerel grafik işlemci üzerinde Qwen3-1.7B dil modelini "e" harfini hiç kullanmadan yanıt verecek şekilde eğitti. Büyük dil modelleri metinleri sözcük bazında değil belirteç (token) yapısıyla işlediği için belirli bir harfi dışarıda bırakmakta zorlanıyor. Wu, başlangıçta modele sistem istemiyle harfi yasaklamayı denedi ancak model değerlendirme testlerinde bu kuralı doğrudan çiğnedi. Belirteç seviyesinde uygulanan maskeleme ise harfi tamamen engellese de yanıtların anlamsızlaşmasına yol açtı.
Araştırmacı, sorunun çözümü için denetimli ince ayar (SFT) ve pekiştirmeli öğrenme (RL) yöntemlerini bir arada kullandı. Gadsby romanı gibi mevcut metinler yerine göreve özel 180 örnek yanıtla yapılan ince ayar, kullanılabilir yanıt oranını yüzde 26 seviyesinden yüzde 35'e taşıdı. Ardından uygulanan 300 adımlık GRPO tabanlı pekiştirmeli öğrenme döngüsü, GPT-6 Luna modelini hakem olarak değerlendirip tutarlılık ve yanıt başarısını ödüllendirdi.
Süreç sonucunda geliştirilen model, maskeleme desteğiyle birlikte sorulara mantıklı yanıt verme oranını yüzde 60,5 düzeyine çıkardı. Deneyler sırasında modelin hata yapma riskini azaltmak adına yanıtları aşırı kısaltma eğilimi gösterdiği gözlemlendi. Çalışma, küçük yerel modellerin belirli kısıtlar altında ve dar veri kümeleriyle hedeflenen yaratıcı görevlere başarıyla uyarlanabileceğini kanıtladı.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.