Geliştirici 9 dolara Gemini etiketleriyle kendi yerel modelini eğitti
Öne çıkanlar
- Gemini 3.1 Pro, 4.290 Reddit yorumunu 9 dolar maliyetle etiketledi.
- GLiNER large modeli, Tesla T4 üzerinde 24 dakikada Gemini etiketlerine karşı 0,83 F1 başarımına ulaştı.
- İlk beş denemedeki kayıp sorunu, attention mask sanılan words_mask tensörünün indeks formatına çevrilmesiyle aşıldı.
Bir yazılım geliştiricisi, Reddit üzerindeki bıçak tartışmalarından marka, model ve çelik türü gibi ürün bilgilerini çıkarmak için kullandığı pahalı API çağrılarının yerine yerel bir model eğitti. Başlangıçta her yorum için Gemini 3.1 Pro modelini çalıştıran geliştirici, sürekli artan API faturalarını engellemek amacıyla açık kaynaklı GLiNER modelini kullanmaya karar verdi. Sıfır örnekli (zero-shot) GLiNER modelinin Gemini karşısında yaklaşık 0,65 F1 skoru üretmesi üzerine, büyük modeli küçük bir modele aktarma yöntemi denendi.
Süreç kapsamında Gemini modeli, OpenRouter aracılığıyla 4.290 Reddit yorumunu 9 dolar maliyetle tek seferde etiketledi. Geliştirici, karakter kaydırma mesafelerini (offset) modele hesaplatmak yerine metin dizilerini alıp konumları kod tarafında belirledi ve ürün içermeyen olumsuz örnekleri de veri setine ekledi. Eğitimin ilk denemelerinde GLiNER kütüphanesinin girdi tensörü yapısıyla ilgili hatalar nedeniyle kayıp (loss) değerleri düşmedi. İsmi dikkat maskesini andıran "words_mask" tensörünün aslında artan bir kelime indeksi olduğunun anlaşılmasıyla sorun çözüldü.
Tesla T4 GPU üzerinde Modal altyapısıyla 24 dakikada tamamlanan ince ayar sonucunda GLiNER large v2.5 modeli, Gemini etiketlerine karşı 0,83 F1 skoruna ulaştı. Toplamda 9 dolarlık etiketleme ve yaklaşık 2,50 dolarlık GPU masrafıyla geliştirilen model, New Knife Day adlı projede yerel olarak FastAPI üzerinden sunulmaya başlandı. Proje, küçük ve amaca yönelik modellerin büyük dil modelleri yardımıyla düşük maliyetle eğitilebileceğini gösterdi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.