Saf C diliyle yazılan Xyntetik Runner GGUF modellerini çalıştırıyor ve eğitiyor
Öne çıkanlar
- Xyntetik Runner, Python veya harici kütüphane bağımlılığı olmadan saf C ile tek ikili dosya halinde çalışıyor.
- Araç, aynı parametrelerle yapılan eğitim ve çıkarımlarda bayt düzeyinde deterministik sonuç garantisi veriyor.
- Kuantize GGUF modelleri üzerinden doğrudan LoRA adaptör eğitimi ve OpenAI uyumlu sunucu desteği sunuyor.
Xyntetik Runner, GGUF formatındaki yapay zeka modellerini çalıştırmak, doğrulamak ve eğitmek üzere saf C diliyle geliştirilen bağımsız bir çalışma zamanı aracı olarak yayımlandı. Python, ggml veya harici bir çerçeveye bağımlı olmadan tek bir ikili dosya üzerinden çalışan sistem; x86, ARM, CUDA ve Metal donanım mimarilerini destekliyor. Açık kaynaklı Apache 2.0 lisansıyla dağıtılan proje, llama.cpp ekosistemiyle tam dosya uyumluluğu sağlıyor.
Geliştirici ekip, aracın en belirgin özelliğinin deterministik çalışma ve ölçülebilir kesinlik olduğunu açıkladı. Sistem, aynı girdi ve çekirdek değeriyle yapılan çalıştırmalarda bayt seviyesinde birebir aynı sonuçları üretiyor. Ayrıca dondurulmuş kuantize modeller üzerinden doğrudan LoRA adaptörleri eğitilebiliyor. Araç, araç çağırma işlemlerinde belirteç bütçesi aşıldığında çağrıyı şemaya uygun şekilde otomatik kapatarak çökmeleri ve JSON ayrıştırma hatalarını önlüyor.
Projeye eklenen yeni güncellemeyle GPU tarafında CUDA 13.0 ve NVIDIA R580 sürücü zorunluluğu getirildi. Donanımın yetersiz kaldığı senaryolarda sistem yanlış hesaplama yapmak yerine doğrudan CPU moduna geçiş yapıyor. Çoklu süreçlerde VRAM çatışmalarını engellemek amacıyla ortak bir bellek kayıt defteri de sisteme dahil edildi.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.