WebGPU tabanlı sözdizimi vurgulayıcı gpu-lexer tanıtıldı
Öne çıkanlar
- gpu-lexer, 27,5 kilobayt boyutundaki WebGPU modeliyle dilden bağımsız sözdizimi vurgulaması yapıyor.
- Model, eğitim verisinde bulunmayan dillerde bile çevre kod bağlamını okuyarak etiket tahmini yürütüyor.
- Eğitim dışı test dosyalarında üretilen etiketlerin yüzde 12,57'si Shiki sonuçlarıyla farklılık gösteriyor.
Geliştiriciler, tarayıcı üzerinde çalışan ve dilden bağımsız olarak kod renklendirmesi yapabilen gpu-lexer adlı deneysel aracı yayımladı. Yalnızca 27,5 kilobayt boyutundaki küçük bir WebGPU modelini kullanan sistem, geleneksel dilbilgisi kuralları tanımlamadan kaynak kodları sözdizimsel parçalara ayırıyor. Araç, kelimeleri ve simgeleri yerel bağlamı inceleyerek sınıflandırıyor.
Sistem, kaynak kodu sözcükler, boşluklar, satır sonları ve semboller olarak temel parçalara bölüyor. WebGPU modeli, bu parçaları dosya geneli ve yerel bağlamı birleştirerek yorumluyor ve her parçaya uygun etiketi atıyor. Model, eğitim aşamasında daha önce hiç karşılaşmadığı programlama dillerini ve sözdizimlerini bile çevrelerindeki kod yapısından tahmin edebiliyor.
Proje henüz deneysel bir çalışma olarak konumlanıyor ve tam bir dilbilgisi ayrıştırıcısı işlevi görmüyor. Eğitim setinde yer almayan test dosyalarında modelin ürettiği etiketlerin yüzde 12,57'si popüler vurgulayıcı Shiki'den farklılık gösteriyor. Geliştiriciler bu oranın nesnel doğruluğu değil Shiki ile uyumu yansıttığını, daha önce görülmemiş dillerde sapma oranının artabileceğini belirtiyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.