OpenArch modern dil modellerini PyTorch ile sadeleştiriyor
Öne çıkanlar
- OpenArch, modern dil modellerini okunabilirlik amacıyla PyTorch ile tek dosya halinde yazıyor.
- Proje, Sebastian Raschka'nın mimari kataloğundaki 72 modeli tek tek kodlamayı hedefliyor.
- Llama 3, DeepSeek R1 ve GLM 4.5 dahil çok sayıda modelin ileri geçiş kodları depoda sunuluyor.
Açık kaynaklı OpenArch projesi, güncel büyük dil modeli mimarilerini PyTorch kütüphanesi kullanarak sıfırdan ve tek dosyada anlaşılır biçimde uyguluyor. Proje, üretim kütüphanelerindeki karmaşık optimizasyonlar yerine mimari farklılıkları doğrudan görünür kılmayı amaçlıyor. Geliştirici, Sebastian Raschka'nın derlediği mimari kataloğunu referans alarak modelleri teknik makaleler ve yapılandırma dosyaları üzerinden yeniden yazıyor.
Depoda yer alan uygulamalar dikkat mekanizmaları, normalizasyon yöntemleri ve uzman havuzu (MoE) yönlendirmeleri gibi kritik yapısal tercihleri yan yana karşılaştırma imkanı sunuyor. GPT-2 XL, Llama 2, Llama 3, DeepSeek R1 ve Mistral 3 gibi modeller ileri geçiş testleri için hazır durumda bulunuyor. Grok-2.5 ve görsel modeller gibi diğer yapılar ise geliştirilme aşamasında yer alıyor.
Toplamda 72 farklı mimariyi hedefleyen proje, Apache 2.0 lisansı altında topluluk katkılarına açık şekilde ilerliyor. Geliştirici, üretim odaklı hız ve bellek paylaşımı çözümlerinden arındırılmış bu kod tabanının, araştırmacılar ve yazılımcılar için eğitici bir referans kaynağı oluşturduğunu belirtiyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.