GPU Optimizasyonu

Luminal, yapay zeka çıkarım (inference) süreçlerini donanımın fiziksel sınırlarına taşıyarak GPU kullanımını en üst düzeye çıkarmayı hedefleyen bir derleyicidir. Çıkarım performansını sınırlayan iki t...

NVIDIA, CUDA çekirdek optimizasyonları için tasarlanmış, MLIR tabanlı bir ara temsil (IR) ve derleyici altyapısı olan CUDA Tile'ı açık kaynak olarak kullanıma sundu. Bu proje, özellikle döşeme (tile) ...

Derin öğrenme alanındaki en etkili optimizasyonlardan biri olan FlashAttention, 2022'de yayınlanmasından bu yana donanım gücü arttıkça performansı daha da artıran dört ana sürümle karşımıza çıktı. Anc...