Modern derin öğrenme uygulamalarında GPU çekirdek optimizasyonu temel bir rol oynasa da, derinlemesine donanım uzmanlığı gerektiren zorlu bir görev olmaya devam etmektedir. Mevcut CUDA kod üretim yaklaşımları genellikle eğitim gerektirmeyen iyileştirmelere veya sabit yürütme-geri bildirim döngülerine dayanır, bu da içsel optimizasyon yeteneklerini sınırlar. Bu zorluğun üstesinden gelmek için, büyük ölçekli ajan tabanlı bir takviyeli öğrenme sistemi olan CUDA Agent tanıtıldı. Sistem, ölçeklenebilir veri sentezi, güvenilir doğrulama ve profil oluşturma özelliklerine sahip yeteneklerle zenginleştirilmiş bir CUDA geliştirme ortamı ve kararlı uzun bağlamlı eğitim için RL algoritmik teknikleri olmak üzere üç ana bileşenden oluşmaktadır.
CUDA Agent, KernelBench üzerinde son teknoloji sonuçlar elde ederek, Level-1, Level-2 ve Level-3 bölümlerinde torch.compile'a göre sırasıyla %100, %100 ve %92 daha hızlı performans sunmaktadır. Bu başarı, sistemin CUDA çekirdeklerinin üretim ve optimizasyon yeteneklerini önemli ölçüde geliştirdiğini göstermektedir. Proje kapsamında, RL tabanlı CUDA çekirdek optimizasyonu üzerine tekrarlanabilir araştırmaları desteklemek amacıyla filtreleme ve kontaminasyon kontrolü içeren yüksek kaliteli sentezlenmiş bir eğitim veri kümesi olan CUDA-Agent-Ops-6K de kullanıma sunulmuştur.
Sistemin veri sentezi aşaması, tohum problem taraması, LLM tabanlı kombinatoryal sentez ve yürütme odaklı filtrelemeden oluşan üç aşamalı bir boru hattı kullanır. Bu süreç, torch ve transformers gibi kütüphanelerden operatörleri birleştirerek çeşitli görevler oluşturur ve ardından performans ve kararlılık kriterlerine göre filtreler. Ajan ortamı ise, ReAct tarzı bir iş akışını takip eder; kodlama araçları ve bir CUDA yetenek spesifikasyonu (SKILL.md) ile donatılmıştır. Bu yapı, yinelemeli kodlama, derleme-hata ayıklama döngüleri ve profilleyici rehberliğinde optimizasyon imkanı sunarak, geliştiricilerin doğru ve hızlı CUDA çekirdekleri oluşturmasına olanak tanır.
Bu sistem, yapay zeka destekli otomatik optimizasyon ile GPU programlamanın karmaşıklığını azaltarak derin öğrenme uygulamalarının performansını önemli ölçüde artırma potansiyeli taşıyor.