ExecuTorch, PyTorch'un akıllı telefonlardan mikrodenetleyicilere kadar çeşitli cihazlarda yapay zeka modellerini dağıtmak için geliştirdiği birleşik bir çözümdür. Gizlilik, performans ve taşınabilirlik odaklı tasarlanan bu platform, Meta'nın Instagram, WhatsApp, Quest 3 ve Ray-Ban Meta Akıllı Gözlükler gibi ürünlerindeki cihaz üstü yapay zeka deneyimlerinin temelini oluşturmaktadır. Geliştiriciler, mevcut PyTorch API'lerini kullanarak büyük dil modelleri (LLM), görüntü işleme, konuşma ve çok modlu modelleri sorunsuz bir şekilde dışa aktarabilir, optimize edebilir ve dağıtabilir. Bu sayede manuel C++ yeniden yazımlarına, format dönüşümlerine veya satıcı bağımlılığına gerek kalmaz, araştırma süreçleri hızla üretime dönüşür.
ExecuTorch'un temel avantajları arasında doğrudan PyTorch'tan yerel dışa aktarım (ONNX veya TFLite gibi ara formatlara ihtiyaç duymadan), Meta'da milyarlarca kullanıcıya gerçek zamanlı çıkarım sağlayan üretim kanıtlanmış yapısı ve sadece 50KB'lık küçük bir runtime ayak izi bulunur. Apple, Qualcomm, ARM, MediaTek ve Vulkan dahil olmak üzere 12'den fazla donanım arka ucu için açık kaynak hızlandırma desteği sunar. Tek bir dışa aktarım ile farklı donanım hedefleri arasında kolayca geçiş yapılabilir. ExecuTorch, modelleri cihaz üstü dağıtım için önceden derlemek üzere "ahead-of-time" (AOT) derleme kullanır. Bu süreç, PyTorch model grafiğinin torch.export() ile yakalanmasını, ardından nicemleme, optimizasyon ve donanım arka uçlarına bölümlendirme ile .pte formatına derlenmesini ve son olarak hafif bir C++ runtime aracılığıyla cihazda yürütülmesini içerir. Modeller standart bir Core ATen operatör seti kullanır ve alt grafikler özel donanımlara (NPU/GPU) devredilirken CPU yedeklemesi sağlanır.
ExecuTorch, PyTorch ekosistemini mobil ve gömülü sistemlere taşıyarak yapay zeka modellerinin geniş bir cihaz yelpazesinde yüksek performansla ve kolayca dağıtılmasını sağlıyor.