Ana Sayfa

Çıkarım Sağlayıcıları Model Bütünlüğünü Nasıl Kanıtlar?

1 dk okuma

Çıkarım API'leri kullanılırken, bir sağlayıcının gerçekten talep edilen modeli sunduğundan emin olmak zordur. Özellikle açık kaynak modellerde, yayıncının orijinal ağırlıkları mı yoksa sessizce nicelenmiş (quantized) veya bağlam penceresi küçültülmüş bir sürüm mü sunulduğu belirsizdir. Kapalı kaynak sağlayıcılarda ise durum daha da karmaşıktır; kullanıcılar aynı modeli her zaman aldıklarını doğrulayamazlar. Sağlayıcılar arasında veya aynı sağlayıcı içinde model performansında gözlemlenen farklılıklar ve yanlış yapılandırmaların kalitede düşüşlere yol açabilmesi bu sorunun ciddiyetini artırmaktadır.

Tinfoil, bu sorunu çözmek için Modelwrap adında bir sistem geliştirdi. Modelwrap, çıkarım sağlayıcısının belirli, üzerinde oynanmamış bir ağırlık setini sunduğunu kriptografik olarak garanti eder ve müşterilerin her istekte bunu doğrulamasını sağlar. Modelwrap'ın temel bileşenleri arasında model ağırlıklarına yönelik herkese açık bir taahhüt, bu taahhüdü çıkarım sunucusuna bağlama mekanizması ve çıkarım sunucusunun taahhüt edilen model ağırlıklarını kullandığını istemci tarafında doğrulama süreci bulunur. Bu, diğer çıkarım sağlayıcılarında görülmeyen güçlü bir güvencedir.

Bu doğrulama süreci, geleneksel donanım tasdikinden (attestation) daha karmaşıktır. Güvenli donanım enklavları, başlatma anındaki makine durumunu ölçerek hangi kodun çalıştığını kanıtlayabilirken, model ağırlıkları enklav başlatıldıktan sonra diskten yüklenir ve temel tasdik raporu bu yüklemeyi kapsamaz. Modelwrap, bu sorunu aşmak için enklavın hem beklenen veri hash'ini hem de bu hash'i yükleme sonrası kontrol edecek kodu içerdiğini tasdik eder. Bu, bir Merkle ağacı aracılığıyla model ağırlıklarına kriptografik bir taahhüt ve dm-verity aracılığıyla her okumada bu taahhüdü kontrol eden çekirdek düzeyinde bir doğrulama mekanizması içerir. Böylece, sistemin taahhüt edilen hash ile eşleşmeyen baytları okuyamayacağı garantilenir ve çalışma zamanı doğrulaması sağlanır.

İçgörü

Yapay zeka modelleri sunan sağlayıcıların, kullanıcılara vaat ettikleri modelin bütünlüğünü ve doğruluğunu kriptografik olarak kanıtlaması, şeffaflık ve güvenilirlik açısından kritik bir adımdır.

Kaynak