Graviton, güçlü yapay zeka modellerini bulut tekellerinden kurtararak, herkesin kendi donanımında çalıştırmasını sağlayan devrim niteliğinde açık kaynaklı bir motordur. Özellikle 500 milyar parametre ve üzeri Büyük Dil Modellerini (LLM) bir Mac Mini gibi tüketici donanımlarında yerel olarak çalıştırma potansiyeli sunarak, yapay zekanın erişilebilirliğini artırmayı hedefliyor. Bu sayede kullanıcılar, OpenAI gibi platformlara abonelik veya API sınırlamaları olmadan, kendi verileri üzerinde tam kontrolle yapay zeka deneyimi yaşayabiliyor.
Graviton'un temelinde, yapay zeka modellerini 16-bit'ten 4-bit'e, hatta 1.58-bit'e kadar sıkıştırarak boyutlarını 4 ila 10 kat küçültme yeteneği yatıyor. Bu sayede, normalde 144 GB yer kaplayan 72B'lik bir model, Graviton ile sadece 36 GB'a düşürülerek 64 GB RAM'e sahip bir Mac'te sorunsuz çalışabiliyor. Ayrıca, modeller belleğe tamamen sığmasa bile, Graviton katmanları SSD'den tek tek yükleyip anında sıkıştırarak çalışmaya devam ediyor. Bu akış (streaming) özelliği sayesinde, modelin tamamının aynı anda bellekte olması gerekmiyor.
Yalnızca model boyutunu küçültmekle kalmayan Graviton, spekülatif kod çözme (speculative decoding) ve dinamik seyrekliği (dynamic sparsity) kullanarak metin üretim hızını 2-3 kat artırıyor. Ayrıca, başsız bir API sunarak yapay zeka ajanlarının düşük bütçeli makinelerde bile 70B+ modelleri bir GPU kümesine veya bulut faturasına ihtiyaç duymadan kullanabilmesini sağlıyor. Kurulumu son derece basit olup, tek bir pip install komutuyla hem kullanıcı arayüzü hem de REST API üzerinden kullanıma hazır hale geliyor.
Graviton, büyük dil modellerinin yerel donanımlarda çalıştırılmasını sağlayarak yapay zeka teknolojisini demokratikleştiriyor ve bulut bağımlılığını azaltıyor.