Kırılmış PlayStation 5 konsollarında yerel yapay zeka modelleri çalıştırılabiliyor
Öne çıkanlar
- PS5LM, PlayStation 5 konsolunun grafik işlemcisinde 11,4 GB bellek kullanarak GGUF modellerini çalıştırıyor.
- Konsol, yerel ağdaki cihazlara OpenAI ve Anthropic uyumlu API uç noktaları üzerinden hizmet veriyor.
- Qwen 3.5 9B modeli PlayStation 5 Slim üzerinde saniyede 55 belirteç hızına ulaştı.
Geliştiriciler, kırılmış PlayStation 5 konsollarında büyük dil modellerini doğrudan grafik işlemcisi üzerinde çalıştıran PS5LM adlı açık kaynaklı projeyi yayımladı. Yazılım, llama.cpp altyapısını konsolun RDNA 2 mimarili grafik işlemcisiyle eşleştirerek GGUF biçimindeki modelleri yerel olarak yürütüyor. Konsolun paylaşımlı belleğinden 11,4 GB alanı model ve bağlam kullanımına ayıran sistem, harici bir bilgisayara ya da bulut bağlantısına ihtiyaç duymadan yerel ağ üzerinden hizmet veriyor.
Sistem, OpenAI uyumlu sohbet ve Anthropic mesaj API uç noktalarını destekleyerek istemcilerin konsola doğrudan bağlanmasını sağlıyor. Kullanıcılar televizyon ekranına uyarlanmış arayüz üzerinden modelleri doğrudan Hugging Face üzerinden indirebiliyor, dahili depolama veya USB sürücülerine kaydedebiliyor. Performans testlerinde Qwen 3.5 0.8B modeli saniyede 207 belirteç üretirken, Qwen 3.5 9B modeli saniyede 55 belirteç hızına ulaştı.
Yazılım ayrıca metin ve görsel tabanlı karar modellerini Ollaya desteğiyle işleyerek metin üretmeden hızlı sınıflandırma ve puanlama yapabiliyor. Uygulamanın çalışması için 7.00 ile 13.60 arasındaki yazılım sürümlerine sahip kırılmış bir PlayStation 5 konsolu ile kstuff-lite ve etaHEN gibi standart modifikasyon araçları gerekiyor.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.