İki RTX 5090 sunucusu Ethernet üzerinden KV önbelleği paylaştı

viiwork araştırmacıları, yapay zeka modellerinde tekrarlanan ön doldurma maliyetini düşürmek amacıyla iki adet RTX 5090 ekran kartlı sunucu arasında Ethernet üzerinden KV önbelleği paylaşımını test etti. Büyük dil modellerinde uzun kodlama oturumları on binlerce belirteç içeriyor ve oturum yoğunluk nedeniyle başka bir sunucuya aktarıldığında model istemi baştan işlemek zorunda kalıyor. Geliştirilen kv_share mekanizması, oturumun bir sonraki adımda taşınabileceği hedef sunucuya ağ üzerinden önbellek kopyasını önceden aktararak modelin yeni turda hemen üretime başlamasını sağlıyor.

Deneyler kapsamında 1 GbE yerel ağ bağlantısı, Tailscale kullanan 10 GbE doğrudan hat ve Tailscale aracı kılınmadan kurulan doğrudan 10 GbE bağlantı türleri karşılaştırıldı. 16 oturumlu kodlama yükü altında yaklaşık 247 MiB boyutundaki fark verisinin aktarım süresi 1 GbE bağlantıda 3,24 saniye sürerken doğrudan 10 GbE hattında 0,55 saniyeye kadar geriledi. Ağ hızındaki bu artış, sıcak sunucu geçiş oranını yüzde 93,8 seviyesinden yüzde 96,8 düzeyine yükseltti ve kısmi önbellek kullanım oranını belirgin biçimde azalttı.

Ağ aktarım süresi kısalmasına rağmen hedef sunucudaki Strata çalışma ortamına önbellek aktarım süresi tüm bağlantı hızlarında yaklaşık 2,8 saniye olarak ölçüldü. Bu durum, ağ genişliğinin artırılmasından sonraki asıl darboğazın yerel disk okuma, özetleme ve bellek içe aktarma adımlarında olduğunu ortaya koydu. Ayrıca yazılım tarafında önbellekten erken tahliye kaynaklı tespit edilen bir hata viiwork v2.11.1 sürümüyle düzeltildi.