TypeSafe yapay zeka modeli Jev için Apache Arrow entegrasyonu geliştirildi
Öne çıkanlar
- Jevaro, Jev modelinin JSON çıktılarını Apache Arrow IPC akışına dönüştürerek doğrudan analitik araçlara aktarıyor.
- Yapılan testlerde 10 bin veri satırı 21,5 saniyede işlendi ve saniyede ortalama 464 durum işleme hızına ulaşıldı.
- TypeSafe API fiyatlandırması üzerinden 30 bin model yanıtının toplam işlem maliyeti yaklaşık 0,20 dolar oldu.
Columnar ekibi, TypeSafe AI tarafından geliştirilen karar odaklı dil modeli Jev'in çıktılarını Apache Arrow formatına dönüştüren Jevaro adlı açık kaynaklı proxy sunucusunu yayımladı. Doğal dil girdilerini tip korumalı olasılıklara ve kararlara dönüştüren Jev, resmi API üzerinden yalnızca JSON formatında yanıt veriyor. Yeni geliştirilen araç, analitik veri hatlarında JSON çözümleme maliyetini ortadan kaldırarak sonuçların doğrudan Arrow IPC akışı olarak tüketilmesini sağlıyor.
TypeSafe API üzerinde şu anda toplu sorgulama desteği bulunmadığı için analitik iş yüklerinde her durum için ayrı istek atılması gerekiyor. Jevaro, istemcilerden gelen çoklu durumları HTTP/2 bağlantı havuzu ve asenkron istek pencereleriyle paralel olarak işliyor. Yanıtları Choice, Noul ve Score veri tiplerine özel olarak tanımlanan Arrow şemasıyla kolon bazlı tablolara dönüştürerek Python ve JavaScript istemcilerine aktarıyor.
Ekibin 10 bin sentetik müşteri mesajı ve üç farklı soru tipiyle yaptığı performans testlerinde, tüm veriler 21,5 saniyede işlenerek saniyede yaklaşık 464 durum hızına ulaşıldı. Toplam 30 bin yanıtın hesaplama maliyeti ise yaklaşık 0,20 dolar olarak kaydedildi. Geliştiriciler, TypeSafe API'sinin yerel toplu sorgu ve Arrow akışı desteği sunması durumunda verim artışının çok daha yüksek seviyelere çıkacağını belirtti.
Bu özet yapay zekâ ile hazırlanmıştır; ayrıntılar ve doğrulama için orijinal kaynağa başvurun.